En matemáticas, el tensor de estructura , también conocido como matriz de segundo momento , es una matriz derivada del gradiente de una función . Resume las direcciones predominantes del gradiente en una vecindad específica de un punto y el grado en que esas direcciones son coherentes . El tensor de estructura se utiliza a menudo en el procesamiento de imágenes y la visión por computadora . [1] [2] [3]
El tensor de estructura 2D
Versión continua
Para una función de dos variables p = ( x , y ) , el tensor de estructura es la matriz 2 × 2
dónde y son las derivadas parciales decon respecto a x e y ; las integrales se extienden sobre el plano; y w es de unos fijo "función de ventana", una distribución en dos variables. Tenga en cuenta que la matrizes en sí mismo una función de p = ( x , y ) .
La fórmula anterior también se puede escribir como , dónde es la función con valores de matriz definida por
Si el gradiente de se ve como una matriz de 2 × 1 (una sola columna), donde denota la operación de transposición , convirtiendo un vector de fila en un vector de columna, la matrizse puede escribir como el producto de la matriz , también conocido como producto externo o producto tensor. Sin embargo, tenga en cuenta que el tensor de estructura no se puede factorizar de esta manera en general, excepto si es una función delta de Dirac .
Versión discreta
En el procesamiento de imágenes y otras aplicaciones similares, la función generalmente se da como una matriz discreta de muestras, donde p es un par de índices enteros. El tensor de estructura 2D en un píxel dado generalmente se toma como la suma discreta
Aquí el índice de suma r varía sobre un conjunto finito de pares de índices (la "ventana", típicamentepara algunos m ), y w [ r ] es un "peso de ventana" fijo que depende de r , de modo que la suma de todos los pesos es 1. Los valoresson las derivadas parciales muestreadas en el píxel p ; que, por ejemplo, puede estimarse a partir depor fórmulas de diferencias finitas .
La fórmula del tensor de estructura se puede escribir también como , dónde es la matriz de valores matriciales tal que
Interpretación
La importancia del tensor de estructura 2D se deriva del hecho de valores propios (que se puede pedir para que ) y los vectores propios correspondientes resumir la distribución del gradiente de dentro de la ventana definida por centrado en . [1] [2] [3]
Es decir, si , luego (o ) es la dirección que se alinea al máximo con el degradado dentro de la ventana.
En particular, si entonces el gradiente es siempre un múltiplo de (positivo, negativo o cero); este es el caso si y solo si dentro de la ventana varía a lo largo de la dirección pero es constante a lo largo . Esta condición de valores propios también se llama condición de simetría lineal porque entonces las iso-curvas de Consisten en líneas paralelas, es decir, existe una función unidimensional que puede generar la función bidimensional como para algún vector constante y las coordenadas .
Si , por otro lado, el gradiente en la ventana no tiene una dirección predominante; lo que sucede, por ejemplo, cuando la imagen tiene simetría rotacional dentro de esa ventana. Esta condición de valores propios también se denomina cuerpo equilibrado o condición de equilibrio direccional porque se cumple cuando todas las direcciones del gradiente en la ventana son igualmente frecuentes / probables.
Además, la condición sucede si y solo si la función es constante) dentro .
De manera más general, el valor de , para k = 1 o k = 2, es el-Promedio ponderado, en la vecindad de p , del cuadrado de la derivada direccional de a lo largo de . La relativa discrepancia entre los dos valores propios dees un indicador del grado de anisotropía del gradiente en la ventana, es decir, qué tan fuertemente está sesgado hacia una dirección particular (y su opuesto). [4] [5] Este atributo se puede cuantificar por la coherencia , definida como
Si . Esta cantidad es 1 cuando el gradiente está totalmente alineado y 0 cuando no tiene una dirección preferida. La fórmula es indefinida, incluso en el límite , cuando la imagen es constante en la ventana (). Algunos autores lo definen como 0 en ese caso.
Tenga en cuenta que el promedio del gradiente dentro de la ventana no es un buen indicador de anisotropía. Los vectores de gradiente alineados pero orientados de manera opuesta se cancelarían en este promedio, mientras que en el tensor de estructura se suman correctamente. [6] Esta es una de las razones por las que se utiliza en el promedio del tensor de estructura para optimizar la dirección en lugar de .
Ampliando el radio efectivo de la función de ventana (es decir, aumentando su varianza), se puede hacer que el tensor de estructura sea más robusto frente al ruido, a costa de una resolución espacial disminuida. [5] [7] La base formal de esta propiedad se describe con más detalle a continuación, donde se muestra que una formulación multiescala del tensor de estructura, denominada tensor de estructura multiescala , constituye un verdadero multiescala. representación de datos direccionales bajo variaciones de la extensión espacial de la función de ventana .
Versión compleja
La interpretación e implementación del tensor de estructura 2D se vuelve particularmente accesible usando números complejos. [2] El tensor de estructura consta de 3 números reales
dónde , y en el que las integrales se pueden reemplazar por sumas para una representación discreta. Usando la relación de Parseval, está claro que los tres números reales son los momentos de segundo orden del espectro de potencia de. El siguiente momento complejo de segundo orden del espectro de potencia de luego se puede escribir como
dónde y es el ángulo de dirección del vector propio más significativo del tensor de estructura mientras que y son los valores propios más y menos significativos. De esto se sigue que contiene tanto una certeza y la dirección óptima en la representación de doble ángulo, ya que es un número complejo que consta de dos números reales. También se deduce que si el gradiente se representa como un número complejo y se reasigna al cuadrado (es decir, los ángulos del argumento del gradiente complejo se duplica), el promedio actúa como un optimizador en el dominio mapeado, ya que entrega directamente tanto el óptimo dirección (en representación de doble ángulo) y la certeza asociada. El número complejo representa así cuánta estructura lineal (simetría lineal) hay en la imagen, y el número complejo se obtiene directamente promediando el gradiente en su representación de ángulo doble (compleja) sin calcular los valores propios y los vectores propios explícitamente.
Asimismo, el siguiente momento complejo de segundo orden del espectro de potencia de , que resulta ser siempre real porque es real,
se puede obtener, con y siendo los valores propios como antes. Observe que esta vez la magnitud del gradiente complejo se eleva al cuadrado (que siempre es real).
Sin embargo, la descomposición del tensor de estructura en sus autovectores produce sus componentes de tensor como
dónde es la matriz de identidad en 2D porque los dos vectores propios son siempre ortogonales (y suman la unidad). El primer término en la última expresión de la descomposición,, representa el componente de simetría lineal del tensor de estructura que contiene toda la información direccional (como una matriz de rango 1), mientras que el segundo término representa el componente de cuerpo equilibrado del tensor, que carece de información direccional (que contiene una matriz de identidad ). Para saber cuánta información direccional hay en es lo mismo que comprobar qué tan grande se compara con .
Evidentemente, es el equivalente complejo del primer término en la descomposición del tensor, mientras que
dónde es el filtro de gradiente (complejo), y es la convolución, constituyen una representación compleja del tensor de estructura 2D. Como se discutió aquí y en otros lugares define la imagen local que suele ser gaussiana (con una cierta variación que define la escala exterior), y es el parámetro (escala interna) que determina el rango de frecuencia efectivo en el que la orientación se estima.
La elegancia de la representación compleja se debe a que los dos componentes del tensor de estructura se pueden obtener como promedios e independientemente. A su vez, esto significa que y se puede utilizar en una representación espacial de escala para describir la evidencia de la presencia de una orientación única y la evidencia de la hipótesis alternativa, la presencia de múltiples orientaciones equilibradas, sin calcular los autovectores y autovalores. Hasta la fecha, no se ha demostrado que exista una función, como elevar al cuadrado los números complejos, para tensores de estructura con dimensiones superiores a dos. En Bigun 91, se ha presentado con el debido argumento que esto se debe a que los números complejos son álgebras conmutativas, mientras que los cuaterniones, el posible candidato para construir tal funcional, constituyen un álgebra no conmutativa. [8]
La representación compleja del tensor de estructura se utiliza con frecuencia en el análisis de huellas dactilares para obtener mapas de dirección que contienen certezas que a su vez se utilizan para mejorarlas, para encontrar las ubicaciones de las singularidades globales (núcleos y deltas) y locales (minucias), así como evaluar automáticamente la calidad de las huellas dactilares.
El tensor de estructura 3D
Definición
El tensor de estructura se puede definir también para una función de tres variables p = ( x , y , z ) de forma totalmente análoga. Es decir, en la versión continua tenemos, dónde
dónde son las tres derivadas parciales de , y la integral se extiende sobre .
En la versión discreta,, dónde
y la suma varía sobre un conjunto finito de índices 3D, generalmente para algunos m .
Interpretación
Como en el caso tridimensional, los valores propios de , y los vectores propios correspondientes , resume la distribución de las direcciones del gradiente dentro de la vecindad de p definida por la ventana. Esta información se puede visualizar como un elipsoide cuyos semiejes son iguales a los autovalores y están dirigidos a lo largo de sus correspondientes autovectores. [9]
En particular, si el elipsoide se estira a lo largo de un solo eje, como un cigarro (es decir, si es mucho más grande que ambos y ), significa que el gradiente en la ventana está predominantemente alineado con la dirección , de modo que las isosuperficies detienden a ser planos y perpendiculares a ese vector. Esta situación ocurre, por ejemplo, cuando p se encuentra en una característica similar a una placa delgada, o en el límite uniforme entre dos regiones con valores contrastantes.
Si el elipsoide se aplana en una sola dirección, como un panqueque (es decir, si es mucho más pequeño que ambos y ), significa que las direcciones del gradiente están extendidas pero perpendiculares a ; de modo que las isosuperficies tienden a ser como tubos paralelos a ese vector. Esta situación ocurre, por ejemplo, cuando p se encuentra en una característica similar a una línea delgada, o en una esquina pronunciada del límite entre dos regiones con valores contrastantes.
Finalmente, si el elipsoide es aproximadamente esférico (es decir, si ), significa que las direcciones del gradiente en la ventana están distribuidas más o menos uniformemente, sin preferencia marcada; para que la funciónes principalmente isotrópico en ese vecindario. Esto sucede, por ejemplo, cuando la función tiene simetría esférica en la vecindad de p . En particular, si el elipsoide degenera en un punto (es decir, si los tres valores propios son cero), significa que es constante (tiene gradiente cero) dentro de la ventana.
El tensor de estructura multiescala
El tensor de estructura es una herramienta importante en el análisis del espacio de escala . El tensor de estructura de múltiples escalas (o matriz de segundo momento de múltiples escalas ) de una funcióncontrasta con otras características de espacio de escala de un parámetro, un descriptor de imagen que se define sobre dos parámetros de escala. Un parámetro de escala, denominado escala local , es necesario para determinar la cantidad de suavizado previo al calcular el gradiente de la imagen . Otro parámetro de escala, denominado escala de integración , es necesario para especificar la extensión espacial de la función de ventana que determina los pesos para la región en el espacio sobre la cual los componentes del producto exterior del gradiente por sí mismos se acumulan.
Más precisamente, suponga que es una señal de valor real definida sobre . Para cualquier escala local, deje que una representación multiescala de esta señal sea dada por dónde representa un núcleo de pre-suavizado. Además, dejadenotar el gradiente de la representación del espacio de escala . Entonces, el tensor de estructura multiescala / matriz de segundo momento se define mediante [7] [10] [11]
Conceptualmente, uno puede preguntarse si sería suficiente usar familias auto-similares de funciones de suavizado y . Sin embargo, si uno aplicara ingenuamente, por ejemplo, un filtro de caja, entonces podrían ocurrir fácilmente artefactos no deseables. Si uno quiere que el tensor de estructura de múltiples escalas se comporte bien en ambas escalas locales crecientes y escalas de integración cada vez mayores , entonces se puede demostrar que tanto la función de suavizado como la función de ventana deben ser gaussianas. [7] Las condiciones que especifican esta unicidad son similares a los axiomas del espacio de escala que se utilizan para derivar la unicidad del núcleo gaussiano para un espacio de escala gaussiana regular de intensidades de imagen.
Hay diferentes formas de manejar las variaciones de escala de dos parámetros en esta familia de descriptores de imágenes. Si mantenemos el parámetro de escala local fijo y aplicar versiones cada vez más ampliadas de la función de ventana aumentando el parámetro de escala de integración solo, entonces obtenemos una verdadera representación espacial de escala formal de los datos direccionales calculados en la escala local dada . [7] Si acoplamos la escala local y la escala de integración mediante una escala de integración relativa , tal que luego por cualquier valor fijo de , obtenemos una variación reducida de un parámetro auto-similar, que se utiliza con frecuencia para simplificar los algoritmos computacionales, por ejemplo, en la detección de esquinas , detección de puntos de interés , análisis de texturas y coincidencia de imágenes . Variando la escala de integración relativa en tal variación de escala auto-similar, obtenemos otra forma alternativa de parametrizar la naturaleza multiescala de los datos direccionales obtenidos aumentando la escala de integración.
Se puede realizar una construcción conceptualmente similar para señales discretas, con la integral de convolución reemplazada por una suma de convolución y con el núcleo gaussiano continuo reemplazado por el kernel gaussiano discreto :
Al cuantificar los parámetros de la escala y en una implementación real, una progresión geométrica finita se utiliza habitualmente, con i comprendido entre 0 y algún índice de escala máximo m . Por lo tanto, los niveles de escala discreta tendrán ciertas similitudes con la pirámide de la imagen , aunque el submuestreo espacial no se puede usar necesariamente para preservar datos más precisos para las etapas de procesamiento posteriores.
Aplicaciones
Los valores propios del tensor de estructura juegan un papel importante en muchos algoritmos de procesamiento de imágenes, para problemas como la detección de esquinas , la detección de puntos de interés y el seguimiento de características . [9] [12] [13] [14] [15] [16] [17] El tensor de estructura también juega un papel central en el algoritmo de flujo óptico de Lucas-Kanade , y en sus extensiones para estimar la adaptación de forma afín ; [10] donde la magnitud dees un indicador de la fiabilidad del resultado calculado. El tensor se ha utilizado para el análisis del espacio de escala , [7] estimación de la orientación de la superficie local a partir de señales monoculares o binoculares, [11] mejora de huellas dactilares no lineales , [18] procesamiento de imágenes basado en difusión , [19] [20] [21 ] [22] y varios otros problemas de procesamiento de imágenes. El tensor de estructura también se puede aplicar en geología para filtrar datos sísmicos . [23]
Procesamiento de datos de video espacio-temporales con el tensor de estructura
El tensor de estructura tridimensional se ha utilizado para analizar datos de vídeo tridimensionales (vistos como una función de x , y y tiempo t ). [4] Si uno en este contexto apunta a descriptores de imagen que son invariantes bajo transformaciones galileanas, para hacer posible comparar medidas de imagen que se han obtenido bajo variaciones de velocidades de imagen desconocidas a priori
- ,
Sin embargo, desde un punto de vista computacional es preferible parametrizar los componentes en la matriz de tensor de estructura / segundo momento. utilizando la noción de diagonalización galileana [24]
dónde denota una transformación galileana del espacio-tiempo y una rotación bidimensional sobre el dominio espacial, en comparación con el uso mencionado anteriormente de valores propios de un tensor de estructura 3-D, que corresponde a una descomposición de valores propios y una rotación tridimensional (no física) del espacio-tiempo
- .
Sin embargo, para obtener una verdadera invariancia galileana, también es necesario adaptar la forma de la función de ventana espacio-temporal, [24] [25] correspondiente a la transferencia de la adaptación de forma afín [10] de datos de imágenes espaciales a espacio-temporales. En combinación con descriptores de histogramas espacio-temporales locales, [26] estos conceptos juntos permiten el reconocimiento invariante de Galileo de eventos espacio-temporales. [27]
Ver también
- Tensor
- Operador de tensor
- Derivado direccional
- Gaussiano
- Detección de esquinas
- Detección de bordes
- Método Lucas-Kanade
- Adaptación de formas afines
- Tensor de estructura generalizada
Referencias
- ^ a b J. Bigun y G. Granlund (1986), Detección de orientación óptima de simetría lineal . Tech. Informe LiTH-ISY-I-0828, Laboratorio de Visión por Computadora, Universidad de Linkoping, Suecia 1986; Informe de tesis, Estudios de Linköping en ciencia y tecnología No. 85, 1986.
- ↑ a b c J. Bigun y G. Granlund (1987). "Detección de la orientación óptima de la simetría lineal". Primero int. Conf. en Computer Vision, ICCV, (Londres) . Piscataway: IEEE Computer Society Press, Piscataway. págs. 433–438.
- ^ a b H. Knutsson (1989). "Representación de la estructura local mediante tensores". Actas 6ª Conf. Escandinava. sobre análisis de imágenes . Oulu: Universidad de Oulu. págs. 244-251.
- ^ a b B. Jahne (1993). Procesamiento de imágenes espacio-temporales: teoría y aplicaciones científicas . 751 . Berlín: Springer-Verlag.
- ^ a b G. Medioni, M. Lee y C. Tang (marzo de 2000). Un marco computacional para la extracción y segmentación de características . Ciencia de Elsevier.
- ^ T. Brox, J. Weickert, B. Burgeth y P. Mrazek (2004). "Tensores de estructura no lineal" (113): 1–32. Parámetro desconocido
|book-title=
ignorado ( ayuda );Cite journal requiere|journal=
( ayuda )CS1 maint: varios nombres: lista de autores ( enlace ) - ^ a b c d e T. Lindeberg (1993), Teoría del espacio-escala en la visión por computadora . Kluwer Academic Publishers, (consulte las secciones 14.4.1 y 14.2.3 en las páginas 359–360 y 355–356 para obtener declaraciones detalladas sobre cómo el tensor de estructura / matriz de segundo momento de múltiples escalas define una representación de múltiples escalas verdadera y determinada de manera única de datos direccionales).
- ^ J. Bigun; G. Granlund y J. Wiklund (1991). "Estimación de Orientación Multidimensional con Aplicaciones al Análisis de Textura y Flujo Óptico". Transacciones IEEE sobre análisis de patrones e inteligencia de máquinas . 13 (8): 775–790. doi : 10.1109 / 34.85668 .
- ^ a b M. Nicolescu y G. Medioni (2003). "Segmentación de movimiento con límites precisos: un enfoque de votación tensorial". Proc. IEEE Visión por Computadora y Reconocimiento de Patrones . 1 . págs. 382–389.
- ^ a b c T. Lindeberg y J. Garding (1997). "Suavizado adaptado a la forma en la estimación de señales de profundidad 3-D de distorsiones afines de la estructura 2-D local" . Computación de imagen y visión . 15 (6): 415–434. doi : 10.1016 / S0262-8856 (97) 01144-X .
- ↑ a b J. Garding y T. Lindeberg (1996). "Cálculo directo de señales de forma utilizando operadores derivados espaciales adaptados a la escala , International Journal of Computer Vision, volumen 17, número 2, páginas 163-191.
- ^ W. Förstner (1986). "Un algoritmo de correspondencia basado en características para el procesamiento de imágenes". 26 : 150-166. Parámetro desconocido
|book-title=
ignorado ( ayuda );Cite journal requiere|journal=
( ayuda ) - ^ C. Harris y M. Stephens (1988). "Un detector combinado de esquinas y bordes". Proc. de la IV Conferencia Visión ALVEY . págs. 147-151.
- ^ K. Rohr (1997). "Sobre operadores diferenciales 3D para la detección de puntos de referencia". 15 (3): 219-233. Parámetro desconocido
|book-title=
ignorado ( ayuda );Cite journal requiere|journal=
( ayuda ) - ^ I. Laptev y T. Lindeberg (2003). "Puntos de interés del espacio-tiempo" . Congreso Internacional de Visión por Computador ICCV'03 . Yo . págs. 432–439. doi : 10.1109 / ICCV.2003.1238378 .
- ^ B. Triggs (2004). "Detección de puntos clave con posición estable, orientación y escala bajo cambios de iluminación". Proc. Congreso Europeo de Visión por Computador . 4 . págs. 100-113.
- ^ C. Kenney, M. Zuliani y B. Manjunath (2005). "Un enfoque axiomático para la detección de esquinas". Proc. IEEE Visión por Computadora y Reconocimiento de Patrones . págs. 191-197.
- ^ A. Almansa y T. Lindeberg (2000), Mejora de imágenes de huellas dactilares utilizando operadores de espacio de escala adaptados a la forma . Transacciones de IEEE sobre procesamiento de imágenes, volumen 9, número 12, páginas 2027–2042.
- ^ J. Weickert (1998), Difusión anisotrópica en el procesamiento de imágenes, Teuber Verlag, Stuttgart.
- ^ D. Tschumperle y Deriche (septiembre de 2002). "Difusión de PDE en imágenes con valores vectoriales": 16-25. Parámetro desconocido
|book-title=
ignorado ( ayuda );Cite journal requiere|journal=
( ayuda ) - ^ S. Arseneau & J. Cooperstock (septiembre de 2006). "Un marco de difusión asimétrica para el análisis de uniones". Conferencia británica sobre visión artificial . 2 . págs. 689–698.
- ^ S. Arseneau y J. Cooperstock (noviembre de 2006). "Una representación mejorada de las uniones a través de la difusión de tensor asimétrico". Simposio Internacional de Computación Visual .
- ^ Yang, Shuai; Chen, Anqing; Chen, Hongde (25 de mayo de 2017). "Filtrado de datos sísmicos mediante algoritmo de medios no locales basado en tensor de estructura" . Geociencias abiertas . 9 (1): 151–160. Bibcode : 2017OGeo .... 9 ... 13Y . doi : 10.1515 / geo-2017-0013 . ISSN 2391-5447 . S2CID 134392619 .
- ^ a b T. Lindeberg; A. Akbarzadeh e I. Laptev (agosto de 2004). "Operadores de interés espacio-temporal corregidos por Galileo" . Conferencia Internacional sobre Reconocimiento de Patrones ICPR'04 . Yo . págs. 57–62. doi : 10.1109 / ICPR.2004.1334004 .
- ^ I. Laptev y T. Lindeberg (agosto de 2004). "Adaptación de la velocidad de los puntos de interés del espacio-tiempo" . Conferencia Internacional sobre Reconocimiento de Patrones ICPR'04 . Yo . págs. 52–56. doi : 10.1109 / ICPR.2004.971 .
- ^ I. Laptev y T. Lindeberg (mayo de 2004). "Descriptores locales para reconocimiento espacio-temporal" . Taller ECCV'04 sobre coherencia espacial para el análisis de movimiento visual (Praga, República Checa) Springer Lecture Notes in Computer Science . 3667 . págs. 91-103. doi : 10.1007 / 11676959 .
- ^ I. Laptev; B. Caputo; C. Schuldt y T. Lindeberg (2007). "Eventos de movimiento adaptados a la velocidad local para el reconocimiento espacio-temporal" . Visión por computadora y comprensión de imágenes . 108 . págs. 207–229. doi : 10.1016 / j.cviu.2006.11.023 .
Recursos
- Descarga MATLAB Source
- Tutorial de tensor de estructura (original)