La adaptación de forma afín es una metodología para adaptar iterativamente la forma de los granos de suavizado en un grupo afín de granos de suavizado a la estructura de la imagen local en la región de vecindad de un punto de imagen específico. De manera equivalente, la adaptación de formas afines se puede lograr deformando iterativamente un parche de imagen local con transformaciones afines mientras se aplica un filtro simétrico rotacionalmente a los parches de imagen deformados. Siempre que este proceso iterativo converja, el punto fijo resultante será invariante afín . En el área de la visión por computadora , esta idea se ha utilizado para definir operadores de puntos de interés invariantes afines, así como métodos de análisis de texturas invariantes afines.
Operadores de puntos de interés afines adaptados
Los puntos de interés obtenidos del detector de manchas Laplaciano adaptado a la escala o del detector de esquinas de Harris de múltiples escalas con selección automática de escala son invariantes a las traslaciones, rotaciones y recalificaciones uniformes en el dominio espacial. Sin embargo, las imágenes que constituyen la entrada a un sistema de visión por computadora también están sujetas a distorsiones de perspectiva. Para obtener puntos de interés que sean más robustos a las transformaciones de perspectiva, un enfoque natural es diseñar un detector de características que sea invariante para las transformaciones afines .
La invariancia afín se puede lograr a partir de mediciones de la misma matriz de segundo momento con ventana de múltiples escalas como se usa en el operador de Harris multiescala siempre que extendamos el concepto de espacio de escala regular obtenido por convolución con núcleos gaussianos rotacionalmente simétricos a un espacio de escala gaussiano afín obtenido por núcleos gaussianos adaptados a la forma (Lindeberg 1994 sección 15.3; Lindeberg y Garding 1997). Para una imagen bidimensional, dejar y deja ser una matriz 2 × 2 definida positiva. Entonces, un kernel gaussiano no uniforme se puede definir como
y dada cualquier imagen de entrada el espacio de escala afín gaussiano es el espacio de escala de tres parámetros definido como
A continuación, introduzca una transformación afín dónde es una matriz de 2 × 2 y define una imagen transformada como
- .
Entonces, las representaciones afines del espacio de escala y de y , respectivamente, están relacionados de acuerdo con
siempre que las matrices de formas afines y están relacionados de acuerdo con
- .
Sin tener en cuenta los detalles matemáticos, que desafortunadamente se vuelven algo técnicos si se apunta a una descripción precisa de lo que está sucediendo, el mensaje importante es que el espacio de escala afín gaussiano está cerrado bajo transformaciones afines .
Si nosotros, dada la notación así como matriz de forma local y una matriz de formas de integración , introducir una matriz de segundo momento multiescala adaptada a afines de acuerdo con
se puede demostrar que bajo cualquier transformación afín La matriz de segundo momento multiescala adaptada a afines se transforma de acuerdo con
- .
Una vez más, sin tener en cuenta los detalles técnicos algo desordenados, el mensaje importante aquí es que dada una correspondencia entre los puntos de la imagen y , la transformación afín se puede estimar a partir de las mediciones de las matrices de segundo momento de múltiples escalas y en los dos dominios.
Una consecuencia importante de este estudio es que si podemos encontrar una transformación afín tal que es una constante multiplicada por la matriz unitaria, entonces obtenemos un punto fijo que es invariante a las transformaciones afines (Lindeberg 1994 sección 15.4; Lindeberg y Garding 1997). A los efectos de la implementación práctica, esta propiedad a menudo se puede alcanzar de dos formas principales. El primer enfoque se basa en transformaciones de los filtros de suavizado y consta de:
- estimar la matriz de segundo momento en el dominio de la imagen,
- determinación de un nuevo núcleo de suavizado adaptado con matriz de covarianza proporcional a ,
- suavizar la imagen original mediante el kernel de suavizado adaptado a la forma, y
- repetir esta operación hasta que la diferencia entre dos matrices de segundo momento sucesivas sea suficientemente pequeña.
El segundo enfoque se basa en deformaciones en el dominio de la imagen e implica:
- estimando en el dominio de la imagen,
- estimar una transformación afín local proporcional a dónde denota la matriz de raíz cuadrada de ,
- deformando la imagen de entrada por la transformación afín y
- repitiendo esta operación hasta está lo suficientemente cerca de una constante multiplicada por la matriz unitaria.
Este proceso general se conoce como adaptación de forma afín (Lindeberg y Garding 1997; Baumberg 2000; Mikolajczyk y Schmid 2004; Tuytelaars y van Gool 2004; Ravela 2004; Lindeberg 2008). En el caso continuo ideal, los dos enfoques son matemáticamente equivalentes. Sin embargo, en implementaciones prácticas, el primer enfoque basado en filtros suele ser más preciso en presencia de ruido, mientras que el segundo enfoque basado en deformaciones suele ser más rápido.
En la práctica, el proceso de adaptación de formas afines descrito aquí a menudo se combina con la selección de escala automática de detección de puntos de interés como se describe en los artículos sobre detección de manchas y detección de esquinas , para obtener puntos de interés que son invariantes para el grupo afín completo, incluidos los cambios de escala. Además del operador de Harris de múltiples escalas de uso común, esta adaptación de forma afín también se puede aplicar a otros tipos de operadores de puntos de interés, como el operador Laplacian / Difference of Gaussian blob y el determinante del Hessian (Lindeberg 2008). La adaptación de formas afines también se puede utilizar para el reconocimiento de texturas invariantes afines y la segmentación de texturas invariantes afines.
Estrechamente relacionada con la noción de adaptación de forma afín está la noción de normalización afín , que define un marco de referencia invariante afín como se describe con más detalle en Lindeberg (2013a, b, 2021: Apéndice I.3), de modo que cualquier medición de imagen realizada en la afinidad El marco de referencia invariante es invariante afín.
Ver también
Referencias
- A. Baumberg (2000). "Coincidencia confiable de funciones en vistas muy separadas". Actas de la Conferencia IEEE sobre Visión por Computador y Reconocimiento de Patrones . págs. I: 1774-1781. doi : 10.1109 / CVPR.2000.855899 .
- T. Lindeberg (1994). Teoría del espacio-escala en visión artificial . Saltador. ISBN 0-7923-9418-6.
- T. Lindeberg y J. Garding (1997). "Suavizado adaptado a la forma en la estimación de señales de profundidad 3-D de distorsiones afines de la estructura 2-D local" . Computación de imagen y visión . 15 (6): 415–434. doi : 10.1016 / S0262-8856 (97) 01144-X .
- T. Lindeberg (2008). "Espacio de escala" . Enciclopedia de Ciencias de la Computación e Ingeniería ( Benjamin Wah , ed), John Wiley and Sons . IV . págs. 2495-2504. doi : 10.1002 / 9780470050118.ecse609 .
- T. Lindeberg (2013a). "Invarianza de operaciones visuales a nivel de campos receptivos" . PLOS ONE . 8 (7): e66990: 1-33. doi : 10.1371 / journal.pone.0066990 .
- T. Lindeberg (2013b). "Teoría axiomática generalizada del espacio-escala" . Avances en imágenes y física electrónica . 178 (7): 1–96. doi : 10.1016 / B978-0-12-407701-0.00001-7 .
- T. Lindeberg (2021). "Teoría normativa de los campos visuales receptivos" . Heliyon . 7 (1): e05897. doi : 10.1016 / j.heliyon.2021.e05897 .
- K. Mikolajczyk, K. y C. Schmid (2004). "Detectores de puntos de interés invariantes de escala y afines" (PDF) . Revista Internacional de Visión por Computador . 60 (1): 63–86. doi : 10.1023 / B: VISI.0000027790.02288.f2 .
Integración del operador Harris de múltiples escalas con la metodología para la selección automática de escalas, así como con la adaptación de formas afines.
- T. Tuytelaars y L. van Gool K. (2004). "Coincidencia de vistas ampliamente separadas basadas en regiones invariantes afines" (PDF) . Revista Internacional de Visión por Computador . 59 (1): 63–86. doi : 10.1023 / B: VISI.0000020671.28016.e8 . Archivado desde el original (PDF) el 12 de junio de 2010.