La coincidencia de plantillas [1] es una técnica en el procesamiento de imágenes digitales para encontrar pequeñas partes de una imagen que coincidan con una imagen de plantilla. Se puede utilizar en la fabricación como parte del control de calidad, [2] una forma de navegar por un robot móvil, [3] o como una forma de detectar bordes en imágenes. [4]
Los principales desafíos en la tarea de comparación de plantillas son: oclusión, detección de transformaciones no rígidas, iluminación y cambios de fondo, desorden de fondo y cambios de escala. [5]
Enfoque basado en características
El enfoque basado en características se basa en la extracción de características de la imagen, es decir, formas, texturas, colores, para que coincidan con la imagen o el marco de destino. Este enfoque se consigue actualmente mediante el uso de Neural Networks y profundo de aprendizaje clasificadores, tales como VGG, [6] AlexNet , ResNet . Las redes neuronales convolucionales profundas procesan la imagen pasándola a través de diferentes capas ocultas y en cada capa producen un vector con información de clasificación sobre la imagen. Estos vectores se extraen de la red y se utilizan como características de la imagen. La extracción de características mediante el uso de redes neuronales profundas es extremadamente eficaz y, por lo tanto, es el estándar en los algoritmos de coincidencia de plantillas de última generación. [7]
Este método se considera más robusto y es de última generación, ya que puede hacer coincidir plantillas con transformaciones no rígidas y fuera del plano , puede coincidir con un alto desorden de fondo y cambios de iluminación. [8] [9] [10]
Enfoque basado en plantillas
Para plantillas sin características sólidas, o para cuando la mayor parte de la imagen de la plantilla constituye la imagen coincidente, un enfoque basado en plantillas puede ser eficaz. Como se mencionó anteriormente, dado que la coincidencia basada en plantillas puede potencialmente requerir el muestreo de una gran cantidad de puntos, es posible reducir la cantidad de puntos de muestreo reduciendo la resolución de la búsqueda y las imágenes de la plantilla por el mismo factor y realizando la operación en el resultado imágenes reducidas (multiresolución o pirámide ), que proporcionan una ventana de búsqueda de puntos de datos dentro de la imagen de búsqueda para que la plantilla no tenga que buscar todos los puntos de datos viables, o una combinación de ambos.
Seguimiento de movimiento y manejo de oclusiones
En los casos en que la plantilla no proporcione una coincidencia directa, puede ser útil implementar el uso de espacios propios : plantillas que detallan el objeto coincidente en una serie de condiciones diferentes, como diferentes perspectivas, iluminaciones, contrastes de color u objetos coincidentes aceptables. "Poses". [11] Por ejemplo, si el usuario buscaba un rostro, los espacios propios pueden consistir en imágenes (plantillas) de rostros en diferentes posiciones para la cámara, en diferentes condiciones de iluminación o con diferentes expresiones.
También es posible que la imagen coincidente quede oscurecida u ocluida por un objeto; en estos casos, no es razonable proporcionar una multitud de plantillas para cubrir cada posible oclusión. Por ejemplo, la imagen de búsqueda puede ser una carta de juego, y en algunas de las imágenes de búsqueda, la carta está oscurecida por los dedos de alguien que sostiene la carta, o por otra carta encima de ella, o cualquier objeto frente a la cámara. para esa materia. En los casos en que el objeto es maleable o posable, el movimiento también se convierte en un problema y los problemas que involucran tanto el movimiento como la oclusión se vuelven ambiguos. [12] En estos casos, una posible solución es dividir la imagen de la plantilla en varias subimágenes y realizar una coincidencia en cada subdivisión.
Plantillas deformables en anatomía computacional
La coincidencia de plantillas es una herramienta central en anatomía computacional (CA). El modelo de plantilla deformable [13] modela el espacio de anatomías y órbitas humanas bajo la acción grupal de difeomorfismos. La coincidencia de plantillas surge como un problema al hacer coincidir el difeomorfismo desconocido que actúa sobre la plantilla para coincidir con la imagen de destino.
Los algoritmos de coincidencia de plantillas en CA se han denominado mapeo métrico difeomórfico de grandes deformaciones (LDDMM); ahora existen algoritmos de coincidencia de plantillas LDDMM para hacer coincidir puntos de referencia, curvas, superficies y volúmenes .
Concordancia basada en plantillas explicada mediante correlación cruzada o suma de diferencias absolutas
Un método básico de coincidencia de plantillas utiliza un parche de imagen (plantilla), adaptado a una característica específica de la imagen de búsqueda, que queremos detectar. Esta técnica se puede realizar fácilmente en imágenes grises o imágenes de bordes . La salida de correlación cruzada será más alta en los lugares donde la estructura de la imagen coincide con la estructura de la máscara, donde los valores grandes de la imagen se multiplican por los valores grandes de la máscara.
Este método normalmente se implementa seleccionando primero una parte de la imagen de búsqueda para usarla como plantilla: llamaremos a la imagen de búsqueda S (x, y) , donde (x, y) representan las coordenadas de cada píxel en la imagen de búsqueda. . Llamaremos a la plantilla T (x t , y t ) , donde (x t , y t ) representan las coordenadas de cada píxel en la plantilla. Luego simplemente movemos el centro (o el origen) de la plantilla T (x t , y t ) sobre cada punto (x, y) en la imagen de búsqueda y calculamos la suma de productos entre los coeficientes en S (x, y) y T (x t , y t ) en toda el área abarcada por la plantilla. Como se consideran todas las posiciones posibles de la plantilla con respecto a la imagen de búsqueda, la posición con la puntuación más alta es la mejor posición. Este método a veces se denomina "filtrado espacial lineal" y la plantilla se denomina máscara de filtro [ cita requerida ] .
Otra forma de manejar los problemas de traducción en imágenes usando la coincidencia de plantillas es comparar las intensidades de los píxeles , usando la medida SAD ( Suma de diferencias absolutas ).
Un píxel en la imagen de búsqueda con coordenadas (x s , y s ) tiene intensidad I s (x s , y s ) y un píxel en la plantilla con coordenadas (x t , y t ) tiene intensidad I t (x t , y t ) . Por tanto, la diferencia absoluta en las intensidades de píxeles se define como Diff (x s , y s , x t , y t ) = | Yo s (x s , y s ) - I t (x t , y t ) | .
La representación matemática de la idea de recorrer los píxeles en la imagen de búsqueda a medida que traducimos el origen de la plantilla en cada píxel y tomamos la medida SAD es la siguiente:
S filas y S cols denotan las filas y las columnas de la búsqueda de imágenes de y T filas y T cols denotan las filas y las columnas de la imagen de la plantilla, respectivamente. En este método, la puntuación SAD más baja proporciona la estimación de la mejor posición de la plantilla dentro de la imagen de búsqueda. El método es simple de implementar y comprender, pero es uno de los métodos más lentos.
Implementación
En esta implementación simple, se supone que el método descrito anteriormente se aplica en imágenes grises: por eso se usa Gray como intensidad de píxel. La posición final en esta implementación proporciona la ubicación superior izquierda donde la imagen de la plantilla coincide mejor con la imagen de búsqueda.
minSAD = VALUE_MAX ;// recorrer la imagen de búsqueda para ( size_t x = 0 ; x <= S_cols - T_cols ; x ++ ) { for ( size_t y = 0 ; y <= S_rows - T_rows ; y ++ ) { SAD = 0.0 ; // recorrer la imagen de la plantilla para ( size_t j = 0 ; j < T_cols ; j ++ ) para ( size_t i = 0 ; i < T_rows ; i ++ ) { píxel p_SearchIMG = S [ y + i ] [ x + j ]; píxel p_TemplateIMG = T [ i ] [ j ]; SAD + = abs ( p_SearchIMG . Gray - p_TemplateIMG . Gray ); } // guarda la mejor posición encontrada if ( minSAD > SAD ) { minSAD = SAD ; // dame la posición min SAD . bestRow = y ; posición . bestCol = x ; posición . bestSAD = SAD ; } } }
Una forma de realizar la coincidencia de plantillas en imágenes en color es descomponer los píxeles en sus componentes de color y medir la calidad de coincidencia entre la plantilla de color y la imagen de búsqueda utilizando la suma del SAD calculado para cada color por separado.
Acelerando el proceso
En el pasado, este tipo de filtrado espacial normalmente solo se usaba en soluciones de hardware dedicado debido a la complejidad computacional de la operación, [14] sin embargo, podemos reducir esta complejidad filtrándolo en el dominio de frecuencia de la imagen, denominado ' filtrado en el dominio de la frecuencia ', esto se hace mediante el uso del teorema de convolución .
Otra forma de acelerar el proceso de emparejamiento es mediante el uso de una pirámide de imágenes. Se trata de una serie de imágenes, a diferentes escalas, que se forman filtrando y submuestreando repetidamente la imagen original para generar una secuencia de imágenes de resolución reducida. [15] Estas imágenes de menor resolución se pueden buscar en la plantilla (con una resolución igualmente reducida), con el fin de obtener posibles posiciones de inicio para la búsqueda a escalas más grandes. Las imágenes más grandes se pueden buscar en una pequeña ventana alrededor de la posición de inicio para encontrar la mejor ubicación de la plantilla.
Otros métodos pueden manejar problemas como traducción, escala, rotación de imágenes e incluso todas las transformaciones afines. [16] [17] [18]
Mejorando la precisión del emparejamiento
Se pueden realizar mejoras en el método de emparejamiento utilizando más de una plantilla (espacios propios), estas otras plantillas pueden tener diferentes escalas y rotaciones.
También es posible mejorar la precisión del método de emparejamiento mediante la hibridación de los enfoques basados en características y basados en plantillas. [19] Naturalmente, esto requiere que la búsqueda y las imágenes de la plantilla tengan características que sean lo suficientemente evidentes para admitir la coincidencia de características.
Métodos similares
Otros métodos que son similares incluyen ' Coincidencia estéreo ', ' Registro de imagen ' y ' Transformación de características invariantes de escala '.
Ejemplos de uso
La coincidencia de plantillas tiene varias aplicaciones y se utiliza en campos como el reconocimiento facial (ver sistema de reconocimiento facial ) y el procesamiento de imágenes médicas. Se han desarrollado y utilizado sistemas en el pasado para contar el número de caras que caminan por una parte de un puente en un período de tiempo determinado. Otros sistemas incluyen la detección automatizada de nódulos calcificados dentro de las radiografías digitales de tórax. [20] Recientemente, este método se implementó en simulación geoestadística que podría proporcionar un algoritmo rápido. [21]
Ver también
- Sistema de reconocimiento facial
- Reconocimiento de patrones
- Visión por computador
- Coincidencia elástica
Referencias
- ^ R. Brunelli, Técnicas de coincidencia de plantillas en visión por computadora: teoría y práctica , Wiley, ISBN 978-0-470-51706-2 , 2009 ( [1] libro TM)
- ^ Aksoy, MS; Torkul, O .; Cedimoglu, IH (2004). "Un sistema de inspección visual industrial que utiliza aprendizaje inductivo". Revista de fabricación inteligente . 15 (4): 569–574. doi : 10.1023 / B: JIMS.0000034120.86709.8c . S2CID 35493679 .
- ^ Kyriacou, Theocharis, Guido Bugmann y Stanislao Lauria. " Procedimientos de navegación urbana basados en la visión para robots instruidos verbalmente ". Robótica y sistemas autónomos 51.1 (30 de abril de 2005): 69-80. Académico ampliado lo antes posible. Thomson Gale.
- ^ WANG, CHING YANG, Ph.D. "DETECCIÓN DE BORDES CON COINCIDENCIA DE PLANTILLAS (PROCESAMIENTO DE IMAGEN, LÓGICA DE UMBRAL, ANÁLISIS, FILTROS)". Universidad de Duke, 1985, 288 páginas; AAT 8523046
- ^ Talmi, Itamar; Méchrez, Roey; Zelnik-Manor, Lihi (7 de diciembre de 2016). "Plantilla a juego con similitud de diversidad deformable". arXiv : 1612.02190 [ cs.CV ].
- ^ "El repositorio de preimpresión arXiv alcanza el millón de cargas". La física hoy . 2014. doi : 10.1063 / pt.5.028530 . ISSN 1945-0699 .
- ^ Zhang, Richard; Isola, Phillip; Efros, Alexei A .; Shechtman, Eli; Wang, Oliver (11 de enero de 2018). "La efectividad irrazonable de características profundas como métrica de percepción". arXiv : 1801.03924 [ cs.CV ].
- ^ Talmi, Mechrez, Zelnik-Manor (2016). "Plantilla a juego con similitud de diversidad deformable". arXiv : 1612.02190 [ cs.CV ].CS1 maint: varios nombres: lista de autores ( enlace )
- ^ Li, Yuhai, L. Jian, T. Jinwen, X. Honbo. " Una plantilla de coincidencia de rotación rápida basada en la función de puntos ". Procedimientos del SPIE 6043 (2005): 453-459. MIPPR 2005: SAR y procesamiento de imágenes multiespectrales.
- ↑ B. Sirmacek, C. Unsalan. “ Detección de áreas urbanas y edificios mediante puntos clave de SIFT y teoría de gráficos ”, IEEE Transactions on Geoscience and Remote Sensing, Vol.47 (4), pp. 1156-1167, abril de 2009.
- ^ Luis A. Mateos, Dan Shao y Walter G. Kropatsch. Expansión de la pirámide gráfica irregular para un objeto que se aproxima . CIARP 2009: 885-891.
- ^ F. Jurie y M. Dhome. Coincidencia robusta de plantillas en tiempo real . En British Machine Vision Conference, páginas 123-131, 2002.
- ^ Christensen, GE; Rabbitt, RD; Miller, MI (octubre de 1996). "Modelo de plantilla deformable utilizando cinemática de gran deformación". Transacciones IEEE sobre procesamiento de imágenes . 5 (10): 1435-1447. doi : 10.1109 / 83.536892 . PMID 18290061 .
- ^ González, R, Woods, R, Eddins, S " Procesamiento de imágenes digitales con Matlab " Prentice Hall, 2004
- ^ EH Adelson, CH Anderson, JR Bergen, PJ Burt y JM Ogden, métodos piramidales en el procesamiento de imágenes http://web.mit.edu/persci/people/adelson/pub_pdfs/RCA84.pdf
- ^ Yuan, Po, MSEE "Sistema de reconocimiento de patrones invariantes de traducción, escala, rotación y umbral". La Universidad de Texas en Dallas, 1993, 62 páginas; AAT EP13780
- ^ HY Kim y SA Araújo, " Invariante de coincidencia de plantillas en escala de grises para rotación, escala, traducción, brillo y contraste ", Simposio IEEE Pacific-Rim sobre tecnología de imagen y video, Notas de la conferencia en Ciencias de la Computación, vol. 4872, págs. 100-113, 2007.
- ^ Korman S., Reichman D., Tsur G. y Avidan S., " FAsT-Match: Fast Affine Template Matching ", CVPR2013.
- ^ CT Yuen, M. Rizon, WS San y TC Seong. " Funciones faciales para el reconocimiento facial basado en la coincidencia de plantillas ". Revista Estadounidense de Ingeniería y Ciencias Aplicadas 3 (1): 899-903, 2010.
- ^ Ashley Aberneithy. "Detección automática de nódulos calcificados de pacientes con tuberculosis". University College London, 2007
- ^ Tahmasebi, P., Hezarkhani, A., Sahimi, M., 2012, Modelado geoestadístico de múltiples puntos basado en las funciones de correlación cruzada , Computational Geosciences, 16 (3): 779-79742.
enlaces externos
- Coincidencia de plantillas en OpenCV
- Reconocimiento visual de objetos mediante la coincidencia de plantillas
- Programa de demostración de coincidencia de plantillas de rotación, escala y traducción invariante
- coincidencia de plantilla invariante en perspectiva