Las imágenes de superresolución ( SR ) son una clase de técnicas que mejoran (aumentan) la resolución de un sistema de imágenes . En la SR óptica se trasciende el límite de difracción de los sistemas, mientras que en la SR geométrica se mejora la resolución de los sensores de imágenes digitales .
En algunas aplicaciones de imágenes de radar y sonar (p. Ej., Resonancia magnética (MRI), tomografía computarizada de alta resolución ), se utilizan métodos basados en descomposición subespacial (p. Ej. MUSIC [1] ) y algoritmos basados en sensores comprimidos (p. Ej., SAMV [2] ) empleado para lograr SR sobre el algoritmo de periodograma estándar .
Las técnicas de obtención de imágenes de superresolución se utilizan en el procesamiento de imágenes en general y en microscopía de superresolución .
Conceptos básicos
Debido a que algunas de las ideas que rodean a la superresolución plantean cuestiones fundamentales, es necesario desde el principio examinar los principios físicos y teóricos de la información relevantes:
- Límite de difracción : el detalle de un objeto físico que un instrumento óptico puede reproducir en una imagen tiene límites establecidos por las leyes de la física, ya sea que se formulen mediante las ecuaciones de difracción de la teoría ondulatoria de la luz [3] o, de manera equivalente, el principio de incertidumbre de los fotones. en mecánica cuántica . [4] La transferencia de información nunca puede incrementarse más allá de este límite, pero los paquetes fuera de los límites pueden intercambiarse inteligentemente por (o multiplexarse con) algunos dentro de ellos. [5] Uno no tanto "rompe" como "corre alrededor" del límite de difracción. Los nuevos procedimientos que sondean las perturbaciones electromagnéticas a nivel molecular (en el llamado campo cercano) [6] siguen siendo totalmente coherentes con las ecuaciones de Maxwell .
- Dominio de la frecuencia espacial: Se da una expresión sucinta del límite de difracción en el dominio de la frecuencia espacial. En la óptica de Fourier, las distribuciones de luz se expresan como superposiciones de una serie de patrones de luz de rejilla en un rango de anchos de franja, frecuencias técnicamente espaciales . Generalmente se enseña que la teoría de la difracción estipula un límite superior, la frecuencia espacial de corte, más allá del cual los elementos del patrón no se transfieren a la imagen óptica, es decir, no se resuelven. Pero, de hecho, lo que establece la teoría de la difracción es el ancho de la banda de paso, no un límite superior fijo. No se rompe ninguna ley de la física cuando una banda de frecuencia espacial más allá de la frecuencia espacial de corte se intercambia por una dentro de ella: esto se ha implementado durante mucho tiempo en microscopía de campo oscuro . Tampoco se rompen las reglas de la teoría de la información al superponer varias bandas, [7] [8] desenredarlas en la imagen recibida requiere supuestos de invariancia de objeto durante exposiciones múltiples, es decir, la sustitución de un tipo de incertidumbre por otro.
- Información : cuando el término superresolución se utiliza en técnicas de inferir detalles de objetos a partir del tratamiento estadístico de la imagen dentro de los límites de resolución estándar, por ejemplo, promediando exposiciones múltiples, implica un intercambio de un tipo de información (extracción de la señal del ruido) para otro (la suposición de que el objetivo ha permanecido invariable).
- Resolución y localización: La resolución verdadera implica la distinción de si un objetivo, por ejemplo, una estrella o una línea espectral, es simple o doble, y normalmente requiere picos separables en la imagen. Cuando se sabe que un objetivo es único, su ubicación se puede determinar con mayor precisión que el ancho de la imagen al encontrar el centroide (centro de gravedad) de la distribución de la luz de la imagen. La palabra ultra-resolución se había propuesto para este proceso [9], pero no tuvo éxito, y el procedimiento de localización de alta precisión se denomina típicamente superresolución.
Los logros técnicos de mejorar el rendimiento de los dispositivos de formación y detección de imágenes ahora clasificados como superresolución se utilizan al máximo, pero siempre se mantienen dentro de los límites impuestos por las leyes de la física y la teoría de la información.
Técnicas
Superresolución óptica o difractiva
Sustitución de bandas de frecuencias espaciales: aunque el ancho de banda permitido por difracción es fijo, se puede colocar en cualquier parte del espectro de frecuencias espaciales. La iluminación de campo oscuro en microscopía es un ejemplo. Véase también síntesis de apertura .
Multiplexación de bandas de frecuencia espacial
Se forma una imagen utilizando la banda de paso normal del dispositivo óptico. A continuación, se superpone al objetivo alguna estructura de luz conocida, por ejemplo, un conjunto de franjas de luz que también están dentro de la banda de paso. [8] La imagen ahora contiene componentes resultantes de la combinación del objetivo y la estructura de luz superpuesta, por ejemplo , franjas de moiré , y lleva información sobre los detalles del objetivo que la iluminación simple y no estructurada no contiene. Los componentes "superresueltos", sin embargo, necesitan desenmarañarse para ser revelados. Por ejemplo, vea iluminación estructurada (figura a la izquierda).
Uso de múltiples parámetros dentro del límite de difracción tradicional
Si un objetivo no tiene propiedades especiales de polarización o longitud de onda, se pueden usar dos estados de polarización o regiones de longitud de onda que no se superponen para codificar los detalles del objetivo, uno en una banda de frecuencia espacial dentro del límite de corte y el otro más allá. Ambos utilizarían la transmisión de banda de paso normal, pero luego se decodificarían por separado para reconstituir la estructura objetivo con resolución extendida.
Sondeo de perturbaciones electromagnéticas de campo cercano
La discusión habitual sobre la superresolución implicaba imágenes convencionales de un objeto mediante un sistema óptico. Pero la tecnología moderna permite sondear la perturbación electromagnética dentro de distancias moleculares de la fuente [6] que tiene propiedades de resolución superiores, ver también ondas evanescentes y el desarrollo de la nueva Super lente .
Superresolución geométrica o de procesamiento de imágenes
Reducción de ruido de imagen de exposición múltiple
Cuando una imagen se degrada por el ruido, puede haber más detalles en el promedio de muchas exposiciones, incluso dentro del límite de difracción. Vea el ejemplo de la derecha.
Desborde de un solo cuadro
Los defectos conocidos en una situación de imagen determinada, como el desenfoque o las aberraciones , a veces se pueden mitigar en su totalidad o en parte mediante un filtrado de frecuencia espacial adecuado de incluso una sola imagen. Todos estos procedimientos permanecen dentro de la banda de paso exigida por difracción y no la extienden.
Localización de imágenes de subpíxeles
La ubicación de una sola fuente se puede determinar calculando el "centro de gravedad" ( centroide ) de la distribución de la luz que se extiende sobre varios píxeles adyacentes (consulte la figura de la izquierda). Siempre que haya suficiente luz, esto se puede lograr con precisión arbitraria, mucho mejor que el ancho de píxel del aparato de detección y el límite de resolución para la decisión de si la fuente es simple o doble. Esta técnica, que requiere el presupuesto de que toda la luz proviene de una sola fuente, está en la base de lo que se conoce como microscopía de súper resolución , por ejemplo, microscopía de reconstrucción óptica estocástica (STORM), donde las sondas fluorescentes unidas a las moléculas dan una distancia a nanoescala información. También es el mecanismo subyacente a la hiperactividad visual . [10]
Inducción bayesiana más allá del límite de difracción tradicional
Algunas características del objeto, aunque más allá del límite de difracción, pueden estar asociadas con otras características del objeto que están dentro de los límites y, por lo tanto, están contenidas en la imagen. Luego, se pueden sacar conclusiones, utilizando métodos estadísticos, a partir de los datos de imagen disponibles sobre la presencia del objeto completo. [11] El ejemplo clásico es la proposición de Toraldo di Francia [12] de juzgar si una imagen es la de una estrella simple o doble determinando si su ancho excede la extensión de una sola estrella. Esto se puede lograr en separaciones muy por debajo de los límites de resolución clásicos, y requiere la limitación previa a la opción "¿simple o doble?"
El enfoque puede tomar la forma de extrapolar la imagen en el dominio de la frecuencia, asumiendo que el objeto es una función analítica y que podemos conocer exactamente los valores de la función en algún intervalo . Este método está severamente limitado por el ruido siempre presente en los sistemas de imágenes digitales, pero puede funcionar para imágenes de radar , astronomía , microscopía o resonancia magnética . [13] Más recientemente, un rápido algoritmo de superresolución de imagen única basado en una solución de forma cerrada paraSe ha propuesto y se ha demostrado que los problemas aceleran significativamente la mayoría de los métodos de superresolución bayesianos existentes. [14]
Aliasing
Los algoritmos de reconstrucción de SR geométricos son posibles si y solo si las imágenes de entrada de baja resolución han sido submuestreadas y, por lo tanto, contienen aliasing . Debido a este aliasing, el contenido de alta frecuencia de la imagen de reconstrucción deseada está incrustado en el contenido de baja frecuencia de cada una de las imágenes observadas. Dada una cantidad suficiente de imágenes de observación, y si el conjunto de observaciones varía en su fase (es decir, si las imágenes de la escena se desplazan en una cantidad de subpíxeles), la información de fase se puede utilizar para separar la alta frecuencia con alias. El contenido del contenido real de baja frecuencia y la imagen de resolución completa se pueden reconstruir con precisión. [15]
En la práctica, este enfoque basado en frecuencia no se utiliza para la reconstrucción, pero incluso en el caso de enfoques espaciales (por ejemplo, fusión de desplazamiento-adición [16] ), la presencia de aliasing sigue siendo una condición necesaria para la reconstrucción de SR.
Implementaciones técnicas
Hay variantes de SR de un solo cuadro y de múltiples cuadros. La SR de fotogramas múltiples utiliza los cambios de subpíxeles entre varias imágenes de baja resolución de la misma escena. Crea una imagen de resolución mejorada fusionando información de todas las imágenes de baja resolución, y las imágenes creadas de mayor resolución son mejores descripciones de la escena. Los métodos SR de fotograma único intentan ampliar la imagen sin producir borrosidad. Estos métodos utilizan otras partes de las imágenes de baja resolución, u otras imágenes no relacionadas, para adivinar cómo debería verse la imagen de alta resolución. Los algoritmos también se pueden dividir por su dominio: dominio de frecuencia o espacio . Originalmente, los métodos de superresolución funcionaban bien solo en imágenes en escala de grises, [17] pero los investigadores han encontrado métodos para adaptarlos a imágenes de cámaras en color. [16] Recientemente, también se ha demostrado el uso de superresolución para datos 3D. [18]
Investigar
Existe una investigación prometedora sobre el uso de redes convolucionales profundas para realizar una superresolución. [19] En particular, se ha demostrado un trabajo que muestra la transformación de una imagen de microscopio de 20x de granos de polen en una imagen de microscopio electrónico de barrido de 1500x . [20] Si bien esta técnica puede aumentar el contenido de información de una imagen, no hay garantía de que las características mejoradas existan en la imagen original y los escaladores convolucionales profundos no deben usarse en aplicaciones analíticas con entradas ambiguas.
Ver también
- Resolución óptica
- Sobremuestreo
- Super resolución de video
Referencias
- ^ Schmidt, RO, "Estimación de parámetros de señal y ubicación de emisores múltiples", IEEE Trans. Propagación de antenas, vol. AP-34 (marzo de 1986), páginas 276-280.
- ^ Abeida, Habti; Zhang, Qilin; Li, Jian; Merabtine, Nadjim (2013). "Enfoques basados en varianza mínima asintótica dispersa iterativa para el procesamiento de matrices" (PDF) . Transacciones IEEE sobre procesamiento de señales . 61 (4): 933–944. arXiv : 1802.03070 . Código bibliográfico : 2013ITSP ... 61..933A . doi : 10.1109 / tsp.2012.2231676 . ISSN 1053-587X . S2CID 16276001 .
- ^ Nacido M, Wolf E, Principios de óptica , Cambridge Univ. Prensa, cualquier edición
- ^ Fox M, 2007 Óptica cuántica Oxford
- ^ Zalevsky Z, Mendlovic D. 2003Springer de superresolución óptica
- ^ a b Betzig, E; Trautman, JK (1992). "Óptica de campo cercano: microscopía, espectroscopía y modificación de la superficie más allá del límite de difracción". Ciencia . 257 (5067): 189-195. Código bibliográfico : 1992Sci ... 257..189B . doi : 10.1126 / science.257.5067.189 . PMID 17794749 . S2CID 38041885 .
- ^ Lukosz, W., 1966. Sistemas ópticos con poder de resolución superior al límite clásico. J. opt. soc. Soy. 56, 1463-1472.
- ↑ a b Gustaffsson, M., 2000. Superando el límite de resolución lateral por un factor de dos usando microscopía de iluminación estructurada. J. Microscopy 198, 82–87.
- ^ Cox, IJ, Sheppard, CJR, 1986. Capacidad de información y resolución en un sistema óptico. J.opt. Soc. Soy. A 3, 1152–1158
- ^ Westheimer, G. (2012). "Superresolución óptica e hiperactividad visual" . Prog Retin Eye Res . 31 (5): 467–80. doi : 10.1016 / j.preteyeres.2012.05.001 . PMID 22634484 .
- ^ Harris, JL, 1964. Poder de resolución y toma de decisiones. J. opt. soc. Soy. 54, 606–611.
- ^ Toraldo di Francia, G., 1955. Poder resolutivo e información. J. opt. soc. Soy. 45, 497–501.
- ^ D. Poot, B. Jeurissen, Y. Bastiaensen, J. Veraart, W. Van Hecke, PM Parizel y J. Sijbers, "Súper resolución para imágenes de tensor de difusión multicorte", Resonancia magnética en medicina, (2012)
- ^ N. Zhao, Q. Wei, A. Basarab, N. Dobigeon, D. Kouamé y JY. Tourneret, " superresolución rápida de una sola imagen con una nueva solución analítica para ℓ 2 - ℓ 2 {\ Displaystyle \ ell _ {2} - \ ell _ {2}} problemas " , IEEE Trans. Image Process., 2016, para aparecer.
- ^ J. Simpkins, RL Stevenson, "Introducción a las imágenes de superresolución". Óptica matemática: métodos clásicos, cuánticos y computacionales , Ed. V. Lakshminarayanan, M. Calvo y T. Alieva. CRC Press, 2012. 539-564.
- ^ a b S. Farsiu, D. Robinson, M. Elad y P. Milanfar, " Superresolución de cuadros múltiples rápida y robusta" , Transacciones IEEE sobre procesamiento de imágenes, vol. 13, no. 10, págs. 1327-1344, octubre de 2004.
- ^ P. Cheeseman, B. Kanefsky, R. Kraft y J. Stutz, 1994
- ^ S. Schuon, C. Theobalt, J. Davis y S. Thrun, "LidarBoost: Superresolución de profundidad para escaneo de formas 3D ToF" , en las actas de IEEE CVPR 2009
- ^ Johnson, Justin; Alahi, Alexandre; Fei-Fei, Li (26 de marzo de 2016). "Pérdidas de percepción por transferencia de estilo en tiempo real y superresolución". arXiv : 1603.08155 [ cs.CV ].
- ^ Grant-Jacob, James A; Mackay, Benita S; Baker, James AG; Xie, Yunhui; Heath, Daniel J; Loxham, Matthew; Eason, Robert W; Mills, Ben (18 de junio de 2019). "Una lente neural para imágenes biológicas de superresolución" . Revista de comunicaciones de física . 3 (6): 065004. Bibcode : 2019JPhCo ... 3f5004G . doi : 10.1088 / 2399-6528 / ab267d . ISSN 2399-6528 .
- Curtis, Craig H .; Milster, Tom D. (octubre de 1992). "Análisis de superresolución en dispositivos de almacenamiento de datos magnetoópticos". Óptica aplicada . 31 (29): 6272–6279. Código Bibliográfico : 1992ApOpt..31.6272M . doi : 10.1364 / AO.31.006272 . PMID 20733840 .
- Zalevsky, Z .; Mendlovic, D. (2003). Superresolución óptica . Saltador. ISBN 978-0-387-00591-1.
- Caron, JN (septiembre de 2004). "Supermuestreo rápido de secuencias de multitrama mediante el uso de deconvolución ciega". Letras de óptica . 29 (17): 1986–1988. Código Bibliográfico : 2004OptL ... 29.1986C . doi : 10.1364 / OL.29.001986 . PMID 15455755 .
- Clement, GT; Huttunen, J .; Hynynen, K. (2005). "Imagen de ultrasonido de superresolución mediante reconstrucción retroproyectada". Revista de la Sociedad Americana de Acústica . 118 (6): 3953–3960. Código bibliográfico : 2005ASAJ..118.3953C . doi : 10.1121 / 1.2109167 . PMID 16419839 .
- Geisler, WS; Perry, JS (2011). "Estadísticas para la predicción óptima de puntos en imágenes naturales" . Revista de visión . 11 (12): 14. doi : 10.1167 / 11.12.14 . PMC 5144165 . PMID 22011382 .
- Cheung, V .; Frey, BJ; Jojic, N. (20 a 25 de junio de 2005). Epítomas de video (PDF) . Conferencia sobre Visión por Computador y Reconocimiento de Patrones (CVPR). 1 . págs. 42–49. doi : 10.1109 / CVPR.2005.366 .
- Bertero, M .; Boccacci, P. (octubre de 2003). "Superresolución en imagen computacional". Micron . 34 (6–7): 265–273. doi : 10.1016 / s0968-4328 (03) 00051-9 . PMID 12932769 .
- Borman, S .; Stevenson, R. (1998). "Mejora de la resolución espacial de secuencias de imágenes de baja resolución: una revisión completa con direcciones para futuras investigaciones" (informe técnico) . Universidad de Notre Dame. Cite journal requiere
|journal=
( ayuda ) - Borman, S .; Stevenson, R. (1998). Súper resolución a partir de secuencias de imágenes: una revisión (PDF) . Simposio del Medio Oeste sobre circuitos y sistemas.
- Park, SC; Park, MK; Kang, MG (mayo de 2003). "Reconstrucción de imágenes de superresolución: una descripción técnica". Revista de procesamiento de señales IEEE . 20 (3): 21–36. Código Bibliográfico : 2003ISPM ... 20 ... 21P . doi : 10.1109 / MSP.2003.1203207 .
- Farsiu, S .; Robinson, D .; Elad, M .; Milanfar, P. (agosto de 2004). "Avances y desafíos en superresolución". Revista internacional de sistemas y tecnología de imágenes . 14 (2): 47–57. doi : 10.1002 / ima.20007 . S2CID 12351561 .
- Elad, M .; Hel-Or, Y. (agosto de 2001). "Algoritmo de reconstrucción de súper resolución rápida para movimiento traslacional puro y desenfoque invariante de espacio común". Transacciones IEEE sobre procesamiento de imágenes . 10 (8): 1187-1193. Código Bibliográfico : 2001ITIP ... 10.1187E . CiteSeerX 10.1.1.11.2502 . doi : 10.1109 / 83.935034 . PMID 18255535 .
- Irani, M .; Peleg, S. (junio de 1990). Súper resolución a partir de secuencias de imágenes (PDF) . Congreso Internacional de Reconocimiento de Patrones. 2 . págs. 115-120.
- Sroubek, F .; Cristóbal, G .; Flusser, J. (2007). "Un enfoque unificado de superresolución y deconvolución ciega multicanal". Transacciones IEEE sobre procesamiento de imágenes . 16 (9): 2322–2332. Código Bibliográfico : 2007ITIP ... 16.2322S . doi : 10.1109 / TIP.2007.903256 . PMID 17784605 . S2CID 6367149 .
- Calabuig, Alejandro; Micó, Vicente; García, Javier; Zalevsky, Zeev; Ferreira, Carlos (marzo de 2011). "Microscopía interferométrica superesuelta de exposición única por multiplexación rojo-verde-azul". Letras de óptica . 36 (6): 885–887. Código bibliográfico : 2011OptL ... 36..885C . doi : 10.1364 / OL.36.000885 . PMID 21403717 .
- Chan, Wai-San; Lam, Edmund; Ng, Michael K .; Mak, Giuseppe Y. (septiembre de 2007). "Reconstrucción de superresolución en un sistema de imágenes de ojo compuesto computacional". Sistemas multidimensionales y procesamiento de señales . 18 (2-3): 83-101. doi : 10.1007 / s11045-007-0022-3 . S2CID 16452552 .
- Ng, Michael K .; Shen, Huanfeng; Lam, Edmund Y .; Zhang, Liangpei (2007). "Un algoritmo de reconstrucción de superresolución basado en regularización de variación total para vídeo digital" . Revista EURASIP sobre avances en el procesamiento de señales . 2007 : 074585. Código Bibliográfico : 2007EJASP2007..104N . doi : 10.1155 / 2007/74585 .
- Glasner, D .; Bagon, S .; Irani, M. (octubre de 2009). Súper resolución a partir de una sola imagen (PDF) . Congreso Internacional de Visión por Computador (ICCV).; "ejemplo y resultados" .
- Ben-Ezra, M .; Lin, Zhouchen; Wilburn, B .; Zhang, Wei (julio de 2011). "Píxeles de Penrose para superresolución" (PDF) . Transacciones IEEE sobre análisis de patrones e inteligencia de máquinas . 33 (7): 1370-1383. CiteSeerX 10.1.1.174.8804 . doi : 10.1109 / TPAMI.2010.213 . PMID 21135446 . S2CID 184868 .
- Timofte, R .; De Smet, V .; Van Gool, L. (noviembre de 2014). A +: Regresión de vecindad anclada ajustada para una súper resolución rápida (PDF) . XII Congreso Asiático de Visión por Computador (ACCV).; "códigos y datos" .
- Huang, J.-B; Singh, A .; Ahuja, N. (junio de 2015). Superresolución de una sola imagen de ejemplos autónomos transformados . Conferencia IEEE sobre visión artificial y reconocimiento de patrones .; "página del proyecto" .
- CHRISTENSEN-JEFFRIES, T .; COUTURE, O .; DAYTON, PA; ELDAR, YC; HYNYNEN, K .; KIESSLING, F .; O'REILLY, M .; PINTON, GF; SCHMITZ, G .; TANG, M.-X .; TANTER, M .; VAN SLOUN, RJG (2020). "Imágenes por ultrasonido de superresolución" . Ultrasonido en Med. & Biol . 46 (4): 865–891. doi : 10.1016 / j.ultrasmedbio.2019.11.013 . PMID 31973952 .