Un sensor de imagen binaria sobremuestreado es un sensor de imagen con capacidades de respuesta no lineal que recuerdan a las películas fotográficas tradicionales . [1] [2] Cada píxel del sensor tiene una respuesta binaria, lo que proporciona solo una medida cuantificada de un bit de la intensidad de la luz local. La función de respuesta del sensor de imagen no es lineal y es similar a una función logarítmica, lo que hace que el sensor sea adecuado para imágenes de alto rango dinámico . [1]
Principio de funcionamiento
Antes de la llegada de los sensores de imagen digital, la fotografía, durante la mayor parte de su historia, utilizaba películas para registrar información sobre la luz. En el corazón de cada película fotográfica hay una gran cantidad de granos de cristales de haluro de plata sensibles a la luz . [3] Durante la exposición, cada grano del tamaño de una micra tiene un destino binario: o es golpeado por algunos fotones incidentes y queda "expuesto", o es pasado por alto por el bombardeo de fotones y permanece "no expuesto". En el posterior proceso de revelado de la película, los granos expuestos, debido a sus propiedades químicas alteradas, se convierten en metal plateado, lo que contribuye a la aparición de manchas opacas en la película; Los granos no expuestos se lavan en un baño químico, dejando las regiones transparentes de la película. Por lo tanto, en esencia, la película fotográfica es un medio de imagen binario, que utiliza densidades locales de granos de plata opacos para codificar la información de intensidad de luz original. Gracias al pequeño tamaño y gran cantidad de estos granos, apenas se nota esta naturaleza cuantificada de la película cuando se mira a distancia, observándose solo un tono gris continuo.
El sensor de imagen binaria sobremuestreado recuerda a una película fotográfica. Cada píxel del sensor tiene una respuesta binaria, lo que proporciona solo una medición cuantificada de un bit de la intensidad de la luz local. Al comienzo del período de exposición, todos los píxeles se establecen en 0. A continuación, un píxel se establece en 1 si el número de fotones que lo alcanzan durante la exposición es al menos igual a un umbral determinado q . Una forma de construir estos sensores binarios es modificar la tecnología de chip de memoria estándar, donde cada celda de bit de memoria está diseñada para ser sensible a la luz visible. [4] Con la tecnología CMOS actual, el nivel de integración de tales sistemas puede exceder los 10 9 ~ 10 10 (es decir, 1 giga a 10 giga) píxeles por chip. En este caso, los tamaños de píxel correspondientes (alrededor de 50 ~ nm [5] ) están muy por debajo del límite de difracción de la luz y, por lo tanto, el sensor de imagen está sobremuestreando la resolución óptica del campo de luz. Intuitivamente, se puede aprovechar esta redundancia espacial para compensar la pérdida de información debida a las cuantificaciones de un bit, como es clásico en las conversiones delta-sigma de sobremuestreo . [6]
La construcción de un sensor binario que emula el proceso de la película fotográfica fue concebida por primera vez por Fossum , [7] quien acuñó el nombre de sensor de película digital (ahora conocido como sensor de imagen cuántica [8] ). La motivación original se debió principalmente a una necesidad técnica. La miniaturización de los sistemas de cámaras exige la reducción continua del tamaño de los píxeles. Sin embargo, en cierto punto, la capacidad limitada de pozo completo (es decir, el máximo de fotones-electrones que puede contener un píxel) de los píxeles pequeños se convierte en un cuello de botella, lo que produce relaciones señal-ruido (SNR) muy bajas y rangos dinámicos deficientes . Por el contrario, un sensor binario cuyos píxeles necesitan detectar solo unos pocos fotones-electrones alrededor de un pequeño umbral q tiene muchos menos requisitos para capacidades de pozo completo, lo que permite que el tamaño de los píxeles se reduzca aún más.
Modelo de imagen
La lente
Considere un modelo de cámara simplificado que se muestra en la figura 1. Laes el campo de intensidad de luz entrante. Suponiendo que las intensidades de la luz permanecen constantes dentro de un período de exposición corto, el campo se puede modelar como solo una función de la variable espacial. Después de pasar por el sistema óptico, el campo de luz originalse filtra por la lente, que actúa como un sistema lineal con una respuesta de impulso determinada. Debido a imperfecciones (p. Ej., Aberraciones) en la lente, la respuesta al impulso, también conocida como función de dispersión puntual (PSF) del sistema óptico, no puede ser un delta de Dirac, imponiendo así un límite en la resolución del campo de luz observable. Sin embargo, un límite físico más fundamental se debe a la difracción de la luz . [9] Como resultado, incluso si el objetivo es ideal, el PSF sigue siendo inevitablemente un pequeño punto borroso. En óptica, este punto de difracción limitado a menudo se denomina disco de Airy , [9] cuyo radio se puede calcular como
dónde es la longitud de onda de la luz yes el número F del sistema óptico. Debido a la naturaleza de paso bajo (suavizado) del PSF, el resultadotiene una resolución espacial finita, es decir, tiene un número finito de grados de libertad por unidad de espacio.
El sensor
La figura 2 ilustra el modelo de sensor binario. Ladenota los valores de exposición acumulados por los píxeles del sensor. Dependiendo de los valores locales de, cada píxel (representado como "cubos" en la figura) recoge un número diferente de fotones que golpean su superficie. es el número de fotones que inciden en la superficie del el píxel durante un período de exposición . La relación entre y el recuento de fotones es estocástico. Más específicamente, puede modelarse como realizaciones de una variable aleatoria de Poisson, cuyo parámetro de intensidad es igual a ,
Como dispositivo fotosensible , cada píxel del sensor de imagen convierte fotones en señales eléctricas, cuya amplitud es proporcional al número de fotones que inciden en ese píxel. En un diseño de sensor convencional, las señales eléctricas analógicas luego se cuantifican mediante un convertidor A / D en 8 a 14 bits (generalmente, cuantos más bits, mejor). Pero en el sensor binario, el cuantificador es de 1 bit. En la figura 2, es la salida cuantificada del el píxel. Dado que el fotón cuenta se extraen de variables aleatorias, al igual que la salida del sensor binario .
Sobremuestreo espacial y temporal
Si se permite tener sobremuestreo temporal, es decir, tomar múltiples fotogramas consecutivos e independientes sin cambiar el tiempo total de exposición. , el rendimiento del sensor binario es equivalente al del sensor con el mismo número de sobremuestreo espacial en determinadas condiciones. [2] Significa que las personas pueden hacer un intercambio entre el sobremuestreo espacial y el sobremuestreo temporal. Esto es muy importante, ya que la tecnología suele limitar el tamaño de los píxeles y el tiempo de exposición.
Ventajas sobre los sensores tradicionales
Debido a la capacidad limitada de pozo completo de los píxeles de imágenes convencionales, el píxel se saturará cuando la intensidad de la luz sea demasiado fuerte. Esta es la razón por la que el rango dinámico del píxel es bajo. Para el sensor de imagen binaria sobremuestreado, el rango dinámico no se define para un solo píxel, sino para un grupo de píxeles, lo que hace que el rango dinámico sea alto. [2]
Reconstrucción
Uno de los desafíos más importantes con el uso de un sensor de imagen binaria sobremuestreado es la reconstrucción de la intensidad de la luz. de la medida binaria . La estimación de máxima verosimilitud se puede utilizar para resolver este problema. [2] La Fig. 4 muestra los resultados de la reconstrucción de la intensidad de la luz a partir de 4096 imágenes binarias tomadas por una cámara de diodos de avalancha de fotones únicos (SPAD). [10] Se puede lograr una mejor calidad de reconstrucción con menos mediciones temporales y una implementación más rápida y amigable con el hardware mediante algoritmos más sofisticados. [11]
Referencias
- ^ a b L. Sbaiz, F. Yang, E. Charbon, S. Süsstrunk y M. Vetterli, The Gigavision Camera, Actas de la Conferencia Internacional IEEE sobre Acústica, Habla y Procesamiento de Señales (ICASSP) , págs. 1093-1096, 2009 .
- ^ a b c d F. Yang, YM Lu, L. Saibz y M. Vetterli, Bits from Photons: Oversampled Image Acquisition Using Binary Poisson Statistics, IEEE Transactions on Image Processing , vol. 21, número 4, páginas 1421-1436, 2012.
- ^ TH James, La teoría del proceso fotográfico, 4a ed., Nueva York: Macmillan Publishing Co., Inc., 1977.
- ^ SA Ciarcia, Un chip RAM dinámico de 64K bits es el sensor visual en esta cámara de imagen digital, Byte Magazine , pp.21-31, septiembre de 1983.
- ^ YK Park, SH Lee, JW Lee et al., Tecnología DRAM de 56 nm totalmente integrada para DRAM de 1 Gb, en el Simposio IEEE sobre tecnología VLSI , Kyoto, Japón, junio de 2007.
- ^ JC Candy y GC Temes, Teoría, diseño y simulación de convertidores de datos Delta-Sigma de gran tamaño. Nueva York, NY: IEEE Press, 1992.
- ^ ER Fossum, ¿Qué hacer con los píxeles de límite de sub-difracción (SDL)? - Una propuesta para un sensor de película digital gigapixel (DFS), en el Taller de IEEE sobre dispositivos de carga acoplada y sensores de imagen avanzados , Nagano, Japón, junio de 2005, págs. 214-217.
- ^ ER Fossum, J. Ma, S. Masoodian, L. Anzagira y R. Zizza, El sensor de imagen cuántica : cada fotón cuenta , Sensores MDPI, vol. 16, no. 8, 1260; Agosto de 2016. doi: 10.3390 / s16081260 (edición especial sobre sensores de imagen de conteo de fotones)
- ^ a b M. Born y E. Wolf, Principios de óptica , 7ª ed. Cambridge: Cambridge University Press, 1999
- ^ a b L. Carrara, C. Niclass, N. Scheidegger, H. Shea y E. Charbon, un sensor de imagen CMOS tolerante a la radiación de protones de alta energía, rayos X y gamma para aplicaciones espaciales, en IEEE International Solid-State Conferencia de circuitos, febrero de 2009, págs. 40-41.
- ^ Letanía, O; Remez, Tal; Bronstein, Alex (6 de diciembre de 2015). "Reconstrucción de imágenes a partir de densos píxeles binarios". Procesamiento de señales con representaciones estructuradas adaptables dispersas (SPARS 2015) . arXiv : 1512.01774 . Código bibliográfico : 2015arXiv151201774L .