Time Stretch Microscopy, también conocida como imágenes / microscopía amplificadas codificadas en tiempo en serie o imágenes / microscopías amplificadas codificadas en tiempo extendido ( STEAM ), es un método rápido de imágenes ópticas en tiempo real que proporciona una velocidad de fotogramas en MHz, una velocidad de obturación de ~ 100 ps y ~ Ganancia de imagen óptica de 30 dB (× 1000). Basado en la técnica Photonic Time Stretch, STEAM tiene récords mundiales de velocidad de obturación y velocidad de fotogramas en imágenes continuas en tiempo real. STEAM emplea el Photonic Time Stretch con amplificación Raman interna para realizar una amplificación de imagen óptica para evitar el equilibrio fundamental entre sensibilidad y velocidad que afecta prácticamente a todos los sistemas de detección e imágenes ópticas. Este método utiliza un solo píxelfotodetector , eliminando la necesidad de la matriz de detectores y las limitaciones de tiempo de lectura. Evitando este problema y presentando la amplificación óptica de la imagen para una mejora dramática en la sensibilidad a altas tasas de adquisición de imágenes, la velocidad de obturación de STEAM es al menos 1000 veces más rápida que las cámaras CCD [1] y CMOS [2] de última generación . Su velocidad de fotogramas es 1000 veces más rápida que las cámaras CCD más rápidas y de 10 a 100 veces más rápida que las cámaras CMOS más rápidas.
Historia
La microscopía de estiramiento de tiempo y su aplicación a los microfluidos para la clasificación de células biológicas se inventaron en UCLA. [3] [4] [5] [6] [7] [8] [9] [10] Combina el concepto de iluminación codificada espectralmente con la extensión del tiempo fotónico, una tecnología de adquisición de datos en tiempo real ultrarrápida desarrollada anteriormente en el mismo laboratorio para cree un digitalizador de disparo único en tiempo real de femtosegundos, [11] y un espectrómetro Raman estimulado de disparo único. [12] La primera demostración fue una versión unidimensional [13] y más tarde una versión bidimensional. [14] Más tarde, se creó un vibrómetro de imágenes rápidas ampliando el sistema a una configuración interferométrica. [15] Luego, la tecnología se extendió a la obtención de imágenes de fase cuantitativa ( TS-QPI ) para la clasificación sin etiquetas de células sanguíneas y se combinó con inteligencia artificial (IA) para la clasificación de células cancerosas en sangre con más del 96% de precisión. [16] El sistema midió 16 parámetros biofísicos de células simultáneamente en un solo disparo y realizó una clasificación hiperdimensional utilizando una red neuronal profunda (DNN). Los resultados se compararon con otros algoritmos de clasificación de aprendizaje automático como la regresión logística y el Bayes ingenuo con la mayor precisión obtenida con el aprendizaje profundo. Posteriormente, se amplió la "citometría profunda" [17], en la que se evitaron las tareas computacionalmente intensivas de procesamiento de imágenes y extracción de características antes del aprendizaje profundo alimentando directamente los escaneos lineales de extensión temporal, cada uno de los cuales representa un pulso láser en una red neuronal convolucional profunda. Esta clasificación directa de datos sin procesar extendidos en el tiempo redujo el tiempo de inferencia en órdenes de magnitud a 700 microsegundos en un procesador acelerado por GPU. A una velocidad de flujo de 1 m / s, las células solo se mueven menos de un milímetro. Por lo tanto, este tiempo de inferencia ultracorto es lo suficientemente rápido para la clasificación de células.
Fondo
La tecnología de imagen óptica rápida en tiempo real es indispensable para estudiar eventos dinámicos como ondas de choque , fusión láser , dinámica química en células vivas, actividad neuronal, cirugía láser , microfluidos y MEMS . Las técnicas habituales de las cámaras CCD y CMOS convencionales son inadecuadas para capturar procesos dinámicos rápidos con alta sensibilidad y velocidad; Existen limitaciones tecnológicas: se necesita tiempo para leer los datos de la matriz de sensores y existe una compensación fundamental entre la sensibilidad y la velocidad: a altas velocidades de cuadro, se recolectan menos fotones durante cada cuadro, un problema que afecta a casi todas las imágenes ópticas sistemas.
La cámara de racha , utilizada para diagnósticos en fusión láser, radiación de plasma y combustión, funciona solo en modo ráfaga (proporcionando solo varios fotogramas) y requiere la sincronización de la cámara con el evento que se va a capturar. Por lo tanto, es incapaz de capturar eventos aleatorios o transitorios en sistemas biológicos. Los estroboscopios tienen una función complementaria: pueden capturar la dinámica de eventos rápidos, pero solo si el evento es repetitivo, como rotaciones, vibraciones y oscilaciones. No pueden capturar eventos aleatorios no repetitivos que ocurren solo una vez o que no ocurren a intervalos regulares.
Principio de funcionamiento
El principio básico implica dos pasos, ambos realizados de forma óptica. En el primer paso, un dispersor espacial convierte el espectro de un pulso óptico de banda ancha en un arco iris que ilumina el objetivo. Aquí, el pulso del arco iris consta de muchos subpulsos de diferentes colores (frecuencias), lo que indica que los diferentes componentes de frecuencia (colores) del pulso del arco iris inciden en diferentes coordenadas espaciales del objeto. Por lo tanto, la información espacial (imagen) del objeto se codifica en el espectro del pulso arco iris reflejado o transmitido resultante. El pulso del arco iris reflejado o transmitido codificado por la imagen regresa al mismo dispersor espacial o ingresa a otro dispersor espacial para combinar los colores del arco iris en un solo pulso. Aquí, la velocidad de obturación o el tiempo de exposición de STEAM corresponde al ancho temporal del pulso del arco iris. En el segundo paso, el espectro se mapea en una señal temporal en serie que se alarga en el tiempo utilizando la transformada dispersiva de Fourier para ralentizarla y poder digitalizarla en tiempo real. El lapso de tiempo ocurre dentro de una fibra dispersiva que se bombea para crear una amplificación Raman interna. Aquí la imagen se amplifica ópticamente mediante la dispersión Raman estimulada para superar el nivel de ruido térmico del detector. El flujo de imágenes en serie extendido en el tiempo amplificado es detectado por un fotodetector de un solo píxel y la imagen se reconstruye en el dominio digital. Los pulsos posteriores capturan cuadros repetitivos, por lo que la frecuencia de repetición del pulso láser corresponde a la frecuencia de cuadros de STEAM. El segundo se conoce como el convertidor analógico a digital de extensión de tiempo, también conocido como el alcance de grabación de extensión de tiempo (TiSER).
Transformación de Fourier dispersiva amplificada
El estiramiento y amplificación simultáneos también se conocen como transformación de Fourier dispersiva de estiramiento de tiempo amplificado (TS-DFT). [18] [19] La tecnología de extensión de tiempo amplificada se desarrolló anteriormente para demostrar la conversión de analógico a digital con una frecuencia de muestreo en tiempo real de femtosegundos [11] y para demostrar la espectroscopia Raman estimulada en un solo disparo a millones de fotogramas por segundo. [12] El estiramiento de tiempo amplificado es un proceso en el que el espectro de un pulso óptico se mapea mediante una gran dispersión de velocidad de grupo en una forma de onda temporal ralentizada y se amplifica simultáneamente mediante el proceso de dispersión Raman estimulada . En consecuencia, el espectro óptico puede capturarse con un fotodetector de un solo píxel y digitalizarse en tiempo real. Los pulsos se repiten para mediciones repetitivas del espectro óptico. La DFT de extensión de tiempo amplificada consiste en una fibra dispersiva bombeada por láseres y multiplexores de división de longitud de onda que acoplan los láseres dentro y fuera de la fibra dispersiva. La transformación de Fourier dispersiva amplificada se desarrolló originalmente para permitir convertidores analógicos a digitales de banda ultra ancha y también se ha utilizado para espectroscopía en tiempo real de alto rendimiento . La resolución del generador de imágenes STEAM está determinada principalmente por el límite de difracción, la frecuencia de muestreo del digitalizador de fondo y los dispersores espaciales. [20]
Imágenes de fase cuantitativa con extensión de tiempo
![See the full description in www.nature.com/articles/srep21471.](http://wikiimg.tojsiabtv.com/wikipedia/commons/thumb/7/79/TS-QPI.jpg/440px-TS-QPI.jpg)
La proyección de imagen de fase cuantitativa de extensión de tiempo ( TS-QPI ) es una técnica de imagen basada en tecnología de extensión de tiempo para la medición simultánea de perfiles espaciales de fase e intensidad. [21] [22] [23] [24] Desarrollado en UCLA, ha llevado al desarrollo del microscopio de inteligencia artificial de extensión temporal. [21]
Imágenes alargadas en el tiempo
En la obtención de imágenes de tiempo extendido, la información espacial del objeto se codifica en el espectro de pulsos de láser con una duración de pulso de subnanosegundos . Cada pulso que representa un fotograma de la cámara se alarga en el tiempo para que pueda digitalizarse en tiempo real mediante un convertidor electrónico de analógico a digital (ADC). La iluminación de pulso ultrarrápida congela el movimiento de las células o partículas de alta velocidad en el flujo para lograr imágenes sin borrosidad. La sensibilidad de detección se ve desafiada por el bajo número de fotones recolectados durante el tiempo de obturación ultracorto (ancho de pulso óptico) y la caída en la potencia óptica máxima resultante de la extensión del tiempo. [25] Estos problemas se resuelven en imágenes de extensión de tiempo mediante la implementación de un amplificador Raman de baja figura de ruido dentro del dispositivo dispersivo que realiza la extensión de tiempo. Además, la transformación de estiramiento deformado se puede utilizar en la generación de imágenes de estiramiento en el tiempo para lograr una compresión de imagen óptica y una resolución espacial no uniforme en el campo de visión.
En la versión coherente de la cámara de extensión de tiempo, las imágenes se combinan con interferometría espectral para medir la fase cuantitativa [26] [27] y las imágenes de intensidad en tiempo real y con un alto rendimiento. Integrado con un canal de microfluidos, el sistema de imágenes de extensión de tiempo coherente mide tanto el cambio de fase óptico cuantitativo como la pérdida de células individuales como un citómetro de flujo de imágenes de alta velocidad, capturando millones de imágenes de línea por segundo en tasas de flujo tan altas como unos pocos metros por segundo , alcanzando un rendimiento de hasta cien mil células por segundo. La proyección de imagen de fase cuantitativa de extensión de tiempo se puede combinar con el aprendizaje automático para lograr una clasificación muy precisa sin etiquetas de las células.
Aplicaciones
Este método es útil para una amplia gama de aplicaciones científicas, industriales y biomédicas que requieren altas velocidades de obturación y velocidades de cuadro. La versión unidimensional se puede emplear para la detección de desplazamiento, [ citación necesaria ] lectura de código de barras, [ citación necesaria ] y la sangre de cribado; [28] la versión bidimensional para observación, diagnóstico y evaluación en tiempo real de ondas de choque, flujo de microfluidos, [29] actividad neural, MEMS, [30] y dinámica de ablación con láser. [ cita requerida ] La versión tridimensional es útil para detección de rango, [ cita requerida ] metrología dimensional, [ cita requerida ] y vibrometría y velocimetría de superficie. [31]
Compresión de imágenes en dominio óptico
![](http://wikiimg.tojsiabtv.com/wikipedia/en/thumb/e/e6/Illustration_of_warped_stretch_transform_in_imaging.png/220px-Illustration_of_warped_stretch_transform_in_imaging.png)
![](http://wikiimg.tojsiabtv.com/wikipedia/en/thumb/e/e4/Warped_stretch_transform_on_a_clock.png/220px-Warped_stretch_transform_on_a_clock.png)
El big data no solo brinda oportunidades, sino también un desafío en los instrumentos biomédicos y científicos, cuyas unidades de adquisición y procesamiento se ven abrumadas por un torrente de datos. La necesidad de comprimir volúmenes masivos de datos en tiempo real ha alimentado el interés en transformaciones de estiramiento no uniformes, operaciones que remodelan los datos de acuerdo con su escasez.
Recientemente, investigadores de UCLA demostraron que la compresión de imágenes se realiza en el dominio óptico y en tiempo real. [32] Utilizando la dispersión de retardo de grupo no lineal y las imágenes de extensión de tiempo, pudieron deformar ópticamente la imagen de modo que las porciones ricas en información se muestrearan a una densidad de muestra más alta que las regiones dispersas. Esto se hizo reestructurando la imagen antes de la conversión óptica a eléctrica seguida de un muestreador electrónico uniforme. La reconstrucción de la imagen estirada de manera no uniforme demuestra que la resolución es mayor donde la información es rica y menor donde la información es mucho menor y relativamente poco importante. La región rica en información en el centro está bien preservada mientras se mantienen las mismas tasas de muestreo en comparación con el caso uniforme sin muestreo descendente. La compresión de imágenes se demostró a 36 millones de fotogramas por segundo en tiempo real.
Ver también
- Dispositivo de carga acoplada
- Espectroscopia resuelta en el tiempo
- Transformada de Fourier dispersiva de extensión temporal
- Convertidor de analógico a digital con extensión de tiempo
Referencias
- ^ JR Janesick (2001). Dispositivos científicos de carga acoplada . SPIE Press. ISBN 9780819436986.
- ^ H. Zimmermann (2000). Optoelectrónica de silicio integrada . Saltador. ISBN 978-3540666622.
- ^ K. Goda; KK Tsia y B. Jalali (2008). "Imagen de transformada de Fourier dispersiva amplificada para lectura de códigos de barras y detección de desplazamiento ultrarrápida". Letras de Física Aplicada . 93 (13): 131109. arXiv : 0807.4967 . Código Bibliográfico : 2008ApPhL..93m1109G . doi : 10.1063 / 1.2992064 . S2CID 34751462 .
- ^ K. Goda; KK Tsia y B. Jalali (2009). "Imágenes amplificadas codificadas en tiempo en serie para la observación en tiempo real de fenómenos dinámicos rápidos". Naturaleza . 458 (7242): 1145–9. Código Bibliográfico : 2009Natur.458.1145G . doi : 10.1038 / nature07980 . PMID 19407796 . S2CID 4415762 .
- ^ Patente estadounidense 8654441 , Jalali Bahram & Motafakker-Fard Ali, "Microscopía amplificada codificada en tiempo serial de contraste de interferencia diferencial", emitida el 18 de febrero de 2014, asignada a The Regents de la Universidad de California
- ^ Patente de Estados Unidos 8870060 , Jalali Bahram; Goda Keisuke & Tsia Kevin Kin-Man, "Aparato y método para la obtención de imágenes por transformada de Fourier dispersiva", emitido el 28 de octubre de 2014, asignado a The Regents de la Universidad de California
- ^ Patente estadounidense 9835840 , Jalali Bahram; Goda Keisuke & Tsia Kevin Kin-Man, "Métodos para imágenes ópticas amplificadas utilizando un cepillo espectral bidimensional", emitido el 30 de enero de 2015, asignado a The Regents de la Universidad de California
- ^ Patente estadounidense 8987649 , Jalali Bahram; Goda Keisuke & Tsia Kevin Kin-Man, "Métodos para imágenes ópticas amplificadas utilizando un cepillo espectral bidimensional", publicado el 24 de marzo de 2015, asignado a The Regents de la Universidad de California
- ^ Patente de EE. UU . 9903804 , Jalali Bahram & Mahjoubfar Ata, "Cribado en flujo de células de alto rendimiento sin etiquetas en tiempo real", emitida el 27 de febrero de 2018, asignada a The Regents de la Universidad de California
- ^ Patente estadounidense 10593039 , Jalali Bahram; Mahjoubfar Ata & Chen Lifan, "Aprendizaje profundo en clasificación de células sin etiquetas y extracción de partículas por visión artificial", emitido el 17 de marzo de 2020, asignado a The Regents de la Universidad de California
- ^ a b Chou, J .; Boyraz, O .; Solli, D .; Jalali, B. (2007). "Digitalizador de disparo único en tiempo real de femtosegundos" . Letras de Física Aplicada . 91 (16): 161105–1–161105–3. Código Bibliográfico : 2007ApPhL..91p1105C . doi : 10.1063 / 1.2799741 - a través de Researchgate.net.
- ^ a b Solli, DR; Boyraz, O .; Jalali, B. (2008). "Transformación amplificada de longitud de onda-tiempo para espectroscopia en tiempo real" . Nature Photonics . 2 (1): 48–51. Código Bibliográfico : 2008NaPho ... 2 ... 48S . doi : 10.1038 / nphoton.2007.253 . S2CID 8991606 .
- ^ K. Goda; KK Tsia y B. Jalali (2008). "Imagen de transformada de Fourier dispersiva amplificada para lectura de códigos de barras y detección de desplazamiento ultrarrápida". Letras de Física Aplicada . 93 (13): 131109. arXiv : 0807.4967 . Código Bibliográfico : 2008ApPhL..93m1109G . doi : 10.1063 / 1.2992064 . S2CID 34751462 .
- ^ K. Goda; KK Tsia y B. Jalali (2009). "Imágenes amplificadas codificadas en tiempo en serie para la observación en tiempo real de fenómenos dinámicos rápidos". Naturaleza . 458 (7242): 1145–9. Código Bibliográfico : 2009Natur.458.1145G . doi : 10.1038 / nature07980 . PMID 19407796 . S2CID 4415762 .
- ^ A. Mahjoubfar; K. Goda; A. Ayazi; A. Fard; SH Kim y B. Jalali (2011). "Vibrómetro y velocímetro de imágenes con resolución nanométrica de alta velocidad". Letras de Física Aplicada . 98 (10): 101107. Código Bibliográfico : 2011ApPhL..98j1107M . doi : 10.1063 / 1.3563707 .
- ^ Chen, CL; Mahjoubfar, A .; Cola.; Blaby, I .; Huang, A .; Niazi, K .; Jalali, B. (2016). "Aprendizaje profundo en la clasificación de células sin etiquetas" . Informes científicos . 6 : 21471. Bibcode : 2016NatSR ... 621471C . doi : 10.1038 / srep21471 . PMC 4791545 . PMID 26975219 .
- ^ Li, Yueqin; Mahjoubfar, Ata; Chen, Claire Lifan; Niazi, Kayvan Reza; Pei, Li y Jalali, Bahram (2019). "Citometría profunda: aprendizaje profundo con inferencia en tiempo real en clasificación celular y citometría de flujo" . Informes científicos . 9 (1): 1–12. arXiv : 1904.09233 . Código Bibliográfico : 2019NatSR ... 911088L . doi : 10.1038 / s41598-019-47193-6 . PMC 6668572 . PMID 31366998 .
- ^ K. Goda; DR Solli; KK Tsia y B. Jalali (2009). "Teoría de la transformación de Fourier dispersiva amplificada". Physical Review A . 80 (4): 043821. Código Bibliográfico : 2009PhRvA..80d3821G . doi : 10.1103 / PhysRevA.80.043821 . hdl : 10722/91330 .
- ^ K. Goda y B. Jalali (2010). "Figura de ruido de la transformación de Fourier dispersiva amplificada" . Physical Review A . 82 (3): 033827. Código bibliográfico : 2010PhRvA..82c3827G . doi : 10.1103 / PhysRevA.82.033827 . S2CID 8243947 .
- ^ Tsia KK, Goda K., Capewell D., Jalali B. (2010). "Rendimiento de microscopio amplificado codificado en tiempo en serie". Optics Express . 18 (10): 10016–28. Código Bib : 2010OExpr..1810016T . doi : 10.1364 / oe.18.010016 . hdl : 10722/91333 . PMID 20588855 .CS1 maint: varios nombres: lista de autores ( enlace )
- ^ a b Chen, Claire Lifan; Mahjoubfar, Ata; Tai, Li-Chia; Blaby, Ian K .; Huang, Allen; Niazi, Kayvan Reza; Jalali, Bahram (2016). "Aprendizaje profundo en la clasificación de células sin etiquetas" . Informes científicos . 6 : 21471. Bibcode : 2016NatSR ... 621471C . doi : 10.1038 / srep21471 . PMC 4791545 . PMID 26975219 .publicado bajo licencia CC BY 4.0
- ^ Michaud, Sarah (5 de abril de 2016). "Aprovechamiento de Big Data para la obtención de imágenes celulares" . Noticias de Óptica y Fotónica . La sociedad óptica . Consultado el 8 de julio de 2016 .
- ^ "Microscopía de estiramiento de tiempo fotónico combinada con inteligencia artificial detecta células cancerosas en la sangre" . Med Gadget . 15 de abril de 2016 . Consultado el 8 de julio de 2016 .
- ^ Chen, Claire Lifan; Mahjoubfar, Ata; Jalali, Bahram (23 de abril de 2015). "Compresión de datos ópticos en imágenes de estiramiento de tiempo" . PLOS ONE . 10 (4): e0125106. Código Bibliográfico : 2015PLoSO..1025106C . doi : 10.1371 / journal.pone.0125106 . PMC 4408077 . PMID 25906244 .
- ^ Mahjoubfar, Ata; Churkin, Dmitry V .; Barland, Stéphane; Broderick, Neil; Turitsyn, Sergei K .; Jalali, Bahram (2017). "Time stretch y sus aplicaciones". Nature Photonics . 11 (6): 341–351. Código bibliográfico : 2017NaPho..11..341M . doi : 10.1038 / nphoton.2017.76 .
- ^ G. Popescu, "Imágenes de fase cuantitativa de células y tejidos", McGraw Hill Professional (2011)
- ^ Lau, Andy KS; Wong, Terence TW; Ho, Kenneth KY; Tang, Matthew TH; Chan, Antony CS; Wei, Xiaoming; Lam, Edmund Y .; Shum, Ho Cheung; Wong, Kenneth KY; Tsia, Kevin K. (2014). "Microscopía interferométrica de estiramiento de tiempo para ... imágenes cuantitativas de células y tejidos" (PDF) . Revista de Óptica Biomédica . Descarga gratuita de PDF. 19 (7): 076001. Código Bibliográfico : 2014JBO .... 19g6001L . doi : 10.1117 / 1.JBO.19.7.076001 . hdl : 10722/200609 . PMID 24983913 .
- ^ Chen C., Mahjoubfar A., Tai L., Blaby I., Huang A., Niazi K., Jalali B. (2016). "Aprendizaje profundo en la clasificación de células sin etiquetas" . Informes científicos . 6 : 21471. Bibcode : 2016NatSR ... 621471C . doi : 10.1038 / srep21471 . PMC 4791545 . PMID 26975219 .CS1 maint: varios nombres: lista de autores ( enlace )
- ^ D. Di Carlo (2009). "Microfluidos inerciales". Lab on a Chip . 9 (21): 3038–46. doi : 10.1039 / b912547g . PMID 19823716 .
- ^ TR Hsu (2008). MEMS y microsistemas: diseño, fabricación e ingeniería a nanoescala . Wiley. ISBN 978-0470083017.
- ^ Mahjoubfar A., Goda K., Ayazi A., Fard A., Kim S., Jalali B. (2011). "Vibrómetro y velocímetro de imágenes con resolución nanométrica de alta velocidad". Letras de Física Aplicada . 98 (10): 101107. Código Bibliográfico : 2011ApPhL..98j1107M . doi : 10.1063 / 1.3563707 .CS1 maint: varios nombres: lista de autores ( enlace )
- ^ CL Chen; Un Mahjoubfar; B Jalali (2015). "Compresión de datos ópticos en imágenes de estiramiento de tiempo" . PLOS ONE . 10 (4): 1371. Bibcode : 2015PLoSO..1025106C . doi : 10.1371 / journal.pone.0125106 . PMC 4408077 . PMID 25906244 .