La microscopía de campo de luz ( LFM ) es un método de obtención de imágenes microscópicas tridimensionales (3D) sin escaneo basado en la teoría del campo de luz . Esta técnica permite obtener imágenes volumétricas de gran tamaño por debajo del segundo (~ 10 Hz) ([~ 0,1 a 1 mm] 3 ) con una resolución espacial de ~ 1 μm en condiciones de dispersión débil y semitransparencia, lo que nunca se ha logrado con otros métodos. Al igual que en el renderizado de campo de luz tradicional , existen dos pasos para la obtención de imágenes LFM: captura y procesamiento del campo de luz. En la mayoría de las configuraciones, se utiliza una matriz de microlentes para capturar el campo de luz. En cuanto al procesamiento, puede basarse en dos tipos de representaciones de la propagación de la luz: la imagen de óptica de rayos[1] y laimagen de la óptica de ondas . [2] El Laboratorio de Gráficos por Computadora de la Universidad de Stanford publicó su primer prototipo de LFM en 2006 [1] y ha estado trabajando en la vanguardia desde entonces.
Generación de campo de luz
Un campo de luz es una colección de todos los rayos que fluyen a través de un espacio libre, donde cada rayo se puede parametrizar con cuatro variables. [3] En muchos casos, dos coordenadas 2D, denotadas como Y –En dos planos paralelos con los que se cruzan los rayos se aplican para la parametrización. En consecuencia, la intensidad del campo de luz 4D se puede describir como una función escalar:, dónde es la distancia entre dos planos.
LFM se puede construir sobre la configuración tradicional de un microscopio de fluorescencia de campo amplio y una cámara CCD estándar o sCMOS . [1] Se genera un campo de luz colocando una matriz de microlentes en el plano de imagen intermedio del objetivo (o el plano focal trasero de una lente de relé opcional) y se captura aún más colocando el sensor de la cámara en el plano focal trasero de las microlentes. . Como resultado, las coordenadas de las microlentes conjugar con aquellos en el plano del objeto (si se agregan lentes de relé adicionales, entonces en el plano focal frontal del objetivo) ; las coordenadas de los píxeles detrás de cada microlente conjugar con los del plano objetivo . Por uniformidad y conveniencia, llamaremos al aviónel plano de enfoque original en este artículo. En consecuencia, es la distancia focal de las microlentes (es decir, la distancia entre el plano de la matriz de microlentes y el plano del sensor).
Además, las aberturas y la distancia focal de cada lente y las dimensiones del sensor y la matriz de microlentes deben elegirse correctamente para garantizar que no haya áreas superpuestas ni vacías entre las subimágenes adyacentes detrás de las microlentes correspondientes.
Realización a partir de la imagen de óptica de rayos.
Esta sección presenta principalmente el trabajo de Levoy et al ., 2006. [1]
Vistas en perspectiva desde distintos ángulos
Debido a las relaciones conjugadas como se mencionó anteriormente, cualquier píxel detrás de una determinada microlente corresponde al rayo que pasa por el punto hacia la direccion . Por lo tanto, extrayendo el píxel de todas las subimágenes y uniéndolas, se obtiene una vista en perspectiva desde cierto ángulo: . En este escenario, la resolución espacial está determinada por el número de microlentes; La resolución angular está determinada por el número de píxeles detrás de cada microlente.
Vistas tomográficas basadas en reenfoque sintético
Paso 1: reenfoque digital
El enfoque sintético utiliza el campo de luz capturado para calcular el enfoque de la fotografía en cualquier sección arbitraria. Simplemente sumando todos los píxeles en cada subimagen detrás de la microlente (equivalente a recolectar toda la radiación proveniente de diferentes ángulos que cae en la misma posición), la imagen se enfoca exactamente en el plano que se conjuga con el plano de la matriz de microlentes:
,
dónde es el ángulo entre el rayo y la normal del plano del sensor, y si el origen del sistema de coordenadas de cada subimagen se encuentra en el eje óptico principal de las microlentes correspondientes. Ahora, se puede definir una nueva función para absorber el factor de proyección efectivo en la intensidad del campo de luz y obtenga la colección de resplandor real de cada píxel: .
Para enfocar en algún otro plano además del plano focal frontal del objetivo, digamos, el plano cuyo plano conjugado es lejos del plano del sensor, el plano conjugado se puede mover desde a y volver a parametrizar su campo de luz al original en :
.
Por lo tanto, la fotografía reenfocada se puede calcular con la siguiente fórmula:
.
En consecuencia, se genera una pila focal para recapitular la imagen 3D instantánea del espacio del objeto. Además, los planos focales inclinados o incluso curvados también son sintéticamente posibles. [5] Además, cualquier imagen 2D reconstruida enfocada a una profundidad arbitraria corresponde a un corte 2D de un campo de luz 4D en el dominio de Fourier , donde la complejidad del algoritmo se puede reducir de a . [4]
Paso 2: medición de la función de dispersión de puntos
Sin embargo, debido a la difracción y al desenfoque, la pila focal difiere de la distribución de intensidad real de los vóxeles , que es realmente deseado. En lugar de, es una convolución de y una función de dispersión de puntos (PSF):
Por lo tanto, la forma tridimensional de la PSF debe medirse para restar su efecto y obtener la intensidad neta de los vóxeles. Esta medición se puede realizar fácilmente colocando una perla fluorescente en el centro del plano de enfoque original y registrando su campo de luz, en base al cual se determina la forma 3D del PSF al enfocar sintéticamente en una profundidad variada. Dado que la PSF se adquiere con la misma configuración LFM y procedimiento de reenfoque digital que la pila focal, esta medición refleja correctamente el rango angular de rayos capturados por el objetivo (incluida cualquier caída en la intensidad); por lo tanto, este PSF sintético está realmente libre de ruido y aberraciones. La forma del PSF puede considerarse idéntica en todas partes dentro de nuestro campo de visión deseado (FOV); por tanto, se pueden evitar múltiples mediciones.
Paso 3: desconvolución 3D
En el dominio de Fourier, la intensidad real de los vóxeles tiene una relación muy simple con la pila focal y el PSF:
,
dónde es el operador de la transformada de Fourier . Sin embargo, puede que no sea posible resolver directamente la ecuación anterior, dado que la apertura es de tamaño limitado, lo que da como resultado que la PSF esté limitada en banda (es decir, su transformada de Fourier tiene ceros). En cambio, un algoritmo iterativo llamado deconvolución iterativa restringida en el dominio espacial es mucho más práctico aquí: [6]
- ;
- .
Esta idea se basa en el descenso de gradiente restringido: la estimación de se mejora iterativamente calculando la diferencia entre la pila focal real y la pila focal estimada y corrigiendo con la diferencia actual ( está restringido a no ser negativo).
Fotografía de Fourier Slice
La fórmula de se puede reescribir adoptando el concepto del teorema de proyección-rebanada de Fourier. [7] Porque el operador de fotografíapuede verse como una cizalladura seguida de una proyección, el resultado debe ser proporcional a un corte 2D dilatado de la transformada de Fourier 4D de un campo de luz. Precisamente, se puede generar una imagen reenfocada a partir del espectro de Fourier 4D de un campo de luz extrayendo un corte 2D, aplicando una transformación 2D inversa y escalando. Antes de la prueba, primero presentamos algunos operadores:
- Operador de proyección integral:
- Operador de rebanado:
- Fotografía Cambio de Base : Let denotar un operador para un cambio de base de una función de 4 dimensiones de modo que , con .
- Operador de transformada de Fourier : Let denotar el operador de transformada de Fourier N-dimensional.
Con estas definiciones, podemos reescribir .
De acuerdo con el teorema generalizado de la rebanada de Fourier, [7] tenemos
,
y por lo tanto, el operador de fotografía tiene la forma
.
Según la fórmula, sabemos que una fotografía es la transformada de Fourier bidimensional inversa de un corte bidimensional dilatado en la transformada de Fourier 4D del campo de luz.
Fotografía discreta de cortes de Fourier
Si todo lo que tenemos disponibles son muestras del campo de luz, en lugar de usar el teorema de corte de Fourier para la señal continua mencionado anteriormente, adoptamos el teorema de corte de Fourier discreto, que es una generalización de la transformada discreta de Radon, para calcular la imagen reenfocada. [8]
Suponga que un campo de luz es periódica con periodos y se define en el hipercubo . Además, suponga que hay muestras conocidas del campo de luz , dónde y , respectivamente. Entonces, podemos definir usando interpolación trigonométrica con estos puntos de muestra:
,
dónde
.
Tenga en cuenta que los factores constantes se eliminan por simplicidad.
Para calcular su fotografía reenfocada, reemplazamos la integral infinita en la fórmula de con suma cuyos límites son y . Es decir,
.
Luego, según indica el teorema de corte de Fourier discreto, podemos representar la fotografía usando el corte de Fourier:
Realización a partir de la imagen de óptica de ondas.
Aunque la cámara plenóptica basada en rayos ópticos ha demostrado un rendimiento favorable en el mundo macroscópico, la difracción pone un límite a la reconstrucción LFM cuando se mantiene el lenguaje óptico de rayos. Por lo tanto, puede ser mucho más conveniente cambiar a la óptica de ondas. (Esta sección presenta principalmente el trabajo de Broxton et al ., 2013. [2] )
Discretización del espacio
El campo de visión interesado se segmenta en vóxeles, cada uno con una etiqueta . Por lo tanto, todo el campo de visión se puede representar discretamente con un vector con una dimensión de . Del mismo modo, un vector representa el plano del sensor, donde cada elemento denota un píxel de sensor. Bajo la condición de propagación incoherente entre diferentes vóxeles, la transmisión del campo de luz desde el espacio del objeto al sensor se puede vincular linealmente por un matriz de medición, en la que se incorpora la información de PSF:
En el escenario de la óptica de rayos, se genera una pila focal mediante el enfoque sintético de los rayos, y luego se aplica la deconvolución con un PSF sintetizado para disminuir la borrosidad causada por la naturaleza ondulatoria de la luz. En la imagen de la óptica de ondas, por otro lado, la matriz de medición–Que describe la transmisión del campo de luz– se calcula directamente sobre la base de la propagación de ondas. A diferencia de los microscopios ópticos de transición cuya forma de PSF es invariante (por ejemplo, Airy Pattern ) con respecto a la posición del emisor, un emisor en cada vóxel genera un patrón único en el sensor de un LFM. En otras palabras, cada columna dees distinto. En las siguientes secciones, se discutirá en detalle el cálculo de toda la matriz de medición.
Respuesta de impulso óptico
La respuesta de impulso óptico es la intensidad de un campo eléctrico en una posición 2D en el plano del sensor cuando una fuente puntual isotrópica de amplitud unitaria se coloca en alguna posición 3D en el campo de visión. Hay tres pasos a lo largo de la propagación del campo eléctrico: viajar desde una fuente puntual al plano de la imagen nativa (es decir, el plano de la matriz de microlentes), pasar a través de la matriz de microlentes y propagarse al plano del sensor.
Paso 1: la propagación cruza un objetivo
Para un objetivo con apertura circular, el frente de onda en el plano de la imagen nativa iniciado desde un emisor en se puede calcular utilizando la teoría escalar de Debye: [9]
,
dónde es la distancia focal del objetivo; es su magnificación. es la longitud de onda. es el medio ángulo de la apertura numérica ( es el índice de refracción de la muestra). es la función de apodización del microscopio ( para los objetivos corregidos de Abbe-sine). es la función de Bessel de orden cero del primer tipo. y son las coordenadas ópticas radial y axial normalizadas, respectivamente:
,
dónde es el número de oleada.
Paso 2: enfoque a través de la matriz de microlentes
Cada microlente puede considerarse como una máscara de fase:
,
dónde es la distancia focal de las microlentes y es el vector que apunta desde el centro de la microlente a un punto en la microlente. Vale la pena notar que es distinto de cero solo cuando se encuentra en el área de transmisión efectiva de una microlente.
Por lo tanto, la función de transmisión de la matriz de microlentes general se puede representar como enrevesado con una función de peine 2D:
,
dónde es el tono (digamos, la dimensión) de las microlentes.
Paso 3: propagación de campo cercano al sensor
La propagación del frente de onda con la distancia. desde el plano de la imagen nativa al plano del sensor se puede calcular con una integral de difracción de Fresnel :
,
dónde es el frente de onda que pasa inmediatamente por el plano de imagen nativo.
Por lo tanto, toda la respuesta al impulso óptico se puede expresar en términos de una convolución:
.
Calcular la matriz de medición
Habiendo adquirido la respuesta de impulso óptico, cualquier elemento en la matriz de medición se puede calcular como:
,
dónde es el área de píxel y es el volumen de vóxel . El filtro de pesose agrega para coincidir con el hecho de que un PSF contribuye más en el centro de un vóxel que en los bordes. La integral de superposición lineal se basa en el supuesto de que los fluoróforos en cada volumen infinitesimal experimentan un proceso de emisión estocástica incoherente, considerando sus fluctuaciones rápidas y aleatorias.
Resolviendo el problema inverso
La naturaleza ruidosa de las mediciones.
Nuevamente, debido al ancho de banda limitado, el ruido de disparo de fotones y la enorme dimensión de la matriz, es imposible resolver directamente el problema inverso como:. En cambio, una relación estocástica entre un campo de luz discreto y FOV se parece más a:
,
dónde ¿Se mide la fluorescencia de fondo antes de la formación de imágenes? es el ruido de Poisson. Por lo tanto,ahora se convierte en un vector aleatorio con valores distribuidos por posiciones en unidades de fotoelectrones e - .
Estimación de máxima verosimilitud
Basado en la idea de maximizar la probabilidad del campo de luz medido dado un campo de visión particular y antecedentes , el esquema de iteración de Richardson-Lucy proporciona un algoritmo de deconvolución 3D efectivo aquí:
.
donde el operador sigue siendo los argumentos diagonales de una matriz y pone a cero sus elementos fuera de la diagonal.
Aplicaciones
Microscopía de campo de luz para imágenes neuronales funcionales
Comenzando con el trabajo inicial en la Universidad de Stanford aplicando la microscopía de campo de luz a las imágenes de calcio en larvas de pez cebra ( Danio Rerio ), [10] varios artículos ahora han aplicado la microscopía de campo de luz a las imágenes neuronales funcionales, incluida la medición de las actividades dinámicas de las neuronas en todo el cerebro C. elegans , [11] imágenes de todo el cerebro en larvas de pez cebra, [11] [12] imágenes de sensores de actividad de voltaje y calcio en el cerebro de moscas de la fruta ( Drosophila ) hasta 200 Hz, [13] e imágenes rápidas de 1 mm x volúmenes de 1 mm x 0,75 mm en el hipocampo de ratones que navegan por un entorno virtual. [14] Esta área de aplicación es un área de rápido desarrollo en la intersección de la óptica computacional y la neurociencia. [15]
Ver también
- Campo de luz
- Microlentes
- Tomografía
- Síntesis de apertura
- Voxel
Referencias
- ^ a b c d Levoy, Marc; Ng, Ren; Adams, Andrew; Pie de página, Mateo; Horowitz, Mark (2006). Microscopía de campo de luz . Documentos ACM SIGGRAPH 2006 . SIGGRAPH '06. págs. 924–934. doi : 10.1145 / 1179352.1141976 . ISBN 978-1595933645.
- ^ a b Broxton, Michael; Grosenick, Logan; Yang, Samuel; Cohen, Noy; Andalman, Aaron; Deisseroth, Karl; Levoy, Marc (21 de octubre de 2013). "Teoría de la óptica ondulatoria y deconvolución 3-D para el microscopio de campo de luz" . Optics Express . 21 (21): 25418-25439. Código Bib : 2013OExpr..2125418B . doi : 10.1364 / OE.21.025418 . ISSN 1094-4087 . PMC 3867103 . PMID 24150383 .
- ^ Levoy, Marc; Hanrahan, Pat (1996). Representación de campo de luz . Actas de la 23ª Conferencia Anual sobre Gráficos por Computadora y Técnicas Interactivas . SIGGRAPH '96. págs. 31–42. doi : 10.1145 / 237170.237199 . ISBN 978-0897917469.
- ^ a b Ng, Ren (2005). "Fotografía de Fourier Slice". Documentos ACM SIGGRAPH 2005 . SIGGRAPH '05: 735–744. CiteSeerX 10.1.1.461.4454 . doi : 10.1145 / 1186822.1073256 .
- ^ Vaish, V .; Garg, G .; Talvala, E .; Antunez, E .; Wilburn, B .; Horowitz, M .; Levoy, M. (junio de 2005). Enfoque de apertura sintética usando una factorización de deformación cortante de la transformación de visualización . 2005 IEEE Computer Society Conference sobre Visión por Computador y Reconocimiento de Patrones (CVPR'05) - Talleres . 3 . pag. 129. doi : 10.1109 / CVPR.2005.537 . ISBN 978-0-7695-2372-9.
- ^ Swedlow, Jason R .; Sedat, John W .; Agard, David A. (1996). Jansson, Peter A. (ed.). Deconvolución de imágenes y espectros (2ª Ed.) . Orlando, FL, Estados Unidos: Academic Press, Inc. págs. 284–309. ISBN 978-0123802224.
- ↑ a b Ng, R. (2005). Fotografía de cortes de Fourier. En ACM SIGGRAPH 2005 Papers (págs. 735-744).
- ^ Gu, Min (2000). "Teoría avanzada de imágenes ópticas". Teoría avanzada de imágenes ópticas . Serie Springer en Ciencias Ópticas. 75 . Bibcode : 2000aoit.conf ..... G . doi : 10.1007 / 978-3-540-48471-4 . ISBN 978-3-662-14272-1.
- ^ Grosenick, Logan; Anderson, Todd; Smith, Stephen (28 de junio de 2009). Selección de fuente elástica para la obtención de imágenes in vivo de conjuntos neuronales . Simposio internacional de IEEE 2009 sobre imágenes biomédicas: de lo nano a lo macro . págs. 1263-1266. doi : 10.1109 / ISBI.2009.5193292 . ISBN 978-1-4244-3931-7.
- ^ a b Prevedel, Robert; Yoon, Young-Gyu; Hoffmann, Maximiliano; Pak, Nikita; Wetzstein, Gordon; Kato, Saul; Schrödel, Tina; Raskar, Ramesh; Zimmer, Manuel (18 de mayo de 2014). "Imágenes 3D simultáneas de animales completos de la actividad neuronal utilizando microscopía de campo de luz" . Métodos de la naturaleza . 11 (7): 727–730. doi : 10.1109 / ISBI.2009.5193292 . PMC 4100252 . PMID 24836920 .
- ^ Cong, Lin; Wang, Zeguan; Chai, Yuming; Cuelga, Wei; Shang, Chunfeng; Yang, Wenbin; Bai, Lu; Du, Jiulin; Wang, Kai (20 de septiembre de 2017). "Imagen rápida de todo el cerebro de la actividad neuronal en el pez cebra larval de comportamiento libre (Danio rerio)" . eLife . 6 . doi : 10.7554 / eLife.28158 . PMC 5644961 . PMID 28930070 .
- ^ Aimon, Sophie; Katsuki, Takeo; Grosenick, Logan; Broxton, Michael; Deisseroth, Karl; Sejnowski, Terrence; Greenspan, Ralph (2 de septiembre de 2017). "Imágenes rápidas de todo el cerebro en Drosophila adulta durante la respuesta a estímulos y comportamiento" . bioRxiv 10.1101 / 033803 . doi : 10.1101 / 033803 . Cite journal requiere
|journal=
( ayuda ) - ^ Grosenick, Logan; Broxton, Michael; Kim, Christina; Liston, Conor; Poole, Ben; Yang, Samuel; Andalman, Aaron; Scharff, Edward; Cohen, Noy; Yizhar, Ofer; Ramakrishnan, Charu; Ganguli, Surya; Suppes, Patrick; Levoy, Marc; Deisseroth, Karl (1 de mayo de 2017). "Identificación de la dinámica de la actividad celular a través de grandes volúmenes de tejido en el cerebro de los mamíferos" . bioRxiv 10.1101 / 132688 . doi : 10.1101 / 132688 . Cite journal requiere
|journal=
( ayuda ) - ^ "Microscopía de campo de luz en neuroimagen" .