El flujo óptico o flujo óptico es el patrón de movimiento aparente de objetos, superficies y bordes en una escena visual causado por el movimiento relativo entre un observador y una escena. [1] [2] El flujo óptico también se puede definir como la distribución de las velocidades aparentes de movimiento del patrón de brillo en una imagen. [3] El concepto de flujo óptico fue introducido por el psicólogo estadounidense James J. Gibson en la década de 1940 para describir el estímulo visual proporcionado a los animales que se mueven por el mundo. [4] Gibson enfatizó la importancia del flujo óptico para la percepción de la asequibilidad., la capacidad de discernir posibilidades de acción en el entorno. Los seguidores de Gibson y su enfoque ecológico de la psicología han demostrado además el papel del estímulo de flujo óptico para la percepción del movimiento por parte del observador en el mundo; percepción de la forma, la distancia y el movimiento de los objetos en el mundo; y el control de la locomoción. [5]
Los especialistas en robótica también utilizan el término flujo óptico, que abarca técnicas relacionadas con el procesamiento de imágenes y el control de la navegación, incluida la detección de movimiento , la segmentación de objetos , la información de tiempo de contacto, los cálculos de enfoque de expansión, la luminancia, la codificación con compensación de movimiento y la medición de disparidad estéreo. [6] [7]
Estimacion
Las secuencias de imágenes ordenadas permiten estimar el movimiento como velocidades de imagen instantáneas o como desplazamientos de imagen discretos. [7] Fleet y Weiss proporcionan una introducción tutorial al flujo óptico basado en gradientes. [8] John L. Barron, David J. Fleet y Steven Beauchemin proporcionan un análisis de rendimiento de varias técnicas de flujo óptico. Destaca la precisión y densidad de las mediciones. [9]
Los métodos de flujo óptico tratan de calcular el movimiento entre dos cuadros de imagen que se toman en momentos t yen cada posición de vóxel . Estos métodos se denominan diferenciales ya que se basan en aproximaciones de la serie de Taylor locales de la señal de imagen; es decir, utilizan derivadas parciales con respecto a las coordenadas espaciales y temporales.
Para un caso dimensional 2D + t (los casos 3D o n- D son similares) un vóxel en la ubicación con intensidad habrá pasado , y entre los dos cuadros de imagen, y se puede dar la siguiente restricción de constancia de brillo :
Suponiendo que el movimiento sea pequeño, la restricción de imagen en con la serie Taylor se puede desarrollar para obtener:
Al truncar los términos de orden superior (que realiza una linealización) se deduce que:
o dividiendo por ,
lo que resulta en
dónde son los y componentes de la velocidad o flujo óptico de y , y son las derivadas de la imagen en en las direcciones correspondientes. , y se puede escribir para las derivadas a continuación.
Por lo tanto:
o
Esta es una ecuación con dos incógnitas y no se puede resolver como tal. Esto se conoce como el problema de apertura de los algoritmos de flujo óptico. Para encontrar el flujo óptico se necesita otro conjunto de ecuaciones, dado por alguna restricción adicional. Todos los métodos de flujo óptico introducen condiciones adicionales para estimar el flujo real.
Métodos de determinación
- Correlación de fase : inversa del espectro de potencia cruzada normalizado
- Métodos basados en bloques: minimizan la suma de diferencias cuadradas o la suma de diferencias absolutas , o maximizan la correlación cruzada normalizada
- Métodos diferenciales para estimar el flujo óptico, basados en derivadas parciales de la señal de imagen y / o el campo de flujo buscado y derivadas parciales de orden superior, tales como:
- Método de Lucas-Kanade : con respecto a los parches de imagen y un modelo afín para el campo de flujo [10]
- Método de Horn-Schunck : optimización de una función basada en los residuos de la restricción de constancia de brillo y un término de regularización particular que expresa la suavidad esperada del campo de flujo [10]
- Método Buxton-Buxton : basado en un modelo del movimiento de los bordes en secuencias de imágenes [11]
- Método de Black-Jepson : flujo óptico aproximado mediante correlación [7]
- Métodos variacionales generales : una gama de modificaciones / extensiones de Horn-Schunck, utilizando otros términos de datos y otros términos de suavidad.
- Métodos de optimización discretos: el espacio de búsqueda se cuantifica y luego la coincidencia de imágenes se aborda mediante la asignación de etiquetas en cada píxel, de modo que la deformación correspondiente minimiza la distancia entre la imagen de origen y la de destino. [12] La solución óptima a menudo se recupera mediante algoritmos del teorema de flujo máximo y corte mínimo , programación lineal o métodos de propagación de creencias.
Muchos de estos, además de los algoritmos actuales de última generación, se evalúan en el conjunto de datos de referencia de Middlebury. [13] [14]
Usos
La estimación de movimiento y la compresión de video se han desarrollado como un aspecto importante de la investigación de flujo óptico. Si bien el campo de flujo óptico es superficialmente similar a un campo de movimiento denso derivado de las técnicas de estimación de movimiento, el flujo óptico es el estudio no solo de la determinación del campo de flujo óptico en sí, sino también de su uso para estimar la naturaleza tridimensional. y estructura de la escena, así como el movimiento 3D de los objetos y el observador en relación con la escena, la mayoría de ellos utilizando la imagen jacobiana .
Los investigadores de robótica utilizaron el flujo óptico en muchas áreas, tales como: detección y seguimiento de objetos , extracción de planos dominantes de imágenes, detección de movimiento, navegación de robots y odometría visual . [6] Se ha reconocido que la información de flujo óptico es útil para controlar microvehículos aéreos. [15]
La aplicación del flujo óptico incluye el problema de inferir no solo el movimiento del observador y los objetos en la escena, sino también la estructura de los objetos y el entorno. Dado que la conciencia del movimiento y la generación de mapas mentales de la estructura de nuestro entorno son componentes críticos de la visión animal (y humana) , la conversión de esta capacidad innata en una capacidad informática es igualmente crucial en el campo de la visión artificial . [dieciséis]
Considere un clip de cinco fotogramas de una pelota que se mueve desde la parte inferior izquierda de un campo de visión hacia la parte superior derecha. Las técnicas de estimación de movimiento pueden determinar que en un plano bidimensional la bola se mueve hacia arriba y hacia la derecha y los vectores que describen este movimiento pueden extraerse de la secuencia de fotogramas. Para los propósitos de la compresión de video (por ejemplo, MPEG ), la secuencia se describe ahora tan bien como debe ser. Sin embargo, en el campo de la visión artificial, la cuestión de si la pelota se mueve hacia la derecha o si el observador se mueve hacia la izquierda es una información incognoscible pero crítica. Incluso si hubiera un fondo estático y estampado en los cinco fotogramas, podríamos afirmar con seguridad que la bola se estaba moviendo hacia la derecha, porque el patrón podría tener una distancia infinita al observador.
Sensor de flujo óptico
Un sensor de flujo óptico es un sensor de visión capaz de medir el flujo óptico o el movimiento visual y generar una medición basada en el flujo óptico. Existen varias configuraciones de sensores de flujo ópticos. Una configuración es un chip sensor de imagen conectado a un procesador programado para ejecutar un algoritmo de flujo óptico. Otra configuración usa un chip de visión, que es un circuito integrado que tiene tanto el sensor de imagen como el procesador en el mismo troquel, lo que permite una implementación compacta. [17] [18] Un ejemplo de esto es un sensor de ratón óptico genérico utilizado en un ratón óptico . En algunos casos, la circuitería de procesamiento puede implementarse usando circuitos analógicos o de señal mixta para permitir un cálculo de flujo óptico rápido usando un consumo de corriente mínimo.
Un área de investigación contemporánea es el uso de técnicas de ingeniería neuromórfica para implementar circuitos que responden al flujo óptico y, por lo tanto, pueden ser apropiados para su uso en un sensor de flujo óptico. [19] Estos circuitos pueden inspirarse en circuitos neuronales biológicos que responden de manera similar al flujo óptico.
Los sensores de flujo óptico se utilizan ampliamente en ratones ópticos de computadora , como el principal componente de detección para medir el movimiento del mouse a través de una superficie.
Los sensores de flujo ópticos también se utilizan en aplicaciones robóticas , principalmente cuando existe la necesidad de medir el movimiento visual o el movimiento relativo entre el robot y otros objetos en las proximidades del robot. El uso de sensores de flujo ópticos en vehículos aéreos no tripulados (UAV) , para la estabilidad y la evitación de obstáculos, también es un área de investigación actual. [20]
Ver también
- Matriz óptica ambiental
- Ratón óptico
- Imágenes de rango
- Unidad de procesamiento de visión
- Ecuación de continuidad
Referencias
- ^ Burton, Andrew; Radford, John (1978). Pensar en perspectiva: ensayos críticos en el estudio de los procesos de pensamiento . Routledge. ISBN 978-0-416-85840-2.
- ^ Warren, David H .; Strelow, Edward R. (1985). Detección espacial electrónica para ciegos: contribuciones de la percepción . Saltador. ISBN 978-90-247-2689-9.
- ^ Horn, Berthold KP; Schunck, Brian G. (agosto de 1981). "Determinación del flujo óptico" (PDF) . Inteligencia artificial . 17 (1-3): 185-203. doi : 10.1016 / 0004-3702 (81) 90024-2 . hdl : 1721,1 / 6337 .
- ^ Gibson, JJ (1950). La percepción del mundo visual . Houghton Mifflin.
- ^ Royden, CS; Moore, KD (2012). "Uso de señales de velocidad en la detección de objetos en movimiento por observadores en movimiento". Investigación de la visión . 59 : 17-24. doi : 10.1016 / j.visres.2012.02.006 . PMID 22406544 . S2CID 52847487 .
- ^ a b Aires, Kelson RT; Santana, Andre M .; Medeiros, Adelardo AD (2008). Flujo óptico con información de color (PDF) . ACM Nueva York, NY, EE. UU. ISBN 978-1-59593-753-7.
- ^ a b c Beauchemin, SS; Barron, JL (1995). El cálculo del flujo óptico . ACM Nueva York, Estados Unidos.
- ^ Fleet, David J .; Weiss, Yair (2006). "Estimación de flujo óptico" (PDF) . En Paragios, Nikos; Chen, Yunmei; Faugeras, Olivier D. (eds.). Manual de modelos matemáticos en visión artificial . Saltador. págs. 237-257. ISBN 978-0-387-26371-7.
- ^ Barron, John L .; Fleet, David J. y Beauchemin, Steven (1994). "Realización de técnicas de flujo óptico" (PDF) . Revista Internacional de Visión por Computador . 12 : 43–77. CiteSeerX 10.1.1.173.481 . doi : 10.1007 / bf01420984 . S2CID 1290100 .
- ^ a b Zhang, G .; Chanson, H. (2018). "Aplicación de métodos de flujo óptico local a flujos de superficie libre de alta velocidad: validación y aplicación a conductos escalonados" (PDF) . Ciencia Experimental Térmica y de Fluidos . 90 : 186-199. doi : 10.1016 / j.expthermflusci.2017.09.010 .
- ^ Glyn W. Humphreys y Vicki Bruce (1989). Cognición visual . Prensa de psicología. ISBN 978-0-86377-124-8.
- ^ B. Glocker; N. Komodakis; G. Tziritas; N. Navab; N. Paragios (2008). Registro de imágenes densas a través de MRF y programación lineal eficiente (PDF) . Revista de análisis de imágenes médicas.
- ^ Baker, Simon; Scharstein, Daniel; Lewis, JP; Roth, Stefan; Black, Michael J .; Szeliski, Richard (marzo de 2011). "Una base de datos y una metodología de evaluación para el flujo óptico". Revista Internacional de Visión por Computador . 92 (1): 1–31. doi : 10.1007 / s11263-010-0390-2 . ISSN 0920-5691 . S2CID 316800 .
- ^ Baker, Simon; Scharstein, Daniel; Lewis, JP; Roth, Stefan; Black, Michael J .; Szeliski, Richard. "Flujo óptico" . vision.middlebury.edu . Consultado el 18 de octubre de 2019 .
- ^ Barrows, GL; Chahl, JS; Srinivasan, MV (2003). "Control de vuelo y detección visual de inspiración biológica" . Revista aeronáutica . 107 (1069): 159–268. doi : 10.1017 / S0001924000011891 (inactivo el 31 de mayo de 2021) - a través de Cambridge University Press.Mantenimiento de CS1: DOI inactivo a partir de mayo de 2021 ( enlace )
- ^ Brown, Christopher M. (1987). Avances en Visión por Computador . Lawrence Erlbaum Associates. ISBN 978-0-89859-648-9.
- ^ Moini, Alireza (2000). Fichas de visión . Boston, MA: Springer EE. UU. ISBN 9781461552673. OCLC 851803922 .
- ^ Mead, Carver (1989). VLSI analógico y sistemas neuronales . Reading, Mass .: Addison-Wesley. ISBN 0201059924. OCLC 17954003 .
- ^ Stocker, Alan A. (2006). Circuitos VLSI analógicos para la percepción del movimiento visual . Chichester, Inglaterra: John Wiley & Sons. ISBN 0470034882. OCLC 71521689 .
- ^ Floreano, Darío; Zufferey, Jean-Christophe; Srinivasan, Mandyam V .; Ellington, Charlie, eds. (2009). Insectos voladores y robots . Heidelberg: Springer. ISBN 9783540893936. OCLC 495477442 .
enlaces externos
- Encontrar el flujo óptico
- Artículo de Art of Optical Flow en fxguide.com (uso de flujo óptico en efectos visuales)
- Evaluación de flujo óptico y secuencias de verdad del terreno.
- Evaluación de flujo óptico de Middlebury y secuencias de verdad del suelo.
- mrf-registration.net - Estimación de flujo óptico a través de MRF
- El laboratorio aeroespacial francés: implementación de GPU de un flujo óptico basado en Lucas-Kanade
- Implementación de CUDA por CUVI (Biblioteca de imágenes y visión de CUDA)
- Horn and Schunck Optical Flow: demostración en línea y código fuente del método Horn y Schunck
- TV-L1 Optical Flow: demostración en línea y código fuente de Zach et al. método
- Flujo óptico robusto: demostración en línea y código fuente de Brox et al. método