Seguimiento de video

El seguimiento de video es el proceso de localizar un objeto en movimiento (o múltiples objetos) a lo largo del tiempo usando una cámara. Tiene una variedad de usos, algunos de los cuales son: interacción persona-computadora, seguridad y vigilancia, comunicación y compresión de video , realidad aumentada , control de tráfico, imágenes médicas [1] y edición de video . [2] [3] El seguimiento de video puede ser un proceso lento debido a la cantidad de datos que contiene el video. Además de la complejidad, se encuentra la posible necesidad de utilizar técnicas de reconocimiento de objetos para el seguimiento, un problema desafiante en sí mismo.

"> File:High-speed catching system.webmReproducir medios
Un ejemplo de servo visual para la mano del robot para atrapar una pelota mediante el seguimiento de objetos con retroalimentación visual que es procesada por un sistema de procesamiento de imágenes de alta velocidad. [4] [5]

El objetivo del seguimiento de video es asociar objetos de destino en cuadros de video consecutivos. La asociación puede resultar especialmente difícil cuando los objetos se mueven rápidamente en relación con la velocidad de fotogramas . Otra situación que aumenta la complejidad del problema es cuando el objeto rastreado cambia de orientación con el tiempo. Para estas situaciones, los sistemas de seguimiento de video generalmente emplean un modelo de movimiento que describe cómo la imagen del objetivo podría cambiar para diferentes posibles movimientos del objeto.

Ejemplos de modelos de movimiento simple son:

  • Al rastrear objetos planos, el modelo de movimiento es una transformación 2D (transformación afín u homografía ) de una imagen del objeto (por ejemplo, el fotograma inicial).
  • Cuando el objetivo es un objeto 3D rígido, el modelo de movimiento define su aspecto en función de su posición y orientación 3D.
  • Para la compresión de video , los fotogramas clave se dividen en macrobloques . El modelo de movimiento es una interrupción de un fotograma clave, donde cada macrobloque es traducido por un vector de movimiento dado por los parámetros de movimiento.
  • La imagen de los objetos deformables se puede cubrir con una malla, el movimiento del objeto se define por la posición de los nodos de la malla.

Para realizar el seguimiento de vídeo, un algoritmo analiza los fotogramas de vídeo secuenciales y genera el movimiento de los objetivos entre los fotogramas. Hay una variedad de algoritmos, cada uno con sus fortalezas y debilidades. Es importante tener en cuenta el uso previsto al elegir qué algoritmo utilizar. Hay dos componentes principales de un sistema de seguimiento visual: representación y localización del objetivo, así como filtrado y asociación de datos.

La representación y localización de los objetivos es principalmente un proceso de abajo hacia arriba. Estos métodos brindan una variedad de herramientas para identificar el objeto en movimiento. La localización y el seguimiento del objeto de destino con éxito depende del algoritmo. Por ejemplo, usar el seguimiento de blobs es útil para identificar el movimiento humano porque el perfil de una persona cambia dinámicamente. [6] Normalmente, la complejidad computacional de estos algoritmos es baja. A continuación, se muestran algunos algoritmos de localización y representación de objetivos comunes :

  • De seguimiento basado en Kernel ( media de desplazamiento de seguimiento [7] ): un procedimiento de localización iterativo basado en la maximización de una medida de similitud ( coeficiente de Bhattacharyya ).
  • Seguimiento de contornos : detección de los límites del objeto (por ejemplo, contornos activos o algoritmo de condensación ). Los métodos de seguimiento de contorno evolucionan iterativamente un contorno inicial inicializado desde el fotograma anterior a su nueva posición en el fotograma actual. Este enfoque del seguimiento del contorno evoluciona directamente el contorno al minimizar la energía del contorno mediante el descenso de gradiente.

El filtrado y la asociación de datos es principalmente un proceso de arriba hacia abajo, que implica incorporar información previa sobre la escena u objeto, lidiar con la dinámica del objeto y evaluar diferentes hipótesis. Estos métodos permiten el seguimiento de objetos complejos junto con una interacción de objetos más compleja, como el seguimiento de objetos que se mueven detrás de obstrucciones. [8] Además, la complejidad aumenta si el rastreador de video (también llamado rastreador de TV o rastreador de objetivos) no está montado sobre una base rígida (en tierra) sino en un barco en movimiento (en alta mar), donde normalmente se encuentra un sistema de medición inercial. Se utiliza para preestabilizar el rastreador de video para reducir la dinámica requerida y el ancho de banda del sistema de la cámara. [9] La complejidad computacional de estos algoritmos suele ser mucho mayor. Los siguientes son algunos algoritmos de filtrado comunes:

  • Filtro de Kalman : un filtro bayesiano recursivo óptimo para funciones lineales sometidas a ruido gaussiano. Es un algoritmo que utiliza una serie de mediciones observadas a lo largo del tiempo, que contienen ruido (variaciones aleatorias) y otras inexactitudes, y produce estimaciones de variables desconocidas que tienden a ser más precisas que aquellas basadas en una sola medición. [10]
  • Filtro de partículas : útil para muestrear la distribución del espacio de estado subyacente de procesos no lineales y no gaussianos. [11] [12] [13]

  1. ^ Peter Mountney, Danail Stoyanov y Guang-Zhong Yang (2010). "Recuperación y seguimiento de deformaciones de tejidos tridimensionales: introducción de técnicas basadas en imágenes laparoscópicas o endoscópicas". Revista de procesamiento de señales IEEE. Julio de 2010. Volumen: 27" (PDF) . Revista IEEE Signal Processing . 27 (4):. 14-24 doi : 10.1109 / MSP.2010.936728 . HDL : 10044/1/53740 .
  2. ^ Lyudmila Mihaylova, Paul Brasnett, Nishan Canagarajan y David Bull (2007). Seguimiento de objetos mediante técnicas de filtrado de partículas en secuencias de vídeo; En: Avances y desafíos en datos e información multisensor . Serie Seguridad a través de la ciencia de la OTAN, 8. Países Bajos: IOS Press. págs. 260–268. CiteSeerX  10.1.1.60.8510 . ISBN 978-1-58603-727-7.CS1 maint: varios nombres: lista de autores ( enlace )
  3. ^ Kato, H .; Billinghurst, M. (1999). "Seguimiento de marcadores y calibración HMD para un sistema de conferencias de realidad aumentada basado en video" (PDF) . Actas 2º Taller Internacional IEEE y ACM sobre Realidad Aumentada (IWAR'99) . págs. 85–94. doi : 10.1109 / IWAR.1999.803809 . ISBN 0-7695-0359-4.
  4. ^ "Sistema de captura de alta velocidad (exhibido en el Museo Nacional de Ciencia e Innovación Emergentes desde 2005)" . Laboratorio Ishikawa Watanabe, Universidad de Tokio . Consultado el 12 de febrero de 2015 .
  5. ^ "Concepto básico y términos técnicos" . Laboratorio Ishikawa Watanabe, Universidad de Tokio . Consultado el 12 de febrero de 2015 .
  6. ^ S. Kang; J. Paik; A. Koschan; B. Abidi y MA Abidi (2003). "Seguimiento de video en tiempo real utilizando cámaras PTZ". Proc. SPIE . VI Congreso Internacional de Control de Calidad por Visión Artificial. 5132 : 103-111. Código bibliográfico : 2003SPIE.5132..103K . CiteSeerX  10.1.1.101.4242 . doi : 10.1117 / 12.514945 .
  7. ^ Comaniciu, D .; Ramesh, V .; Meer, P., " Seguimiento en tiempo real de objetos no rígidos mediante desplazamiento medio ", Visión por computadora y reconocimiento de patrones, 2000. Actas. IEEE Conference on, vol.2, no., Págs. 142, 149 vol.2, 2000
  8. ^ Black, James, Tim Ellis y Paul Rosin (2003). "Un método novedoso para la evaluación del rendimiento de seguimiento de vídeo". Conjunto IEEE Int. Taller sobre vigilancia visual y evaluación del rendimiento del seguimiento y la vigilancia : 125-132. CiteSeerX  10.1.1.10.3365 .CS1 maint: varios nombres: lista de autores ( enlace )
  9. ^ Rastreador de objetivos estabilizado por girocompás para instalación en alta mar
  10. ^ M. Arulampalam; S. Maskell; N. Gordon y T. Clapp (2002). "Un tutorial sobre filtros de partículas para el seguimiento bayesiano no lineal / no gaussiano en línea". Transacciones IEEE sobre procesamiento de señales . 50 (2): 174. Bibcode : 2002ITSP ... 50..174A . CiteSeerX  10.1.1.117.1144 . doi : 10.1109 / 78.978374 .
  11. ^ Emilio Maggio; Andrea Cavallaro (2010). Seguimiento de video: teoría y práctica . 1 . ISBN 9780132702348. Video Tracking proporciona un tratamiento integral de los aspectos fundamentales del desarrollo de algoritmos y aplicaciones para la tarea de estimar, a lo largo del tiempo.
  12. ^ Karthik Chandrasekaran (2010). Modelo de resta de fondo paramétrico y no paramétrico con seguimiento de objetos para VENUS . 1 . ISBN 9780549524892. La sustracción de fondo es el proceso mediante el cual segmentamos regiones en movimiento en secuencias de imágenes.
  13. ^ J. Martinez-del-Rincon, D. Makris, C. Orrite-Urunuela y J.-C. Nebel (2010). " Seguimiento de la posición humana y las partes inferiores del cuerpo mediante Kalman y filtros de partículas restringidos por la biomecánica humana ". Transacciones IEEE sobre el hombre de sistemas y la cibernética - Parte B ', 40 (4).

  • - Interesante ejemplo histórico (1980) de Cromemco Cyclops Camera utilizada para rastrear una pelota que atraviesa un laberinto.