La exploración de videos , también conocida como búsqueda exploratoria de videos , es el proceso interactivo de hojear el contenido del video para satisfacer alguna necesidad de información o para verificar interactivamente si el contenido del video es relevante. Aunque originalmente se propuso para ayudar a los usuarios a inspeccionar un solo video a través de miniaturas visuales, [1] las herramientas modernas de exploración de videos permiten a los usuarios encontrar rápidamente la información deseada en un archivo de video mediante la interacción iterativa entre humanos y computadoras a través de un enfoque de búsqueda exploratoria . [2] [3]Muchas de estas herramientas suponen un usuario inteligente que quiere funciones para inspeccionar de forma interactiva el contenido de vídeo, así como funciones de filtrado automático de contenido. Para ello, se suelen proporcionar varias funciones de interacción de vídeo [4] , como la navegación sofisticada en vídeo o la búsqueda mediante una consulta basada en contenido . Las herramientas de exploración de video a menudo se basan en análisis de contenido de video de nivel inferior , como detección de transición de tomas , extracción de fotogramas clave, detección de concepto semántico y crean una descripción general estructurada del contenido del archivo de video o archivo de video. Además, suelen proporcionar funciones de navegación sofisticadas, como líneas de tiempo avanzadas, [5]barras de búsqueda visual o una lista de miniaturas seleccionadas, así como medios para la consulta de contenido. Ejemplos de consultas de contenido son el filtrado de tomas a través de conceptos visuales (p. Ej., Solo tomas que muestran automóviles), a través de algunas características específicas (p. Ej., Filtrado de color o movimiento), a través de bocetos proporcionados por el usuario (p. Ej., Un boceto dibujado visualmente) o mediante el contenido búsqueda de similitud basada.
Historia
La exploración de videos fue propuesta originalmente por el ingeniero iraní Farshid Arman, el científico informático taiwanés Arding Hsu y el científico informático Ming-Yee Chiu, mientras trabajaba en Siemens , y se presentó en la Conferencia Internacional ACM en agosto de 1993. [1] [6] Ellos describió un algoritmo de detección de tomas para video comprimido que originalmente se codificó con estándares de codificación de video de transformada de coseno discreta (DCT) como JPEG , MPEG y H.26x . La idea básica era que, dado que los coeficientes DCT están relacionados matemáticamente con el dominio espacial y representan el contenido de cada cuadro, pueden usarse para detectar las diferencias entre cuadros de video. En el algoritmo, un subconjunto de bloques en una trama y un subconjunto de coeficientes DCT para cada bloque se utilizan como representación del vector de movimiento para la trama. Al operar en representaciones DCT comprimidas, el algoritmo reduce significativamente los requisitos computacionales para la descompresión y permite una navegación de video efectiva. [7] El algoritmo representa tomas separadas de una secuencia de video mediante un fotograma r, una miniatura de la toma enmarcada por una región de seguimiento de movimiento. Posteriormente se adoptó una variación de este concepto para los mosaicos de contenido de video QBIC , donde cada fotograma r es un fotograma destacado de la toma que representa. [8]
Enfrentamiento del navegador de video
El Video Browser Showdown (VBS) [9] es una competencia anual de evaluación en vivo para herramientas de búsqueda de videos exploratorios, donde investigadores internacionales utilizan herramientas de búsqueda de videos para resolver tareas de búsqueda de videos ad-hoc en un conjunto de datos moderadamente grande lo más rápido posible. El objetivo principal de la VBS, que comenzó en 2012 en la Conferencia Internacional sobre Modelado MultiMedia (MMM), es avanzar en el rendimiento de las herramientas de exploración de videos. Desde 2016, la VBS también colabora con TRECVID. [10]
Referencias
- ^ a b Arman, Farshid; Depommier, Remi; Hsu, Arding; Chiu, Ming-Yee (octubre de 1994). "Navegación basada en contenido de secuencias de video" . Actas de la Segunda Conferencia Internacional ACM sobre Multimedia . Asociación de Maquinaria de Computación : 97–103. doi : 10.1145 / 192593.192630 . ISBN 0897916867. S2CID 1360834 .
- ^ Apoyo a la búsqueda exploratoria de la biblioteca de videos: cuando los guiones gráficos no son suficientes. MG Christel. 2008.
- ^ El Explorador de videos: una herramienta para navegar y buscar dentro de un solo video basada en un análisis de contenido rápido. K. Schoeffmann, M. Taschwer y L. Boeszoermenyi. 2010.
- ^ Herramientas de interacción de video: una encuesta de trabajo reciente. K. Schoeffmann, MA Hudelist y J. Huber. 2015.
- ^ Interfaces para la navegación de videos móviles basada en la línea de tiempo. W. Hürst y K. Meier. 2008.
- ^ Arman, Farshid; Hsu, Arding; Chiu, Ming-Yee (agosto de 1993). "Procesamiento de imágenes en datos comprimidos para grandes bases de datos de video" . Actas de la Primera Conferencia Internacional ACM sobre Multimedia . Asociación de Maquinaria de Computación : 267–272. doi : 10.1145 / 166266.166297 . ISBN 0897915968. S2CID 10392157 .
- ^ Zhang, HongJiang (1998). "Búsqueda y recuperación de videos basados en contenido" . En Furht, Borko (ed.). Manual de Sistemas y Aplicaciones de Internet y Multimedia . Prensa CRC . págs. 83-108 (89) . ISBN 9780849318580.
- ^ Steele, Michael; Hearst, Marti A .; Lawrence, A. Rowe (1998). "The Video Workbench: una interfaz de manipulación directa para la edición de medios digitales por camarógrafos aficionados" (PDF) . Erudito semántico : 1-19 (14). S2CID 18212394 . Archivado desde el original (PDF) el 26 de febrero de 2019 . Consultado el 18 de octubre de 2019 .
- ↑ Video Browser Showdown
- ^ TRECVID , iniciativa de referencia académica por NIST