El matting de video es una técnica para separar el video en dos o más capas, generalmente de primer plano y de fondo, y generar mates alfa que determinan la combinación de las capas. La técnica es muy popular en la edición de videos porque permite sustituir el fondo o procesar las capas individualmente.
Métodos de tapete de video
Definición del problema
Cuando se combinan dos imágenes, se utiliza el mate alfa , también conocido como mapa de transparencia. En el caso del video digital, el mate alfa es una secuencia de imágenes. El mate puede servir como una máscara binaria, definiendo cuáles de las partes de la imagen son visibles. En un caso más complicado, permite una mezcla suave de las imágenes, el mate alfa se utiliza como mapa de transparencia de la imagen superior. La producción cinematográfica ha conocido el matting alfa desde la creación misma del cine. Los mates fueron dibujados a mano. Hoy en día, el proceso se puede automatizar con algoritmos informáticos.
![](http://wikiimg.tojsiabtv.com/wikipedia/commons/thumb/e/e6/Alpha_matte.png/220px-Alpha_matte.png)
El problema básico de las alfombras se define de la siguiente manera: dada una imagen , calcula el primer plano , antecedentes y mate alfa , tal que la ecuación se mantiene cierto. Esta ecuación tiene una solución trivial, , es cualquier imagen. Por lo tanto, generalmente se debe proporcionar un recorte adicional como entrada. El trimapa especifica píxeles de fondo, primer plano e inciertos, que se descompondrán en primer plano y fondo mediante el método de matizado.
Los principales criterios para los métodos de tapete de video desde la perspectiva del usuario son los siguientes:
- Procesamiento de bordes preciso
- Estabilidad de tiempo
- Intervención mínima del usuario
![](http://wikiimg.tojsiabtv.com/wikipedia/commons/thumb/a/a0/Example_trimap_with_toy.jpg/440px-Example_trimap_with_toy.jpg)
Descripción de métodos
El primer método de estera de video conocido [1] se desarrolló en 2001. El método utiliza flujo óptico para la propagación de trimapas y una técnica de estera de imagen bayesiana que se aplica a cada imagen por separado.
Video SnapCut, [2] que más tarde se incorporó a Adobe After Effects como herramienta Roto Brush, se desarrolló en 2009. El método utiliza clasificadores locales para la segmentación de imágenes binarias cerca del límite del objeto de destino. Los resultados de la segmentación se propagan a la siguiente trama utilizando flujo óptico y se aplica un algoritmo de matización de imágenes [3] .
Un método [4] de 2011 también se incluyó en Adobe After Effects como herramienta Refine Edge. La propagación del trimapa con flujo óptico se mejoró con puntos de control a lo largo del borde del objeto. El método utiliza esteras por imagen, pero la coherencia temporal se mejoró con un filtro temporal.
Por último, en 2017 se desarrolló un método de aprendizaje profundo [5] para el matizado de imágenes. Este método supera a la mayoría de los métodos tradicionales. [6]
Benchmarking
Los tapetes de video son un campo en rápida evolución con muchas aplicaciones prácticas. Sin embargo, para comparar la calidad de los métodos, deben probarse en un punto de referencia. El punto de referencia consiste en un conjunto de datos con secuencias de prueba y una metodología de comparación de resultados. Actualmente existe un importante punto de referencia en línea de esteras de video, [6] que utiliza la incrustación cromática y el stop motion para la estimación de la verdad del terreno . Después del envío del método, la calificación de cada método se deriva de métricas objetivas. Dado que las métricas objetivas no representan la percepción humana de la calidad, es necesaria una encuesta subjetiva para proporcionar una comparación adecuada.
Método | Año de desarrollo | Lugar de clasificación |
---|---|---|
Estera de imagen profunda [1] | 2016 | 1 |
Autoadaptativo [7] | 2016 | 2 |
Basado en el aprendizaje [8] | 2009 | 3 |
Muestreo escaso [9] | 2016 | 4 |
Formulario cerrado [3] | 2008 | 5 |
Uso práctico
Recorte de objeto
Se requieren métodos de matting de video en el software de edición de video. La aplicación más común es recortar y transferir un objeto a otra escena. La herramienta permite a los usuarios recortar un objeto en movimiento pintando de forma interactiva áreas que deben o no pertenecer al objeto, o especificando recortes completos como entrada. Hay varias implementaciones de software:
- Un sistema de recorte de video interactivo [10]
- Herramienta Adobe After Effects Rotobrush [2]
- Herramienta Adobe After Effects Refine Edge [4]
- Complemento YUVSoft Matting para Adobe After Effects [11]
Para mejorar la velocidad y la calidad del matizado, algunos métodos utilizan datos adicionales. Por ejemplo, se habían explorado las cámaras de tiempo de vuelo en sistemas de alfombras en tiempo real. [12]
Reemplazo de fondo
Otra aplicación del tapete de video es el tapete de fondo, que es muy popular en las videollamadas en línea. Se había desarrollado un complemento de Zoom , [13] y Skype anunció Background Replace en junio de 2020. [14] Los métodos de matting de video también permiten aplicar efectos de video solo al fondo o al primer plano.
Edición de video 3D
El tapete de video es crucial en la conversión de 2D a 3D , donde el mate alfa se usa para procesar correctamente los objetos transparentes. También se emplea en conversión estéreo a multivista.
Finalización de video
Estrechamente relacionado con el tapete está la finalización del video [15] después de la remoción de un objeto en el video. Si bien el matting se usa para separar el video en varias capas, la finalización permite llenar los espacios con contenido plausible del video después de eliminar una de las capas.
Ver también
Referencias
- ^ a b Chuang, Yung-Yu; Agarwala, Aseem; Curless, Brian; Salesin, David H .; Szeliski, Richard (2002). "Video matting de escenas complejas". Transacciones ACM en gráficos . 21 (3): 243–248. doi : 10.1145 / 566654.566572 . ISSN 0730-0301 .
- ^ a b Bai, Xue; Wang, Jue; Simons, David; Sapiro, Guillermo (2009). "Video SnapCut" . Transacciones ACM en gráficos . 28 (3): 1–11. doi : 10.1145 / 1531326.1531376 . ISSN 0730-0301 .
- ^ a b Levin, A .; Lischinski, D .; Weiss, Y. (2008). "Una solución de forma cerrada a la estera de imagen natural". Transacciones IEEE sobre análisis de patrones e inteligencia de máquinas . 30 (2): 228–242. doi : 10.1109 / TPAMI.2007.1177 . ISSN 0162-8828 . PMID 18084055 .
- ^ a b Bai, Xue; Wang, Jue; Simons, David (2011). "Hacia un tapete de video coherente temporalmente". Técnicas de Colaboración en Visión por Computadora / Gráficos por Computadora . Apuntes de conferencias en informática. 6930 . págs. 63–74. doi : 10.1007 / 978-3-642-24136-9_6 . ISBN 978-3-642-24135-2. ISSN 0302-9743 .
- ^ Xu, Ning; Price, Brian; Cohen, Scott; Huang, Thomas (2017). "Estera de imagen profunda". 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . págs. 311–320. doi : 10.1109 / CVPR.2017.41 . ISBN 978-1-5386-0457-1.
- ^ a b c Erofeev, Mikhail; Gitman, Yury; Vatolin, Dmitriy; Fedorov, Alexey; Wang, Jue (2015). "Benchmark motivado perceptivamente para video mat" . Procedimientos de la Conferencia Británica de Visión Artificial 2015 . págs. 99,1–99,12. doi : 10.5244 / C.29.99 . ISBN 978-1-901725-53-7.
- ^ Cao, Guangying; Li, Jianwei; Chen, Xiaowu; Él, Zhiqiang (2017). "Tapete autoadaptable basado en parches para imágenes y videos de alta resolución". La computadora visual . 35 (1): 133-147. doi : 10.1007 / s00371-017-1424-3 . ISSN 0178-2789 .
- ^ Kambhamettu, Chandra (2009). Tapete digital basado en el aprendizaje . IEEE. doi : 10.1109 / iccv.2009.5459326 . ISBN 978-1-4244-4420-5.
- ^ Karacan, Levent; Erdem, Aykut; Erdem, Erkut (2015). "Imagen mate con muestreo escaso basado en KL-divergencia". 2015 IEEE International Conference on Computer Vision (ICCV) . págs. 424–432. doi : 10.1109 / ICCV.2015.56 . ISBN 978-1-4673-8391-2.
- ^ Wang, Jue; Bhat, Pravin; Colburn, R. Alex; Agrawala, Maneesh; Cohen, Michael F. (2005). "Recorte de video interactivo" . Transacciones ACM en gráficos . 24 (3): 585–594. doi : 10.1145 / 1073204.1073233 . ISSN 0730-0301 .
- ^ "Complemento de matting para Adobe After Effects" . Consultado el 2 de marzo de 2021 .
- ^ Wang, Liang; Gong, Minglun; Zhang, Chenxi; Yang, Ruigang; Zhang, Cha; Yang, Yee-Hong (15 de junio de 2011). "Matting automático de vídeo en tiempo real mediante cámara de tiempo de vuelo y ecuaciones de Poisson multicanal". Revista Internacional de Visión por Computador . Springer Science and Business Media LLC. 97 (1): 104-121. doi : 10.1007 / s11263-011-0471-x . ISSN 0920-5691 .
- ^ "Tapete de fondo de alta resolución en tiempo real" . Consultado el 2 de marzo de 2021 .
- ^ "Presentación de Reemplazo en segundo plano en Skype" . Consultado el 2 de marzo de 2021 .
- ^ "Benchmark de finalización de video" . Consultado el 10 de marzo de 2021 .
enlaces externos
- Comparativa de tapete de video
- Punto de referencia de matting de imagen