La captura de movimiento (a veces denominada mo-cap o mocap , para abreviar) es el proceso de registrar el movimiento de objetos o personas. Se utiliza en aplicaciones militares , de entretenimiento , deportivas , médicas y para la validación de la visión por computadora [3] y la robótica. [4] En el desarrollo de películas y videojuegos , se refiere a grabar acciones de actores humanos y usar esa información para animar modelos de personajes digitales en animación por computadora en 2D o 3D . [5] [6] [7]Cuando incluye la cara y los dedos o captura expresiones sutiles, a menudo se denomina captura de interpretación . [8] En muchos campos, la captura de movimiento a veces se denomina seguimiento de movimiento , pero en la realización de películas y los juegos, el seguimiento de movimiento generalmente se refiere más al movimiento de coincidencias .
En las sesiones de captura de movimiento, los movimientos de uno o más actores se muestrean muchas veces por segundo. Mientras que las primeras técnicas usaban imágenes de múltiples cámaras para calcular las posiciones 3D , [9] a menudo el propósito de la captura de movimiento es registrar solo los movimientos del actor, no su apariencia visual. Estos datos de animación se asignan a un modelo 3D para que el modelo realice las mismas acciones que el actor. Este proceso puede contrastarse con la técnica más antigua de rotoscopia .
Los movimientos de la cámara también se pueden capturar para que una cámara virtual en la escena se mueva, se incline o se mueva alrededor del escenario conducida por un operador de cámara mientras el actor está actuando. Al mismo tiempo, el sistema de captura de movimiento puede capturar la cámara y los accesorios, así como la actuación del actor. Esto permite que los personajes, imágenes y escenarios generados por computadora tengan la misma perspectiva que las imágenes de video de la cámara. Una computadora procesa los datos y muestra los movimientos del actor, proporcionando las posiciones de cámara deseadas en términos de objetos en el set. La obtención retroactiva de datos de movimiento de la cámara a partir del metraje capturado se conoce como movimiento de coincidencia o seguimiento de cámara .
Ventajas
La captura de movimiento ofrece varias ventajas sobre la animación tradicional por computadora de un modelo 3D:
- Se pueden obtener resultados de baja latencia, casi en tiempo real. En aplicaciones de entretenimiento, esto puede reducir los costos de la animación basada en fotogramas clave . [10] La técnica del Traspaso es un ejemplo de esto.
- La cantidad de trabajo no varía con la complejidad o duración de la actuación en el mismo grado que cuando se utilizan técnicas tradicionales. Esto permite hacer muchas pruebas con diferentes estilos o entregas, dando una personalidad diferente solo limitada por el talento del actor.
- Los movimientos complejos y las interacciones físicas realistas, como los movimientos secundarios, el peso y el intercambio de fuerzas, se pueden recrear fácilmente de una manera físicamente precisa. [11]
- La cantidad de datos de animación que se pueden producir en un tiempo determinado es extremadamente grande en comparación con las técnicas de animación tradicionales. Esto contribuye tanto a la rentabilidad como al cumplimiento de los plazos de producción. [12]
- Potencial de software libre y soluciones de terceros que reducen sus costos.
Desventajas
- Se requieren programas de software y hardware específicos para obtener y procesar los datos.
- El costo del software, el equipo y el personal necesarios puede resultar prohibitivo para pequeñas producciones.
- El sistema de captura puede tener requisitos específicos para el espacio en el que se opera, según el campo de visión de la cámara o la distorsión magnética.
- Cuando surgen problemas, es más fácil volver a filmar la escena que intentar manipular los datos. Solo unos pocos sistemas permiten la visualización en tiempo real de los datos para decidir si es necesario rehacer la toma.
- Los resultados iniciales se limitan a lo que se puede realizar dentro del volumen de captura sin una edición adicional de los datos.
- El movimiento que no sigue las leyes de la física no se puede capturar.
- Las técnicas de animación tradicionales, como el énfasis adicional en la anticipación y el seguimiento, el movimiento secundario o la manipulación de la forma del personaje, como con las técnicas de animación de aplastamiento y estiramiento , deben agregarse más adelante.
- Si el modelo de computadora tiene diferentes proporciones del sujeto de captura, pueden ocurrir artefactos. Por ejemplo, si un personaje de dibujos animados tiene manos grandes y de gran tamaño, estas pueden cruzarse con el cuerpo del personaje si el intérprete humano no tiene cuidado con su movimiento físico.
Aplicaciones
Los videojuegos suelen utilizar la captura de movimiento para animar a los atletas, artistas marciales y otros personajes del juego. [13] [14] Ya en 1988, se utilizó una forma temprana de captura de movimiento para animar el 2D personaje principal de la Martech videojuego Vixen , que se realizó según el modelo Corinne Russell . [15] La captura de movimiento se utilizó más tarde para animar los modelos de personajes 3D en el juego de arcade Virtua Fighter 2 de Sega Model 2 en 1994. [16] A mediados de 1995, el desarrollador / editor Acclaim Entertainment tenía su propio estudio de captura de movimiento interno. construido en su sede. [14] El juego de arcade de 1995 de Namco , Soul Edge, utilizaba marcadores de sistema óptico pasivo para la captura de movimiento. [17]
Las películas usan captura de movimiento para efectos CG, en algunos casos reemplazando la animación tradicional de cel, y para criaturas completamente generadas por computadora , como Gollum , The Mummy , King Kong , Davy Jones de Pirates of the Caribbean , los Na'vi de la película Avatar. y Clu de Tron: Legacy . El Gran Goblin, los tres trols de piedra , muchos de los orcos y duendes de la película de 2012 El hobbit: un viaje inesperado y Smaug se crearon mediante captura de movimiento.
Star Wars: Episodio I - La amenaza fantasma (1999) fue el primer largometraje que incluyó un personaje principal creado mediante captura de movimiento (ese personaje es Jar Jar Binks , interpretado por Ahmed Best ), y la película indio - estadounidense Sinbad: Beyond The Veil of Mists (2000) fue el primer largometraje realizado principalmente con captura de movimiento, aunque muchos animadores de personajes también trabajaron en la película, que tuvo un lanzamiento muy limitado. Final Fantasy: The Spirits Within de 2001fue la primera película ampliamente lanzada que se hizo principalmente con tecnología de captura de movimiento. A pesar de su escasa recaudación de taquilla, los partidarios de la tecnología de captura de movimiento se dieron cuenta. Total Recall ya había utilizado la técnica, en la escena del escáner de rayos X y los esqueletos.
El señor de los anillos: las dos torres fue el primer largometraje en utilizar un sistema de captura de movimiento en tiempo real. Este método transmitió las acciones del actor Andy Serkis a la máscara generada por computadora de Gollum / Smeagol mientras se realizaba. [18]
De los tres candidatos para el 2006 Oscar a la Mejor Película de Animación , dos de los nominados ( Monster House y el ganador Happy Feet ) de captura de movimiento usada, y sólo Disney · Pixar 's Cars fue animado y sin captura de movimiento. En los créditos finales de la película Ratatouille de Pixar , aparece un sello que etiqueta la película como "Animación 100% pura - ¡Sin captura de movimiento!"
Desde 2001, la captura de movimiento se utiliza ampliamente para simular o aproximar el aspecto del cine de acción en vivo, con modelos de personajes digitales casi fotorrealistas . El Polar Express utilizó la captura de movimiento para permitir que Tom Hanks actuara como varios personajes digitales distintos (en los que también proporcionó las voces). La adaptación de 2007 de la saga Beowulf animó personajes digitales cuyas apariciones se basaron en parte en los actores que proporcionaron sus movimientos y voces. El muy popular Avatar de James Cameron utilizó esta técnica para crear los Na'vi que habitan en Pandora. The Walt Disney Company ha producido Robert Zemeckis 's Un cuento de Navidad usando esta técnica. En 2007, Disney adquirió ImageMovers Digital de Zemeckis (que produce películas de captura de movimiento), pero luego la cerró en 2011, después de un fracaso de taquilla de Mars Needs Moms .
Las series de televisión producidas en su totalidad con animación de captura de movimiento incluyen Laflaque en Canadá, Sprookjesboom y Cafe de Wereld [ nl ] en los Países Bajos y Headcases en el Reino Unido.
Los proveedores de realidad virtual y realidad aumentada , como uSens y Gestigon , permiten a los usuarios interactuar con contenido digital en tiempo real mediante la captura de movimientos de las manos. Esto puede ser útil para entrenar simulaciones, pruebas de percepción visual o realizar recorridos virtuales en un entorno 3D. La tecnología de captura de movimiento se utiliza con frecuencia en los sistemas de marionetas digitales para impulsar personajes generados por computadora en tiempo real.
El análisis de la marcha es una aplicación de la captura de movimiento en la medicina clínica . Las técnicas permiten a los médicos evaluar el movimiento humano a través de varios factores biomecánicos, a menudo mientras transmiten esta información en vivo a un software analítico.
Algunas clínicas de fisioterapia utilizan la captura de movimiento como una forma objetiva de cuantificar el progreso del paciente. [19]
Durante el rodaje de Avatar de James Cameron, todas las escenas que implican este proceso se dirigieron en tiempo real utilizando el software Autodesk MotionBuilder para renderizar una imagen de pantalla que permitió al director y al actor ver cómo se verían en la película, lo que facilitó la dirección. la película tal como la verá el espectador. Este método permitía vistas y ángulos que no eran posibles a partir de una animación renderizada previamente. Cameron estaba tan orgulloso de sus resultados que invitó a Steven Spielberg y George Lucas al set para ver el sistema en acción.
En Marvel's The Avengers , Mark Ruffalo usó la captura de movimiento para poder interpretar a su personaje Hulk , en lugar de que solo sea CGI como en películas anteriores, lo que convierte a Ruffalo en el primer actor en interpretar las versiones humana y Hulk de Bruce Banner.
El software FaceRig utiliza la tecnología de reconocimiento facial de ULSee.Inc para mapear las expresiones faciales de un jugador y la tecnología de seguimiento corporal de Perception Neuron para mapear el movimiento del cuerpo en el movimiento de un personaje en 3D o 2D en pantalla. [20] [21]
Durante la Game Developers Conference 2016 en San Francisco, Epic Games demostró la captura de movimiento de cuerpo completo en vivo en Unreal Engine. Toda la escena, del próximo juego Hellblade sobre una mujer guerrera llamada Senua, fue renderizada en tiempo real. La nota clave [22] fue una colaboración entre Unreal Engine , Ninja Theory , 3Lateral , Cubic Motion , IKinema y Xsens .
Métodos y sistemas
El seguimiento de movimiento o captura de movimiento comenzó como una herramienta de análisis fotogramétrico en la investigación biomecánica en las décadas de 1970 y 1980, y se expandió a la educación, la capacitación, los deportes y, recientemente, la animación por computadora para televisión , cine y videojuegos a medida que la tecnología maduraba. Desde el siglo XX, el artista tiene que usar marcadores cerca de cada articulación para identificar el movimiento por las posiciones o ángulos entre los marcadores. Los marcadores acústicos, inerciales, LED , magnéticos o reflectantes, o combinaciones de cualquiera de estos, se rastrean, de manera óptima al menos dos veces la tasa de frecuencia del movimiento deseado. La resolución del sistema es importante tanto en la resolución espacial como en la resolución temporal, ya que el desenfoque de movimiento causa casi los mismos problemas que la baja resolución. Desde principios del siglo XXI y debido al rápido crecimiento de la tecnología se desarrollaron nuevos métodos. La mayoría de los sistemas modernos pueden extraer la silueta del artista del fondo. Posteriormente, todos los ángulos de las articulaciones se calculan ajustando un modelo matemático a la silueta. Para los movimientos en los que no puede ver un cambio de silueta, hay disponibles sistemas híbridos que pueden hacer ambas (marcador y silueta), pero con menos marcador. [ cita requerida ] En robótica, algunos sistemas de captura de movimiento se basan en localización y mapeo simultáneos . [23]
Sistemas ópticos
Los sistemas ópticos utilizan datos capturados de sensores de imagen para triangular la posición 3D de un sujeto entre dos o más cámaras calibradas para proporcionar proyecciones superpuestas. La adquisición de datos se implementa tradicionalmente utilizando marcadores especiales adjuntos a un actor; sin embargo, los sistemas más recientes pueden generar datos precisos mediante el seguimiento de las características de la superficie identificadas dinámicamente para cada sujeto en particular. El seguimiento de un gran número de artistas o la ampliación del área de captura se logra mediante la adición de más cámaras. Estos sistemas producen datos con tres grados de libertad para cada marcador, y la información de rotación debe inferirse de la orientación relativa de tres o más marcadores; por ejemplo, marcadores de hombro, codo y muñeca que proporcionan el ángulo del codo. Los sistemas híbridos más nuevos combinan sensores inerciales con sensores ópticos para reducir la oclusión, aumentar el número de usuarios y mejorar la capacidad de seguimiento sin tener que limpiar manualmente los datos [ cita requerida ] .
Marcadores pasivos
Los sistemas ópticos pasivos utilizan marcadores recubiertos con un material retrorreflectante para reflejar la luz que se genera cerca de la lente de la cámara. El umbral de la cámara se puede ajustar para que solo se muestreen los marcadores reflectantes brillantes, ignorando la piel y la tela.
El centroide del marcador se estima como una posición dentro de la imagen bidimensional que se captura. El valor de la escala de grises de cada píxel se puede utilizar para proporcionar una precisión de subpíxeles al encontrar el centroide del gaussiano .
Se utiliza un objeto con marcadores colocados en posiciones conocidas para calibrar las cámaras y obtener sus posiciones y se mide la distorsión de la lente de cada cámara. Si dos cámaras calibradas ven un marcador, se puede obtener una corrección tridimensional. Normalmente, un sistema constará de alrededor de 2 a 48 cámaras. Existen sistemas de más de trescientas cámaras para intentar reducir el intercambio de marcadores. Se requieren cámaras adicionales para una cobertura completa alrededor del sujeto capturado y múltiples sujetos.
Los proveedores tienen un software de restricción para reducir el problema del intercambio de marcadores, ya que todos los marcadores pasivos parecen idénticos. A diferencia de los sistemas de marcadores activos y los sistemas magnéticos, los sistemas pasivos no requieren que el usuario use cables o equipos electrónicos. [24] En cambio, cientos de pelotas de goma se unen con cinta reflectante, que debe reemplazarse periódicamente. Los marcadores generalmente se adhieren directamente a la piel (como en biomecánica), o se sujetan con velcro a un artista que lleva un traje de spandex / lycra de cuerpo entero diseñado específicamente para la captura de movimiento . Este tipo de sistema puede capturar una gran cantidad de marcadores a velocidades de cuadro que generalmente rondan los 120 a 160 fps, aunque al reducir la resolución y rastrear una región de interés más pequeña, pueden rastrear hasta 10000 fps.
Marcador activo
Los sistemas ópticos activos triangulan posiciones iluminando un LED a la vez muy rápidamente o varios LED con software para identificarlos por sus posiciones relativas, algo parecido a la navegación celeste. En lugar de reflejar la luz generada externamente, los marcadores mismos se alimentan para emitir su propia luz. Dado que la ley del cuadrado inverso proporciona un cuarto de la potencia a dos veces la distancia, esto puede aumentar las distancias y el volumen de captura. Esto también permite una alta relación señal / ruido, lo que da como resultado una fluctuación de marcador muy baja y una alta resolución de medición resultante (a menudo hasta 0,1 mm dentro del volumen calibrado).
La serie de televisión Stargate SG1 produjo episodios utilizando un sistema óptico activo para los efectos visuales, lo que le permitió al actor caminar alrededor de accesorios que dificultarían la captura de movimiento para otros sistemas ópticos no activos. [ cita requerida ]
ILM usó marcadores activos en Van Helsing para permitir la captura de las novias voladoras de Drácula en conjuntos muy grandes similares al uso de marcadores activos de Weta en Rise of the Planet of the Apes . La potencia de cada marcador se puede proporcionar secuencialmente en fase con el sistema de captura proporcionando una identificación única de cada marcador para un cuadro de captura dado a un costo para la velocidad de cuadro resultante. La capacidad de identificar cada marcador de esta manera es útil en aplicaciones en tiempo real. El método alternativo para identificar marcadores es hacerlo algorítmicamente, lo que requiere un procesamiento adicional de los datos.
También hay posibilidades de encontrar la posición mediante el uso de marcadores LED de colores. En estos sistemas, cada color se asigna a un punto específico del cuerpo.
Uno de los primeros sistemas de marcadores activos en la década de 1980 fue un sistema de mocap híbrido pasivo-activo con espejos giratorios y marcadores reflectantes de vidrio coloreado y que utilizaba detectores de matriz lineal enmascarados.
Marcador activo modulado en tiempo
Los sistemas de marcadores activos se pueden refinar aún más mediante el estroboscopio de un marcador a la vez o el seguimiento de varios marcadores a lo largo del tiempo y modulando la amplitud o el ancho del pulso para proporcionar la identificación del marcador. Los sistemas modulados con resolución espacial de 12 megapíxeles muestran movimientos más sutiles que los sistemas ópticos de 4 megapíxeles al tener una resolución espacial y temporal más alta. Los directores pueden ver la actuación de los actores en tiempo real y ver los resultados del personaje CG impulsado por captura de movimiento. Los identificadores de marcadores únicos reducen el tiempo de respuesta, ya que eliminan el intercambio de marcadores y proporcionan datos mucho más limpios que otras tecnologías. Los LED con procesamiento integrado y sincronización de radio permiten la captura de movimiento en exteriores bajo la luz solar directa, mientras captura de 120 a 960 cuadros por segundo debido a un obturador electrónico de alta velocidad. El procesamiento por computadora de las identificaciones moduladas permite menos limpieza manual o resultados filtrados para reducir los costos operativos. Esta mayor precisión y resolución requiere más procesamiento que las tecnologías pasivas, pero el procesamiento adicional se realiza en la cámara para mejorar la resolución a través de un procesamiento de subpíxeles o centroide, proporcionando alta resolución y alta velocidad. Estos sistemas de captura de movimiento cuestan típicamente $ 20,000 por un sistema de ocho cámaras, 12 megapíxeles de resolución espacial y 120 hercios con un actor.
Marcador imperceptible semi-pasivo
Se puede invertir el enfoque tradicional basado en cámaras de alta velocidad. Los sistemas como Prakash utilizan proyectores de alta velocidad multi-LED de bajo costo. Los proyectores IR multi-LED especialmente construidos codifican ópticamente el espacio. En lugar de marcadores de diodos emisores de luz (LED) retrorreflectantes o activos, el sistema utiliza etiquetas de marcadores fotosensibles para decodificar las señales ópticas. Al adjuntar etiquetas con fotosensores a los puntos de la escena, las etiquetas pueden calcular no solo sus propias ubicaciones de cada punto, sino también su propia orientación, iluminación incidente y reflectancia.
Estas etiquetas de seguimiento funcionan en condiciones de iluminación natural y pueden incrustarse imperceptiblemente en la ropa u otros objetos. El sistema admite un número ilimitado de etiquetas en una escena, con cada etiqueta identificada de forma única para eliminar problemas de readquisición de marcadores. Dado que el sistema elimina una cámara de alta velocidad y el correspondiente flujo de imágenes de alta velocidad, requiere un ancho de banda de datos significativamente menor. Las etiquetas también proporcionan datos de iluminación incidente que se pueden utilizar para igualar la iluminación de la escena al insertar elementos sintéticos. La técnica parece ideal para la captura de movimiento en el set o la transmisión en tiempo real de escenarios virtuales, pero aún no se ha probado.
Sistema de captura de movimiento subacuático
La tecnología de captura de movimiento ha estado disponible para investigadores y científicos durante algunas décadas, lo que ha brindado nuevos conocimientos sobre muchos campos.
Cámaras submarinas
La parte vital del sistema, la cámara subacuática, tiene una carcasa impermeable. La carcasa tiene un acabado resistente a la corrosión y al cloro que la hace perfecta para su uso en lavabos y piscinas. Hay dos tipos de cámaras. Las cámaras industriales de alta velocidad también se pueden utilizar como cámaras de infrarrojos. Las cámaras subacuáticas infrarrojas vienen con una luz estroboscópica cian en lugar de la luz IR típica, para una caída mínima bajo el agua y el cono de las cámaras de alta velocidad con una luz LED o con la opción de usar procesamiento de imágenes.
Volumen de medida
Una cámara subacuática suele medir entre 15 y 20 metros, según la calidad del agua, la cámara y el tipo de marcador utilizado. Como era de esperar, el mejor alcance se logra cuando el agua es clara y, como siempre, el volumen de medición también depende del número de cámaras. Hay disponible una gama de marcadores subacuáticos para diferentes circunstancias.
A la medida
Las diferentes piscinas requieren diferentes montajes y accesorios. Por lo tanto, todos los sistemas de captura de movimiento subacuáticos están diseñados de manera única para adaptarse a cada instalación específica de la piscina. Para las cámaras colocadas en el centro de la piscina, se proporcionan trípodes especialmente diseñados, que utilizan ventosas.
Sin marcador
Las nuevas técnicas y la investigación en visión por computadora están conduciendo al rápido desarrollo del enfoque sin marcadores para la captura de movimiento. Los sistemas sin marcadores, como los desarrollados en la Universidad de Stanford , la Universidad de Maryland , MIT y el Instituto Max Planck , no requieren que los sujetos usen equipos especiales para el seguimiento. Los algoritmos informáticos especiales están diseñados para permitir que el sistema analice múltiples flujos de entrada óptica e identifique formas humanas, dividiéndolas en partes constituyentes para su seguimiento. ESC Entertainment , una subsidiaria de Warner Brothers Pictures creada especialmente para permitir la cinematografía virtual , que incluye imágenes digitales fotorrealistas para filmar películas de Matrix Reloaded y Matrix Revolutions , utilizó una técnica llamada Universal Capture que utilizó la configuración de 7 cámaras y el seguimiento del flujo óptico. de todos los píxeles en todos los planos 2-D de las cámaras para la captura de movimientos, gestos y expresiones faciales que conducen a resultados fotorrealistas.
Sistemas tradicionales
Tradicionalmente, el seguimiento de movimiento óptico sin marcadores se utiliza para realizar un seguimiento de varios objetos, incluidos aviones, vehículos de lanzamiento, misiles y satélites. Muchas de estas aplicaciones de seguimiento de movimiento óptico se producen al aire libre, lo que requiere diferentes configuraciones de lentes y cámaras. Las imágenes de alta resolución del objetivo que se está rastreando pueden proporcionar más información que solo datos de movimiento. La imagen obtenida del sistema de seguimiento de largo alcance de la NASA en el lanzamiento fatal del transbordador espacial Challenger proporcionó evidencia crucial sobre la causa del accidente. Los sistemas de seguimiento óptico también se utilizan para identificar naves espaciales conocidas y desechos espaciales a pesar de que tiene una desventaja en comparación con el radar en el sentido de que los objetos deben reflejar o emitir suficiente luz. [25]
Un sistema de seguimiento óptico normalmente consta de tres subsistemas: el sistema de imágenes ópticas, la plataforma de seguimiento mecánico y la computadora de seguimiento.
El sistema de imágenes ópticas es responsable de convertir la luz del área objetivo en una imagen digital que la computadora de seguimiento puede procesar. Dependiendo del diseño del sistema de seguimiento óptico, el sistema de imágenes ópticas puede variar desde tan simple como una cámara digital estándar hasta tan especializado como un telescopio astronómico en la cima de una montaña. La especificación del sistema de formación de imágenes ópticas determina el límite superior del alcance efectivo del sistema de seguimiento.
La plataforma de seguimiento mecánico sostiene el sistema de imágenes ópticas y es responsable de manipular el sistema de imágenes ópticas de tal manera que siempre apunte al objetivo que se está rastreando. La dinámica de la plataforma de seguimiento mecánico combinada con el sistema de imágenes ópticas determina la capacidad del sistema de seguimiento para mantener el bloqueo en un objetivo que cambia de velocidad rápidamente.
La computadora de seguimiento es responsable de capturar las imágenes del sistema de imágenes ópticas, analizar la imagen para extraer la posición del objetivo y controlar la plataforma de seguimiento mecánico para seguir al objetivo. Hay varios desafíos. Primero, la computadora de seguimiento debe poder capturar la imagen a una velocidad de cuadro relativamente alta. Esto publica un requisito sobre el ancho de banda del hardware de captura de imágenes. El segundo desafío es que el software de procesamiento de imágenes debe poder extraer la imagen de destino de su fondo y calcular su posición. Varios algoritmos de procesamiento de imágenes de libros de texto están diseñados para esta tarea. Este problema se puede simplificar si el sistema de seguimiento puede esperar ciertas características que son comunes en todos los objetivos que rastreará. El siguiente problema en la línea es controlar la plataforma de seguimiento para seguir al objetivo. Este es un problema típico de diseño del sistema de control más que un desafío, que implica modelar la dinámica del sistema y diseñar controladores para controlarlo. Sin embargo, esto se convertirá en un desafío si la plataforma de seguimiento con la que tiene que trabajar el sistema no está diseñada para tiempo real.
El software que ejecuta dichos sistemas también se personaliza para los componentes de hardware correspondientes. Un ejemplo de dicho software es OpticTracker, que controla telescopios computarizados para rastrear objetos en movimiento a grandes distancias, como aviones y satélites. Otra opción es el software SimiShape, que también se puede utilizar híbrido en combinación con marcadores.
Sistemas no ópticos
Sistemas inerciales
La tecnología de captura de movimiento inercial [26] se basa en sensores inerciales en miniatura, modelos biomecánicos y algoritmos de fusión de sensores. [27] Los datos de movimiento de los sensores inerciales ( sistema de guía inercial ) a menudo se transmiten de forma inalámbrica a una computadora, donde se registra o visualiza el movimiento. La mayoría de los sistemas inerciales utilizan unidades de medición inerciales (IMU) que contienen una combinación de giroscopio, magnetómetro y acelerómetro para medir las velocidades de rotación. Estas rotaciones se traducen en un esqueleto en el software. Al igual que los marcadores ópticos, cuantos más sensores IMU, más naturales serán los datos. No se necesitan cámaras, emisores o marcadores externos para movimientos relativos, aunque se requieren para dar la posición absoluta del usuario si se desea. Los sistemas de captura de movimiento inercial capturan los seis grados de libertad del movimiento corporal de un ser humano en tiempo real y pueden proporcionar información de dirección limitada si incluyen un sensor de orientación magnética, aunque estos tienen una resolución mucho más baja y son susceptibles al ruido electromagnético. Los beneficios de usar sistemas inerciales incluyen: captura en una variedad de entornos, incluidos espacios reducidos, sin resolución, portabilidad y grandes áreas de captura. Las desventajas incluyen una menor precisión posicional y una deriva posicional que puede agravarse con el tiempo. Estos sistemas son similares a los controladores de Wii, pero son más sensibles y tienen mayor resolución y tasas de actualización. Pueden medir con precisión la dirección al suelo dentro de un grado. La popularidad de los sistemas inerciales está aumentando entre los desarrolladores de juegos, [10] principalmente debido a la rápida y fácil configuración que resulta en un proceso rápido. Actualmente, varios fabricantes ofrecen una gama de trajes y los precios básicos oscilan entre los 1.000 y los 80.000 dólares estadounidenses.
Movimiento mecanico
Los sistemas de captura de movimiento mecánico rastrean directamente los ángulos de las articulaciones del cuerpo y, a menudo, se denominan sistemas de captura de movimiento del exoesqueleto, debido a la forma en que los sensores están conectados al cuerpo. Un intérprete une la estructura esquelética a su cuerpo y, a medida que se mueven, también lo hacen las partes mecánicas articuladas, midiendo el movimiento relativo del intérprete. Los sistemas de captura de movimiento mecánicos son en tiempo real, de costo relativamente bajo, libres de oclusión e inalámbricos (sin ataduras) que tienen un volumen de captura ilimitado. Por lo general, son estructuras rígidas de varillas de plástico o metal rectas unidas entre sí con potenciómetros que se articulan en las articulaciones del cuerpo. Estos trajes tienden a estar en el rango de $ 25,000 a $ 75,000 más un sistema de posicionamiento absoluto externo. Algunos trajes proporcionan retroalimentación de fuerza limitada o entrada háptica .
Sistemas magnéticos
Los sistemas magnéticos calculan la posición y la orientación mediante el flujo magnético relativo de tres bobinas ortogonales tanto en el transmisor como en cada receptor. [28] La intensidad relativa del voltaje o la corriente de las tres bobinas permite que estos sistemas calculen tanto el rango como la orientación mapeando meticulosamente el volumen de seguimiento. La salida del sensor es 6DOF , que proporciona resultados útiles obtenidos con dos tercios del número de marcadores requeridos en los sistemas ópticos; uno en la parte superior del brazo y otro en la parte inferior del brazo para la posición y el ángulo del codo. [ cita requerida ] Los marcadores no están ocluidos por objetos no metálicos, pero son susceptibles a la interferencia magnética y eléctrica de objetos metálicos en el entorno, como barras de refuerzo (barras de refuerzo de acero en concreto) o cableado, que afectan el campo magnético y fuentes eléctricas como monitores, luces, cables y computadoras. La respuesta del sensor no es lineal, especialmente hacia los bordes del área de captura. El cableado de los sensores tiende a evitar movimientos de rendimiento extremos. [28] Con los sistemas magnéticos, es posible monitorear los resultados de una sesión de captura de movimiento en tiempo real. [28] Los volúmenes de captura de los sistemas magnéticos son dramáticamente más pequeños que los de los sistemas ópticos. Con los sistemas magnéticos, hay una distinción entre los sistemas de corriente alterna (CA) y los de corriente continua (CC): el sistema de CC utiliza pulsos cuadrados, los sistemas de CA utilizan pulsos de onda sinusoidal.
Sensores de estiramiento
Los sensores de estiramiento son condensadores de placas paralelas flexibles que miden estiramiento, flexión, cizallamiento o presión y generalmente se producen a partir de silicona. Cuando el sensor se estira o aprieta, su valor de capacitancia cambia. Estos datos se pueden transmitir a través de Bluetooth o entrada directa y se pueden utilizar para detectar cambios mínimos en el movimiento del cuerpo. Los sensores de estiramiento no se ven afectados por la interferencia magnética y están libres de oclusión. La naturaleza elástica de los sensores también significa que no sufren deriva posicional, que es común con los sistemas inerciales.
Técnicas relacionadas
Captura de movimiento facial
La mayoría de los proveedores de hardware de captura de movimiento tradicionales ofrecen algún tipo de captura facial de baja resolución utilizando entre 32 y 300 marcadores con un sistema de marcadores activo o pasivo. Todas estas soluciones están limitadas por el tiempo que lleva aplicar los marcadores, calibrar las posiciones y procesar los datos. En última instancia, la tecnología también limita su resolución y los niveles de calidad de salida sin procesar.
La captura de movimiento facial de alta fidelidad, también conocida como captura de rendimiento , es la próxima generación de fidelidad y se utiliza para registrar los movimientos más complejos en un rostro humano con el fin de capturar mayores grados de emoción. La captura facial se está organizando actualmente en varios campos distintos, que incluyen datos de captura de movimiento tradicionales, soluciones basadas en formas de mezcla, captura de la topología real de la cara de un actor y sistemas patentados.
Las dos técnicas principales son sistemas estacionarios con una serie de cámaras que capturan las expresiones faciales desde múltiples ángulos y utilizan software como el solucionador de malla estéreo de OpenCV para crear una malla de superficie 3D, o utilizar matrices de luz también para calcular las normales de superficie a partir de la variación en el brillo a medida que se cambia la fuente de luz, la posición de la cámara o ambas. Estas técnicas tienden a estar limitadas únicamente en la resolución de funciones por la resolución de la cámara, el tamaño aparente del objeto y el número de cámaras. Si el rostro del usuario es el 50 por ciento del área de trabajo de la cámara y una cámara tiene una resolución de megapíxeles, los movimientos faciales submilimétricos se pueden detectar comparando fotogramas. El trabajo reciente se centra en aumentar las velocidades de fotogramas y hacer un flujo óptico para permitir que los movimientos se redireccionen a otras caras generadas por computadora, en lugar de simplemente hacer una malla 3D del actor y sus expresiones.
Posicionamiento RF
Los sistemas de posicionamiento de RF (radiofrecuencia) se están volviendo más viables [ cita requerida ] ya que los dispositivos de RF de mayor frecuencia permiten una mayor precisión que las tecnologías de RF más antiguas, como el radar tradicional . La velocidad de la luz es de 30 centímetros por nanosegundo (mil millonésimas de segundo), por lo que una señal de RF de 10 gigahercios (mil millones de ciclos por segundo) permite una precisión de unos 3 centímetros. Midiendo la amplitud a un cuarto de longitud de onda, es posible mejorar la resolución hasta aproximadamente 8 mm. Para lograr la resolución de los sistemas ópticos, se necesitan frecuencias de 50 gigahercios o más, que dependen casi tanto de la línea de visión y son tan fáciles de bloquear como los sistemas ópticos. Es probable que la multitrayectoria y la reradiación de la señal causen problemas adicionales, pero estas tecnologías serán ideales para rastrear volúmenes más grandes con una precisión razonable, ya que es probable que la resolución requerida a distancias de 100 metros no sea tan alta. Muchos científicos de RF [ ¿quién? ] creen que la radiofrecuencia nunca producirá la precisión requerida para la captura de movimiento.
Investigadores del Instituto de Tecnología de Massachusetts dijeron en 2015 que habían creado un sistema que rastrea el movimiento mediante señales de RF, llamado Seguimiento de RF. [29]
Sistemas no tradicionales
Se desarrolló un enfoque alternativo en el que al actor se le da un área ilimitada para caminar mediante el uso de una esfera giratoria, similar a una bola de hámster , que contiene sensores internos que registran los movimientos angulares, eliminando la necesidad de cámaras externas y otros equipos. Aunque esta tecnología podría conducir a costos mucho más bajos para la captura de movimiento, la esfera básica solo es capaz de grabar una única dirección continua. Se necesitarían sensores adicionales usados en la persona para registrar algo más.
Otra alternativa es utilizar una plataforma de movimiento 6DOF (grados de libertad) con una cinta de correr omnidireccional integrada con captura de movimiento óptico de alta resolución para lograr el mismo efecto. La persona capturada puede caminar en un área ilimitada, negociando diferentes terrenos accidentados. Las aplicaciones incluyen rehabilitación médica para el entrenamiento del equilibrio, investigación biomecánica y realidad virtual. [ cita requerida ]
Estimación de pose 3D
En la estimación de pose 3D, la pose de un actor se puede reconstruir a partir de una imagen o mapa de profundidad . [30]
Ver también
- Base de datos de animación
- Reconocimiento de gestos
- Seguimiento de dedos
- Cinemática inversa (una forma diferente de hacer que los efectos CGI sean realistas)
- Kinect (creado por Microsoft Corporation)
- Lista de formatos de archivo de movimientos y gestos
- Actuación de captura de movimiento
- Seguimiento de video
- Seguimiento posicional VR
Referencias
- ^ Goebl, W .; Palmer, C. (2013). Balasubramaniam, Ramesh (ed.). "Control temporal y eficiencia del movimiento de la mano en la interpretación musical especializada" . PLoS ONE . 8 (1): e50901. Código bibliográfico : 2013PLoSO ... 850901G . doi : 10.1371 / journal.pone.0050901 . PMC 3536780 . PMID 23300946 .
- ^ Olsen, NL; Markussen, B; Raket, LL (2018), "Inferencia simultánea para datos funcionales multivariados desalineados", Journal of the Royal Statistical Society Series C , 67 (5): 1147–76, arXiv : 1606.03295 , doi : 10.1111 / rssc.12276
- ^ David Noonan, Peter Mountney, Daniel Elson, Ara Darzi y Guang-Zhong Yang. Un fibroscopio estereoscópico para el movimiento de la cámara y la recuperación de profundidad 3D durante una cirugía mínimamente invasiva. En proc ICRA 2009, págs. 4463–68. http://www.sciweavers.org/external.php?u=http%3A%2F%2Fwww.doc.ic.ac.uk%2F%7Epmountne%2Fpublications%2FICRA%25202009.pdf&p=ieee
- ^ Yamane, Katsu y Jessica Hodgins. " Seguimiento y equilibrio simultáneo de robots humanoides para imitar datos de captura de movimiento humano ". Robots y sistemas inteligentes, 2009. IROS 2009. Conferencia internacional IEEE / RSJ sobre. IEEE, 2009.
- ^ NY Castings, Joe Gatt, Motion Capture Actors: Body Movement Tells the Story Archivado el 3 de julio de 2014 en Wayback Machine , consultado el 21 de junio de 2014
- ^ Andrew Harris Salomon, 22 de febrero de 2013, Backstage Magazine, Growth in Performance Capture Helping Gaming Actors Weather Slump , Consultado el 21 de junio de 2014, "... Pero se esperan desarrollos en la tecnología de captura de movimiento, así como nuevas consolas de juegos de Sony y Microsoft dentro del año, indican que este nicho sigue siendo un área de crecimiento para los actores. Y para aquellos que han pensado en irrumpir, el mensaje es claro: ocúpese .... "
- ^ Ben Child, 12 de agosto de 2011, The Guardian, Andy Serkis: ¿por qué los Oscar no se vuelven locos por la actuación de captura de movimiento? Star of Rise of the Planet of the Apes dice que la captura de la interpretación se malinterpreta y que sus actores merecen más respeto .
- ^ Hugh Hart, 24 de enero de 2012, revista Wired, ¿ Cuándo ganará un Oscar un actor de captura de movimiento? , Consultado el 21 de junio de 2014, "... la renuencia histórica de la Academia de Artes y Ciencias Cinematográficas a honrar las interpretaciones de captura de movimiento ... Serkis, vestido con un traje de lycra con sensor integrado, dominó rápidamente el arte novedoso y ciencia de la actuación de captura de rendimiento ... "
- ^ Cheung, German KM, et al. " Un sistema en tiempo real para la reconstrucción robusta de vóxeles en 3D de los movimientos humanos ". Visión por computadora y reconocimiento de patrones, 2000. Actas. Conferencia IEEE sobre. Vol. 2. IEEE, 2000.
- ^ a b "Xsens MVN Animate - Productos" . Seguimiento de movimiento Xsens 3D . Consultado el 22 de enero de 2019 .
- ^ "La próxima generación 1996 Lexicon A to Z: Motion Capture". Próxima Generación . No. 15. Imagine Media . Marzo de 1996. p. 37.
- ^ "Captura de movimiento". Próxima Generación . Imagine Media (10): 50. Octubre de 1995.
- ^ Jon Radoff, Anatomía de un MMORPG, "Copia archivada" . Archivado desde el original el 13 de diciembre de 2009 . Consultado el 30 de noviembre de 2009 .CS1 maint: copia archivada como título ( enlace )
- ^ a b "¡Hurra por Hollywood! Acclaim Studios". GamePro . IDG (82): 28-29. Julio de 1995.
- ^ Mason, Graeme. "Juegos de Martech - la personalidad de la gente" . Jugador retro . No. 133. pág. 51.
- ^ Wawro, Alex (23 de octubre de 2014). "Yu Suzuki recuerda el uso de tecnología militar para hacer Virtua Fighter 2" . Gamasutra . Consultado el 18 de agosto de 2016 .
- ^ "Historia de la captura de movimiento" . Motioncapturesociety.com. Archivado desde el original el 23 de octubre de 2018 . Consultado el 10 de agosto de 2013 .
- ^ Savage, Annaliza (12 de julio de 2012). "Actor de Gollum: cómo la nueva tecnología de captura de movimiento mejoró el Hobbit" . Cableado . Consultado el 29 de enero de 2017 .
- ^ "Captura de movimiento sin marcadores | EuMotus" . Captura de movimiento sin marcadores | EuMotus . Consultado el 12 de octubre de 2018 .
- ^ Corriea, Alexa Ray (30 de junio de 2014). "Este software de reconocimiento facial te deja ser Octodad" . Consultado el 4 de enero de 2017 , a través de www.polygon.com.
- ^ Plunkett, Luke. "Convierte tu rostro humano en un personaje de videojuego" . kotaku.com . Consultado el 4 de enero de 2017 .
- ^ "Pon tu cara de juego (digital)" . fxguide.com . 24 de abril de 2016 . Consultado el 4 de enero de 2017 .
- ^ Sturm, Jürgen y col. " Un punto de referencia para la evaluación de sistemas SLAM RGB-D ". Robots y sistemas inteligentes (IROS), Conferencia internacional IEEE / RSJ de 2012 sobre. IEEE, 2012.
- ^ "Captura de movimiento: sistemas ópticos". Próxima Generación . Imagine Media (10): 53. Octubre de 1995.
- ^ Veis, G. (1963). "Seguimiento óptico de satélites artificiales". Reseñas de ciencia espacial . 2 (2): 250-296. Código Bibliográfico : 1963SSRv .... 2..250V . doi : 10.1007 / BF00216781 .
- ^ "Seguimiento completo del movimiento humano 6DOF utilizando sensores inerciales en miniatura" (PDF) .
- ^ "Una historia de captura de movimiento" . Seguimiento de movimiento Xsens 3D . Consultado el 22 de enero de 2019 .
- ^ a b c "Captura de movimiento: sistemas magnéticos". Próxima Generación . Imagine Media (10): 51. Octubre de 1995.
- ^ Alba, Alejandro. "Los investigadores del MIT crean un dispositivo que puede reconocer y rastrear a las personas a través de las paredes" . nydailynews.com . Consultado el 9 de diciembre de 2019 .
- ^ Ye, Mao, et al. " Estimación precisa de la pose en 3D a partir de una sola imagen de profundidad ". 2011 Congreso Internacional de Visión por Computador. IEEE, 2011.
enlaces externos
- La fascinación por la captura de movimiento , una introducción a la historia de la tecnología de captura de movimiento
