En la realidad virtual (VR), el seguimiento posicional detecta la posición precisa de las pantallas montadas en la cabeza , los controladores, otros objetos o partes del cuerpo dentro del espacio euclidiano.. Debido a que el propósito de la realidad virtual es emular las percepciones de la realidad, es primordial que el seguimiento posicional sea exacto y preciso para no romper la ilusión del espacio tridimensional. Para lograrlo, se han desarrollado varios métodos de seguimiento de la posición y orientación (cabeceo, guiñada y balanceo) de la pantalla y cualquier objeto o dispositivo asociado. Todos dichos métodos utilizan sensores que registran repetidamente señales de transmisores en o cerca de los objetos rastreados, y luego envían esos datos a la computadora para mantener una aproximación de sus ubicaciones físicas. En general, estas ubicaciones físicas se identifican y definen utilizando uno o más de tres sistemas de coordenadas: el sistema rectilíneo cartesiano, el sistema polar esférico y el sistema cilíndrico. También se han diseñado muchas interfaces para monitorear y controlar el movimiento de uno dentro y la interacción con el espacio virtual 3D; dichas interfaces deben trabajar en estrecha colaboración con los sistemas de seguimiento posicional para proporcionar una experiencia de usuario perfecta.[1]
Seguimiento inalámbrico
El rastreo inalámbrico utiliza un conjunto de anclajes que se colocan alrededor del perímetro del espacio de rastreo y una o más etiquetas que se rastrean. Este sistema es similar en concepto al GPS, pero funciona tanto en interiores como en exteriores. A veces denominado GPS interior. Las etiquetas triangulan su posición 3D utilizando los anclajes colocados alrededor del perímetro. Una tecnología inalámbrica llamada Ultra Wideband ha permitido que el seguimiento de la posición alcance una precisión de menos de 100 mm. Al utilizar la fusión de sensores y los algoritmos de alta velocidad, la precisión de seguimiento puede alcanzar un nivel de 5 mm con velocidades de actualización de 200 Hz o 5 ms de latencia .
Pros :
- El usuario experimenta movimiento sin restricciones [2]
- Permite un rango de movimiento más amplio
Contras :
- La frecuencia de muestreo baja puede disminuir la precisión
- Tasa de baja latencia (definir) en relación con otros sensores
Seguimiento óptico
El seguimiento óptico utiliza cámaras colocadas en o alrededor de los auriculares para determinar la posición y la orientación según los algoritmos de visión por computadora . Este método se basa en el mismo principio que la visión humana estereoscópica . Cuando una persona mira un objeto con visión binocular, es capaz de definir aproximadamente a qué distancia se coloca el objeto debido a la diferencia de perspectiva entre los dos ojos. En el seguimiento óptico, las cámaras se calibran para determinar la distancia al objeto y su posición en el espacio. Los sistemas ópticos son fiables y relativamente económicos, pero pueden resultar difíciles de calibrar. Además, el sistema requiere una línea de luz directa sin oclusiones, de lo contrario recibirá datos incorrectos.
El seguimiento óptico se puede realizar con o sin marcadores. El seguimiento con marcadores implica objetivos con patrones conocidos que sirvan como puntos de referencia, y las cámaras buscan constantemente estos marcadores y luego utilizan varios algoritmos (por ejemplo, el algoritmo POSIT ) para extraer la posición del objeto. Los marcadores pueden ser visibles, como los códigos QR impresos , pero muchos utilizan luz infrarroja (IR) que solo pueden captar las cámaras. Las implementaciones activas cuentan con marcadores con luces LED IR incorporadas que pueden encenderse y apagarse para sincronizarse con la cámara, lo que facilita el bloqueo de otras luces IR en el área de seguimiento. [3] Las implementaciones pasivas son retrorreflectores que reflejan la luz IR hacia la fuente con poca dispersión. El seguimiento sin marcadores no requiere ningún objetivo pre-colocado, sino que utiliza las características naturales del entorno circundante para determinar la posición y la orientación. [4]
Seguimiento de afuera hacia adentro
En este método, las cámaras se colocan en ubicaciones estacionarias en el entorno para rastrear la posición de los marcadores en el dispositivo rastreado, como una pantalla montada en la cabeza o controladores. Tener varias cámaras permite diferentes vistas de los mismos marcadores, y esta superposición permite lecturas precisas de la posición del dispositivo. [3] El Oculus Rift original utiliza esta técnica, colocando una constelación de LED de infrarrojos en sus auriculares y controladores para permitir que las cámaras externas en el entorno lean sus posiciones. [5] Este método es el más maduro y tiene aplicaciones no solo en la realidad virtual, sino también en la tecnología de captura de movimiento para películas. [6] Sin embargo, esta solución tiene un espacio limitado y necesita sensores externos a la vista del dispositivo.
Pros:
- Se pueden mejorar lecturas más precisas agregando más cámaras
- Latencia más baja que el seguimiento de adentro hacia afuera [7]
Contras:
- Oclusión, las cámaras necesitan una línea de visión directa o de lo contrario el seguimiento no funcionará
- La necesidad de sensores externos significa un área de espacio de juego limitada
Seguimiento de adentro hacia afuera
En estos métodos, la cámara se coloca en el dispositivo rastreado y mira hacia afuera para determinar su ubicación en el entorno. Los auriculares que utilizan esta tecnología tienen varias cámaras orientadas en diferentes direcciones para obtener vistas de todo su entorno. Este método puede funcionar con o sin marcadores. El sistema Lighthouse utilizado por HTC Vive es un ejemplo de marcadores activos. Cada módulo Lighthouse externo contiene LED IR, así como una matriz de láser que barre en direcciones horizontales y verticales, y los sensores en los auriculares y los controladores pueden detectar estos barridos y usar los tiempos para determinar la posición. [8] [9] El seguimiento sin marcadores, como en el Oculus Quest , no requiere nada montado en el entorno exterior. Utiliza cámaras en los auriculares para un proceso llamado SLAM , o localización y mapeo simultáneos, donde se genera un mapa 3D del entorno en tiempo real. [4] Los algoritmos de aprendizaje automático luego determinan dónde se coloca el auricular dentro de ese mapa 3D, utilizando la detección de características para reconstruir y analizar su entorno. [10] [11] Esta tecnología permite que los audífonos de gama alta como Microsoft HoloLens sean autónomos, pero también abre la puerta a audífonos móviles más baratos sin la necesidad de conectarse a computadoras o sensores externos. [12]
Pros:
- Permite espacios de juego más grandes, se puede expandir para adaptarse a la habitación
- Adaptable a nuevos entornos
Contras:
- Se requiere más procesamiento a bordo
- La latencia puede ser mayor [7]
Seguimiento inercial
El seguimiento inercial utiliza datos de acelerómetros y giroscopios . Los acelerómetros miden la aceleración lineal. Dado que la derivada de la posición con respecto al tiempo es la velocidad y la derivada de la velocidad es la aceleración, la salida del acelerómetro podría integrarse para encontrar la velocidad y luego integrarse nuevamente para encontrar la posición relativa a algún punto inicial. Los giroscopios miden la velocidad angular . La velocidad angular también se puede integrar para determinar la posición angular con respecto al punto inicial. Los modernos sistemas de unidades de medida inercial (IMU) se basan en la tecnología MEMS que permite rastrear la orientación (balanceo, cabeceo, guiñada) en el espacio con altas tasas de actualización y latencia mínima. Los giroscopios siempre se utilizan para el seguimiento rotacional, pero se utilizan diferentes técnicas para el seguimiento posicional en función de factores como el costo, la facilidad de configuración y el volumen de seguimiento. [13]
La navegación a estima se utiliza para realizar un seguimiento de los datos de posición, lo que altera el entorno virtual al actualizar los cambios de movimiento del usuario. [14] La tasa de actualización y el algoritmo de predicción a estima utilizado en un sistema de realidad virtual afectan la experiencia del usuario, pero no hay consenso sobre las mejores prácticas, ya que se han utilizado muchas técnicas diferentes. [14] Es difícil confiar solo en el seguimiento inercial para determinar la posición precisa porque la navegación a estima conduce a la deriva, por lo que este tipo de seguimiento no se utiliza de forma aislada en la realidad virtual. [15] Se ha descubierto que un retraso entre el movimiento del usuario y la visualización de la realidad virtual de más de 100 ms provoca náuseas. [dieciséis]
Los sensores inerciales no solo son capaces de rastrear el movimiento de rotación (balanceo, cabeceo, guiñada), sino también el movimiento de traslación. Estos dos tipos de movimiento juntos se conocen como los Seis grados de libertad . Muchas aplicaciones de realidad virtual necesitan no solo rastrear las rotaciones de la cabeza de los usuarios, sino también cómo sus cuerpos se mueven con ellos (izquierda / derecha, adelante / atrás, arriba / abajo). [17] La capacidad de seis grados de libertad no es necesaria para todas las experiencias de realidad virtual, pero es útil cuando el usuario necesita mover cosas que no sean su cabeza.
Pros :
- Puede rastrear bien los movimientos rápidos en relación con otros sensores, y especialmente bien cuando se combina con otros sensores
- Capaz de altas tasas de actualización
Contras :
- Propenso a errores, que se acumulan rápidamente, debido a la navegación por estima
- Cualquier retraso o error de cálculo al determinar la posición puede provocar síntomas en el usuario, como náuseas o dolores de cabeza [18].
- Es posible que no pueda seguir el ritmo de un usuario que se mueve demasiado rápido [18]
- Los sensores inerciales normalmente solo se pueden utilizar en entornos de interior y de laboratorio, por lo que las aplicaciones en exteriores son limitadas [19]
Fusión de sensores
La fusión de sensores combina datos de varios algoritmos de seguimiento y puede producir mejores resultados que una sola tecnología. Una de las variantes de la fusión de sensores es fusionar el seguimiento óptico y el inercial. Estas dos técnicas se usan a menudo juntas porque, si bien los sensores inerciales son óptimos para rastrear movimientos rápidos, también acumulan errores rápidamente, y los sensores ópticos ofrecen referencias absolutas para compensar las debilidades inerciales. [13] Además, el seguimiento inercial puede compensar algunas deficiencias del seguimiento óptico. Por ejemplo, el seguimiento óptico puede ser el método de seguimiento principal, pero cuando se produce una oclusión, el seguimiento inercial estima la posición hasta que los objetos vuelven a ser visibles para la cámara óptica. El seguimiento inercial también podría generar datos de posición entre los datos de posición de seguimiento óptico porque el seguimiento inercial tiene una tasa de actualización más alta . El seguimiento óptico también ayuda a hacer frente a una deriva del seguimiento inercial. Se ha demostrado que la combinación de seguimiento óptico e inercial reduce los errores de desalineación que ocurren comúnmente cuando un usuario mueve la cabeza demasiado rápido. [18] Los avances en los sistemas magnéticos microeléctricos han hecho que el rastreo magnético / eléctrico sea más común debido a su pequeño tamaño y bajo costo. [19]
Seguimiento acústico
Los sistemas de seguimiento acústico utilizan técnicas para identificar la posición de un objeto o dispositivo similares a las que se encuentran naturalmente en los animales que utilizan la ecolocalización . De manera análoga a los murciélagos que localizan objetos usando diferencias en los tiempos de retorno de ondas sonoras a sus dos oídos, los sistemas de seguimiento acústico en la realidad virtual pueden usar conjuntos de al menos tres sensores ultrasónicos y al menos tres transmisores ultrasónicos en los dispositivos para calcular la posición y orientación de un objeto ( por ejemplo, un controlador de mano). [20] Hay dos formas de determinar la posición del objeto: medir el tiempo de vuelo de la onda de sonido desde el transmisor a los receptores o la coherencia de fase de la onda de sonido sinusoidal al recibir la transferencia.
Métodos de tiempo de vuelo
Dado un conjunto de tres sensores (o receptores) no colineales con distancias entre ellos d 1 y d 2 , así como los tiempos de viaje de una onda de sonido ultrasónica (una onda con frecuencia superior a 20 kHz) desde un transmisor a esos tres receptores, el La posición cartesiana relativa del transmisor se puede calcular de la siguiente manera:
Aquí, cada l i representa la distancia desde el transmisor a cada uno de los tres receptores, calculada en base al tiempo de viaje de la onda ultrasónica usando la ecuación l = ct us . La constante c denota la velocidad del sonido, que es igual a 343,2 m / s en aire seco a una temperatura de 20ºC. Debido a que se requieren al menos tres receptores, estos cálculos se conocen comúnmente como triangulación .
Más allá de su posición, determinar la orientación de un dispositivo (es decir, su grado de rotación en todas las direcciones) requiere que se conozcan al menos tres puntos no colineales en el objeto rastreado, lo que exige que el número de transmisores ultrasónicos sea al menos tres por dispositivo rastreado, además de la tres receptores antes mencionados. Los transmisores emiten ondas ultrasónicas en secuencia hacia los tres receptores, que luego pueden usarse para derivar datos espaciales en los tres transmisores usando los métodos descritos anteriormente. La orientación del dispositivo puede entonces derivarse basándose en el posicionamiento conocido de los transmisores sobre el dispositivo y sus ubicaciones espaciales entre sí. [21]
Métodos coherentes de fase
A diferencia de los métodos TOF, los métodos de seguimiento de fase coherente (PC) también se han utilizado para localizar objetos acústicamente. El rastreo de PC implica comparar la fase de la onda de sonido actual recibida por los sensores con la de una señal de referencia anterior, de modo que se pueda determinar el cambio relativo en la posición de los transmisores a partir de la última medición. Debido a que este método opera solo en los cambios observados en los valores de posición y no en las mediciones absolutas, cualquier error en la medición tiende a agravarse con más observaciones. En consecuencia, este método ha perdido popularidad entre los desarrolladores con el tiempo.
Pros :
- Medición precisa de coordenadas y ángulos
- Los sensores son pequeños y livianos, lo que permite una mayor flexibilidad en la forma en que se incorporan al diseño.
- Los dispositivos son baratos y sencillos de producir.
- Sin interferencia electromagnética
Contras :
- La variabilidad de la velocidad del sonido en función de la temperatura, la presión atmosférica y la humedad del entorno puede provocar errores en los cálculos de distancia.
- El alcance es limitado y requiere una línea de visión directa entre emisores y receptores
- En comparación con otros métodos, la frecuencia de muestreo más grande posible es algo pequeña (aproximadamente unas pocas docenas de Hz) debido a la velocidad relativamente baja del sonido en el aire. Esto puede crear retrasos en la medición de hasta unas pocas docenas de milisegundos, a menos que se utilice la fusión del sensor para aumentar las mediciones de ultrasonido.
- La interferencia acústica (es decir, otros sonidos en el entorno circundante) puede dificultar las lecturas.
- En resumen, la implementación del seguimiento acústico es óptima en los casos en los que se tiene un control total sobre el entorno ambiental en el que reside el sistema VR o AR, como un simulador de vuelo.
En resumen, la implementación del seguimiento acústico es óptima en los casos en los que se tiene un control total sobre el entorno ambiental en el que reside el sistema VR o AR, como un simulador de vuelo. [1] [22] [23]
Seguimiento magnético
El seguimiento magnético (o seguimiento electromagnético) se basa en el mismo principio que un theremin . Se basa en medir la intensidad de campos magnéticos no homogéneos con sensores electromagnéticos. Una estación base , a menudo denominada transmisor o generador de campo del sistema, genera un campo electromagnético alterno o estático , según la arquitectura del sistema.
Para cubrir todas las direcciones en el espacio tridimensional, se generan tres campos magnéticos secuencialmente. Los campos magnéticos son generados por tres bobinas electromagnéticas que son perpendiculares entre sí. Estas bobinas deben colocarse en una carcasa pequeña montada en un objetivo en movimiento cuya posición es necesaria para rastrear. La corriente, que pasa secuencialmente a través de las bobinas, las convierte en electroimanes, lo que les permite determinar su posición y orientación en el espacio.
Debido a que el seguimiento magnético no requiere una pantalla montada en la cabeza, que se usa con frecuencia en la realidad virtual, a menudo es el sistema de seguimiento que se usa en las pantallas de realidad virtual totalmente inmersivas. [18] Los equipos convencionales, como las pantallas montadas en la cabeza, son molestos para el usuario en experiencias de realidad virtual completamente cerradas, por lo que se favorece el uso de equipos alternativos como el que se usa en el seguimiento magnético. El seguimiento magnético ha sido implementado por Polhemus y en Razor Hydra por Sixense . El sistema funciona mal cerca de cualquier material conductor de electricidad, como objetos y dispositivos metálicos, que puedan afectar un campo electromagnético. El seguimiento magnético empeora a medida que el usuario se aleja del emisor base, [18] y el área escalable es limitada y no puede superar los 5 metros.
Pros :
- Utiliza equipo discreto que no necesita ser usado por el usuario y no interfiere con la experiencia de realidad virtual.
- Adecuado para pantallas de realidad virtual totalmente inmersivas
Contras :
- El usuario debe estar cerca del emisor base
- El seguimiento empeora cerca de metales u objetos que interfieren con el campo electromagnético.
- Suelen tener muchos errores y fluctuaciones debido a los requisitos de calibración frecuentes [19]
Ver también
- Estimación de pose 3D
- Realidad aumentada
- Pantalla montada en la cabeza
- Sistema de posicionamiento interior
- Seguimiento de dedos
- Captura de movimiento
- Localización y mapeo simultáneos
- Sistema de rastreo
Referencias
- ^ a b Aukstakalnis, Steve. Realidad aumentada práctica: una guía de las tecnologías, aplicaciones y factores humanos para AR y VR . Bostón. ISBN 978-0-13-409429-8. OCLC 958300989 .
- ^ Emura, Satoru; Tachi, Susumu (agosto de 1998). "Predicción integrada multisensor para la realidad virtual" . Presencia: Teleoperadores y Ambientes Virtuales . 7 (4): 410–422. doi : 10.1162 / 105474698565811 . ISSN 1054-7460 . S2CID 34491936 .
- ^ a b VR, Camino a (02-06-2014). "Descripción general de las tecnologías de seguimiento posicional para la realidad virtual" . Camino a la realidad virtual . Consultado el 6 de noviembre de 2020 .
- ^ a b "Cómo Oculus apretó el seguimiento sofisticado en un hardware pipsqueak" . TechCrunch . Consultado el 6 de noviembre de 2020 .
- ^ "Oculus App Store requerirá aprobaciones previas, calificaciones de confort, impuestos" . TechCrunch . Consultado el 6 de noviembre de 2020 .
- ^ Pustka, D .; Hülß, J .; Willneff, J .; Pankratz, F .; Huber, M .; Klinker, G. (noviembre de 2012). "Seguimiento óptico de afuera hacia adentro utilizando teléfonos móviles sin modificar" . 2012 Simposio internacional de IEEE sobre realidad aumentada y mixta (ISMAR) : 81–89. doi : 10.1109 / ISMAR.2012.6402542 . ISBN 978-1-4673-4662-7. S2CID 18349919 .
- ^ a b "De adentro hacia afuera v de afuera hacia adentro: cómo funciona el seguimiento de realidad virtual y cómo va a cambiar" . Wareable . 2017-05-03 . Consultado el 6 de noviembre de 2020 .
- ^ Dempsey, P. (1 de agosto de 2016). "El desmontaje: casco de realidad virtual HTC Vive" . Ingeniería y Tecnología . 11 (7): 80–81. doi : 10.1049 / et.2016.0731 . ISSN 1750-9637 .
- ^ Niehorster, Diederick C .; Li, Li; Lappe, Markus (junio de 2017). "La exactitud y precisión del seguimiento de posición y orientación en el sistema de realidad virtual HTC Vive para la investigación científica" . i-Percepción . 8 (3): 204166951770820. doi : 10.1177 / 2041669517708205 . ISSN 2041-6695 . PMC 5439658 . PMID 28567271 .
- ^ Chen, Liyan; Peng, Xiaoyuan; Yao, Junfeng; Qiguan, Hong; Chen, Chen; Ma, Yihan (agosto de 2016). "Investigación sobre el sistema de realidad aumentada sin marcadores de identificación para exposición en casa" . 2016 XI Congreso Internacional de Informática y Educación (ICCSE) . Nagoya, Japón: IEEE: 524–528. doi : 10.1109 / ICCSE.2016.7581635 . ISBN 978-1-5090-2218-2. S2CID 17281382 .
- ^ Rasmussen, Loki; Basinger, Jay; Milanova, Mariofanna (marzo de 2019). "Redes de sistemas de consumo para proporcionar un entorno de desarrollo para el seguimiento sin marcadores de adentro hacia afuera para auriculares de realidad virtual" . Conferencia IEEE 2019 sobre Realidad Virtual e Interfaces de Usuario (VR) 3D . Osaka, Japón: IEEE: 1132–1133. doi : 10.1109 / VR.2019.8798349 . ISBN 978-1-7281-1377-7. S2CID 201066258 .
- ^ hferrone. "Cómo funciona el seguimiento de adentro hacia afuera - Guía para entusiastas" . docs.microsoft.com . Consultado el 6 de noviembre de 2020 .
- ^ a b Bleser, Gabriele; Stricker, Didier (febrero de 2009). "Seguimiento avanzado a través del procesamiento eficiente de imágenes y la fusión del sensor inercial-visual". Computadoras y Gráficos . 33 (1): 59–72. doi : 10.1016 / j.cag.2008.11.004 . S2CID 5645304 .
- ^ a b Bleser, Gabriele; Stricker, Didier (febrero de 2009). "Seguimiento avanzado a través del procesamiento eficiente de imágenes y la fusión del sensor inercial-visual". Computadoras y Gráficos . 33 (1): 59–72. doi : 10.1016 / j.cag.2008.11.004 . S2CID 5645304 .
- ^ "Cómo funciona el seguimiento posicional en realidad virtual" . VentureBeat . 2019-05-05 . Consultado el 6 de noviembre de 2020 .
- ^ Emura, Satoru; Tachi, Susumu (agosto de 1998). "Predicción integrada multisensor para la realidad virtual" . Presencia: Teleoperadores y Ambientes Virtuales . 7 (4): 410–422. doi : 10.1162 / 105474698565811 . ISSN 1054-7460 . S2CID 34491936 .
- ^ "Una guía rápida de grados de libertad en realidad virtual" . Estudios Kei . 2018-02-12 . Consultado el 6 de noviembre de 2020 .
- ^ a b c d e Hogue, A .; Jenkin, MR; Allison, RS (mayo de 2004). "Un sistema de seguimiento óptico-inercial para pantallas de realidad virtual completamente cerradas" . Primera Conferencia Canadiense sobre Visión por Computadora y Robot, 2004. Actas. : 22–29. doi : 10.1109 / CCCRV.2004.1301417 . ISBN 0-7695-2127-4. S2CID 1010865 .
- ^ a b c Atrsaei, Arash; Salarieh, Hassan; Alasty, Aria; Abediny, Mohammad (mayo de 2018). "Seguimiento del movimiento del brazo humano por sensores inerciales / magnéticos con filtro de Kalman sin perfume y restricción de movimiento relativo" . Revista de sistemas inteligentes y robóticos . 90 (1-2): 161-170. doi : 10.1007 / s10846-017-0645-z . ISSN 0921-0296 . S2CID 3887896 .
- ^ Jones, Gareth (julio de 2005). "Ecolocalización" . Biología actual . 15 (13): R484 – R488. doi : 10.1016 / j.cub.2005.06.051 . ISSN 0960-9822 . PMID 16005275 .
- ^ Mihelj, Matjaž; Novak, Domen; Beguš, Samo (2014). "Tecnología y aplicaciones de realidad virtual" . Sistemas Inteligentes, Control y Automatización: Ciencia e Ingeniería . 68 . doi : 10.1007 / 978-94-007-6910-6 . ISBN 978-94-007-6909-0. ISSN 2213-8986 .
- ^ T. Mazuryk, Historia de la realidad virtual, aplicaciones, tecnología y futuro. Viena, Austria: Universidad Tecnológica de Viena, 1996.
- ^ R. Holloway y A. Lastra, "Entornos virtuales: un estudio de la tecnología", cs.unc.edu. [En línea]. Disponible: http://www.cs.unc.edu/techreports/93-033.pdf.
Bibliografía
- Jannick P. Rolland, Yohan Baillot y Alexei A. Goon. Una encuesta sobre tecnología de seguimiento para entornos virtuales (PDF) .CS1 maint: varios nombres: lista de autores ( enlace )
- Vikas Kumar N. Integración del sistema de navegación inercial y el sistema de posicionamiento global mediante el filtrado de Kalman (PDF) .
- JD Hol, TB Schon, F. Gustafsson, PJ Slycke. Fusión de sensores para realidad aumentada (PDF) .CS1 maint: varios nombres: lista de autores ( enlace )