La traducción automática de lenguajes de signos ha sido posible, aunque de forma limitada, desde 1977. Cuando un proyecto de investigación combinó con éxito las letras inglesas de un teclado con las letras del alfabeto ASL que se simularon en una mano robótica. Estas tecnologías se traducen lenguajes de signos en el lenguaje escrito o lenguaje hablado y escrito o hablado con el lenguaje de signos, sin el uso de un intérprete humano . Los lenguajes de signos poseen características fonológicas diferentes a los lenguajes hablados, lo que ha creado obstáculos para los desarrolladores. Los desarrolladores utilizan la visión por computadora y el aprendizaje automático para reconocer parámetros fonológicos y epéntesis específicos [1] único en el lenguaje de señas, y el reconocimiento de voz y el procesamiento del lenguaje natural permiten la comunicación interactiva entre personas sordas y oyentes.
Limitaciones
Las tecnologías de traducción de lengua de signos están limitadas al igual que la traducción de lengua hablada. Ninguno puede traducir con 100% de precisión. De hecho, las tecnologías de traducción del lenguaje de señas están muy por detrás de sus homólogos del lenguaje hablado. Esto no es trivial debido a que los lenguajes de señas tienen múltiples articuladores. Donde los lenguajes hablados se articulan a través del tracto vocal, los lenguajes de señas se articulan a través de las manos, los brazos, la cabeza, los hombros, el torso y partes de la cara. Esta articulación multicanal dificulta mucho la traducción de lenguajes de signos. Un desafío adicional para la traducción de lenguaje de señas es el hecho de que no existe un formato escrito formal para las lenguas de señas. Hay sistemas de notaciones, pero ningún sistema de escritura ha sido adoptado con la suficiente amplitud por la comunidad internacional de personas sordas como para que pueda considerarse la "forma escrita" de una lengua de signos determinada. Los lenguajes de signos se graban en varios formatos de vídeo. No existe un corpus paralelo estándar de oro que sea lo suficientemente grande para SMT, por ejemplo.
Historia
La historia de la traducción automática del lenguaje de señas comenzó con el desarrollo de hardware como las manos robóticas para deletrear con los dedos. En 1977, un proyecto de mano para deletrear con los dedos llamado RALPH (abreviatura de "Alfabeto robótico") creó una mano robótica que puede traducir alfabetos en deletreos con los dedos. [2] Más tarde, el uso de guantes con sensores de movimiento se convirtió en la corriente principal, y nacieron algunos proyectos como CyberGlove y VPL Data Glove. [3] El hardware portátil hizo posible capturar las formas y movimientos de las manos de los firmantes con la ayuda del software de computadora. Sin embargo, con el desarrollo de la visión por computadora, los dispositivos portátiles fueron reemplazados por cámaras debido a su eficiencia y menos restricciones físicas para los firmantes. [3] Para procesar los datos recopilados a través de los dispositivos, los investigadores implementaron redes neuronales como el Simulador de redes neuronales de Stuttgart [4] para el reconocimiento de patrones en proyectos como CyberGlove. Los investigadores también utilizan muchos otros enfoques para el reconocimiento de signos. Por ejemplo, los modelos ocultos de Markov se utilizan para analizar datos estadísticamente, [3] y GRASP y otros programas de aprendizaje automático utilizan conjuntos de entrenamiento para mejorar la precisión del reconocimiento de signos. [5] Se ha demostrado que la fusión de tecnologías no portátiles, como cámaras y controladores Leap Motion, aumenta la capacidad del software de traducción y reconocimiento automático del lenguaje de señas. [6]
Tecnologias
VISICAST
http://www.visicast.cmp.uea.ac.uk/Visicast_index.html
Proyecto eSIGN
http://www.visicast.cmp.uea.ac.uk/eSIGN/index.html
El Proyecto Avatar de Lenguaje de Señas Americano en la Universidad DePaul
Español a LSE
SignAloud
SignAloud es una tecnología que incorpora un par de guantes fabricados por un grupo de estudiantes de la Universidad de Washington que transliteran [7] el lenguaje de señas americano (ASL) al inglés. [8] En febrero de 2015, Thomas Pryor, un estudiante de audición de la Universidad de Washington, creó el primer prototipo de este dispositivo en Hack Arizona, un hackathon en la Universidad de Arizona. Pryor continuó desarrollando la invención y, en octubre de 2015, Pryor incorporó a Navid Azodi al proyecto SignAloud para fines de marketing y ayuda con las relaciones públicas. Azodi tiene una amplia experiencia y participación en la administración de empresas, mientras que Pryor tiene una gran experiencia en ingeniería. [9] En mayo de 2016, el dúo le dijo a NPR que están trabajando más de cerca con las personas que usan ASL para que puedan comprender mejor a su audiencia y adaptar su producto a las necesidades de estas personas en lugar de las supuestas necesidades. [10] Sin embargo, no se han publicado más versiones desde entonces. El invento fue uno de los siete en ganar el Premio Estudiantil Lemelson-MIT, que busca premiar y aplaudir a los jóvenes inventores. Su invento cayó bajo el título "¡Úselo!" categoría del premio que incluye avances tecnológicos a productos existentes. Fueron premiados con $ 10,000. [11] [12]
Los guantes tienen sensores que rastrean los movimientos de las manos de los usuarios y luego envían los datos a un sistema informático a través de Bluetooth . El sistema informático analiza los datos y los compara con palabras en inglés, que luego son pronunciadas en voz alta por una voz digital. [10] Los guantes no tienen capacidad para la entrada escrita en inglés para la salida del movimiento del guante o la capacidad de escuchar el lenguaje y luego señas a una persona sorda, lo que significa que no brindan comunicación recíproca. El dispositivo tampoco incorpora expresiones faciales y otros marcadores no manuales de lenguajes de signos, que pueden alterar la interpretación real del ASL. [13]
ProDeaf
ProDeaf (WebLibras) [14] es un software de computadora que puede traducir tanto texto como voz al portugués Libras (lenguaje de señas portugués) "con el objetivo de mejorar la comunicación entre los sordos y los oyentes". [15] Actualmente también hay una edición beta en producción para el lenguaje de señas estadounidense . El equipo original comenzó el proyecto en 2010 con una combinación de expertos, incluidos lingüistas, diseñadores, programadores y traductores, tanto oyentes como sordos. El equipo se originó en la Universidad Federal de Pernambuco (UFPE) a partir de un grupo de estudiantes involucrados en un proyecto de informática. El grupo tenía un miembro del equipo sordo que tenía dificultades para comunicarse con el resto del grupo. Para completar el proyecto y ayudar al compañero de equipo a comunicarse, el grupo creó Proativa Soluções y ha estado avanzando desde entonces. [16] La versión beta actual en lenguaje de señas americano es muy limitada. Por ejemplo, hay una sección de diccionario y la única palabra debajo de la letra 'j' es 'saltar'. Si el dispositivo no ha sido programado con la palabra, entonces el avatar digital debe deletrear la palabra con los dedos. La última actualización de la aplicación fue en junio de 2016, pero ProDeaf ha aparecido en más de 400 historias en los medios de comunicación más populares del país. [17]
La aplicación no puede leer el lenguaje de señas y convertirlo en palabra o texto, por lo que solo sirve como comunicación unidireccional. Además, el usuario no puede iniciar sesión en la aplicación y recibir una traducción al inglés en cualquier forma, ya que el inglés todavía se encuentra en la edición beta.
Traductor de lenguaje de señas Kinect
Desde 2012, investigadores de la Academia China de Ciencias y especialistas en educación para sordos de la Universidad Union de Beijing en China han estado colaborando con el equipo asiático de Microsoft Research para crear Kinect Sign Language Translator. [18] El traductor consta de dos modos: modo de traductor y modo de comunicación. El modo de traductor es capaz de traducir palabras individuales de signos a palabras escritas y viceversa. El modo de comunicación puede traducir frases completas y la conversación se puede traducir automáticamente con el uso del avatar 3D . El modo de traductor también puede detectar las posturas y las formas de las manos de un firmante, así como la trayectoria del movimiento, utilizando las tecnologías de aprendizaje automático , reconocimiento de patrones y visión por computadora . El dispositivo también permite la comunicación recíproca porque la tecnología de reconocimiento de voz permite que el idioma hablado se traduzca al lenguaje de señas y el avatar de modelado 3D puede devolver la señas a las personas sordas. [19]
El proyecto original se inició en China basado en la traducción del lenguaje de señas chino . En 2013, el proyecto se presentó en la Cumbre de profesores de investigación de Microsoft y en la reunión de la empresa Microsoft. [20] Actualmente, investigadores de los Estados Unidos también están trabajando en este proyecto para implementar la traducción del lenguaje de señas estadounidense . [21] A partir de ahora, el dispositivo sigue siendo un prototipo y la precisión de la traducción en el modo de comunicación aún no es perfecta.
SignAll
SignAll [22] es un sistema de traducción automática de lengua de signos proporcionado por Dolphio Technologies [23] en Hungría. El equipo es "pionero en la primera solución de traducción automática de lenguaje de señas, basada en visión por computadora y procesamiento del lenguaje natural (NLP), para permitir la comunicación diaria entre personas con audición que usan inglés hablado y personas sordas o con problemas de audición que usan ASL". El sistema de SignAll utiliza Kinect de Microsoft y otras cámaras web con sensores de profundidad conectados a una computadora. La tecnología de visión por computadora puede reconocer la forma de la mano y el movimiento de un firmante, y el sistema de procesamiento del lenguaje natural convierte los datos recopilados de la visión por computadora en una simple frase en inglés. El desarrollador del dispositivo es sordo y el resto del equipo del proyecto está formado por muchos ingenieros y lingüistas especialistas de comunidades sordas y auditivas. La tecnología tiene la capacidad de incorporar los cinco parámetros de ASL, que ayudan al dispositivo a interpretar con precisión al firmante. SignAll ha sido respaldado por muchas empresas, incluidas Deloitte y LT-innovate, y ha creado asociaciones con Microsoft Bizspark y Renewal de Hungría. [24]
MotionSavvy
MotionSavvy [25] fue el primer sistema de lenguaje de señas a voz. El dispositivo fue creado en 2012 por un grupo del Instituto de Tecnología de Rochester / Instituto Técnico Nacional para Sordos y "surgió del acelerador Leap Motion AXLR8R". [26] El equipo utilizó una funda para tableta que aprovecha la potencia del controlador Leap Motion. Todo el equipo de seis personas fue creado por estudiantes sordos de la rama de educación para sordos de las escuelas. [27] El dispositivo es actualmente uno de los dos únicos dispositivos de comunicación recíproca exclusivamente para el lenguaje de señas estadounidense. Permite a las personas sordas firmar en el dispositivo que luego se interpreta o viceversa, tomando el inglés hablado e interpretándolo en el lenguaje de señas estadounidense. El dispositivo se envía por $ 198. Algunas otras características incluyen la capacidad de interactuar, comentarios en tiempo real, creador de letreros y crowdsign.
El dispositivo ha sido revisado por todos, desde revistas de tecnología hasta Time . Wired dijo: "No fue difícil ver cuán transformadora podría ser una tecnología como [UNI]" y que "[UNI] me pareció algo mágico". Katy Steinmetz en TIME dijo: "Esta tecnología podría cambiar la forma en que las personas sordas viven ". Sean Buckley de Engadget mencionó que "UNI podría convertirse en una herramienta de comunicación increíble ".
Referencias
- ^ Mocialov, Boris; Turner, Graham; Lohan, Katrin; Hastie, Helen (2017). "Hacia el reconocimiento continuo del lenguaje de señas con aprendizaje profundo" (PDF) . Creando significado con asistentes robóticos: la brecha que dejan los dispositivos inteligentes (Conferencia internacional IEEE-RAS sobre robots humanoides) .
- ^ Jaffe, David (1994). "Evolución del deletreo manual mecánico para personas sordociegas" . The Journal of Rehabilitation Research and Development : 236–44.
- ^ a b c Parton, Becky. "Reconocimiento y traducción de la lengua de signos: un enfoque multidisciplinar desde el campo de la inteligencia artificial" (PDF) . Revista de estudios de sordos y educación de sordos .
- ^ Weissmann, J .; Salomon, R. (1 de enero de 1999). Reconocimiento de gestos para aplicaciones de realidad virtual utilizando guantes de datos y redes neuronales . Conferencia conjunta internacional sobre redes neuronales, 1999. IJCNN '99 . 3 . pp. 2043–2046 vol.3. doi : 10.1109 / IJCNN.1999.832699 . ISBN 978-0-7803-5529-3.
- ^ Bowden, Richard. "Interpretación basada en la visión de los lenguajes de signos naturales". 3er Congreso Internacional de Sistemas de Visión por Computador .
- ^ Bird, Jordan J .; Ekárt, Anikó; Faria, Diego R. (2020). "Reconocimiento del lenguaje de señas británico a través de la fusión tardía de la visión por computadora y Leap Motion con el aprendizaje de transferencia al lenguaje de señas americano" . Sensores . 20 (18): 5151. doi : 10.3390 / s20185151 .
- ^ "¿Cuál es la diferencia entre traducción y transliteración" . english.stackexchange.com . Consultado el 6 de abril de 2017 .
- ^ "SignAloud" .
- ^ "Thomas Pryor y Navid Azodi | Programa Lemelson-MIT" . lemelson.mit.edu . Consultado el 4 de julio de 2019 .
- ^ a b "Estos guantes ofrecen un toque moderno al lenguaje de señas" . NPR.org . Consultado el 9 de marzo de 2017 .
- ^ "Inventores colegiados galardonados con el premio estudiantil Lemelson-MIT" . Programa Lemelson-MIT . Consultado el 9 de marzo de 2017 .
- ^ "El equipo de pregrado de la UW gana el premio para estudiantes Lemelson-MIT de $ 10,000 por guantes que traducen el lenguaje de señas" . Universidad de Washington. 2016-04-12 . Consultado el 9 de abril de 2017 .
- ^ "Marcadores no manuales en lenguaje de señas americano (ASL)" . www.lifeprint.com . Consultado el 6 de abril de 2017 .
- ^ "ProDeaf" . prodeaf.net . Consultado el 9 de abril de 2017 .
- ^ "ProDeaf" . www.prodeaf.net . Consultado el 9 de marzo de 2017 .
- ^ "ProDeaf" . www.prodeaf.net . Consultado el 16 de marzo de 2017 .
- ^ "ProDeaf Tradutor para Libras en la App Store" . Tienda de aplicaciones . Consultado el 9 de marzo de 2017 .
- ^ Xilin, Chen (2013). "Kinect Sign Language Translator amplía las posibilidades de comunicación" (PDF) . Conexiones de investigación de Microsoft . Archivado desde el original (PDF) el 4 de abril de 2017 . Consultado el 17 de marzo de 2017 .
- ^ Zhou, Ming. "Reconocimiento y traducción de lengua de signos con Kinect" (PDF) . Conferencia IEEE .
- ^ "Traductor de lenguaje de señas Kinect" .
- ^ Zafrulla, Zahoor; Brashear, Helene; Starner, Thad; Hamilton, Harley; Presti, Peter (1 de enero de 2011). Reconocimiento del lenguaje de señas estadounidense con Kinect . Actas de la XIII Conferencia Internacional sobre Interfaces Multimodales . ICMI '11. Nueva York, NY, EE.UU .: ACM. págs. 279-286. doi : 10.1145 / 2070481.2070532 . ISBN 978-1-4503-0641-6.
- ^ "SignAll. Traducimos el lenguaje de señas. Automáticamente" . www.signall.us . Consultado el 9 de abril de 2017 .
- ^ "Dolphio | Tecnologías de TI únicas" . www.dolphio.hu . Consultado el 6 de abril de 2017 .
- ^ "SignAll. Traducimos el lenguaje de señas. Automáticamente" . www.signall.us . Consultado el 9 de marzo de 2017 .
- ^ "MotionSavvy UNI: 1er lenguaje de signos al sistema de voz" . Indiegogo . Consultado el 9 de marzo de 2017 .
- ^ "Instituto de Tecnología de Rochester (RIT)" . Instituto de Tecnología de Rochester (RIT) . Consultado el 6 de abril de 2017 .
- ^ Tsotsis, Alexia. "MotionSavvy es una aplicación de tableta que comprende el lenguaje de señas" . TechCrunch . Consultado el 9 de abril de 2017 .