Sonificación

La sonificación es el uso de audio que no es de voz para transmitir información o perceptualizar datos. [1] La percepción auditiva tiene ventajas en la resolución temporal, espacial, de amplitud y frecuencia que abren posibilidades como alternativa o complemento a las técnicas de visualización .

"> Archivo: Air Play - Sonificación de datos de calidad del aire de Beijing.webmReproducir medios
Video de los datos de contaminación del aire de Beijing transmitidos como una pieza musical

Por ejemplo, la tasa de clic de un contador Geiger transmite el nivel de radiación en las inmediaciones del dispositivo.

Aunque se han explorado muchos experimentos con la sonificación de datos en foros como la Comunidad Internacional de Visualización Auditiva (ICAD), la sonificación se enfrenta a muchos desafíos para su uso generalizado para presentar y analizar datos. Por ejemplo, los estudios muestran que es difícil, pero esencial, proporcionar un contexto adecuado para interpretar las sonificaciones de los datos. [1] [2] Muchos intentos de sonificación se codifican desde cero debido a la falta de una herramienta flexible para la investigación de sonificación y la exploración de datos [3]

El contador Geiger , inventado en 1908, es una de las primeras y más exitosas aplicaciones de la sonificación. Un contador Geiger tiene un tubo de gas a baja presión; cada partícula detectada produce un pulso de corriente cuando ioniza el gas, produciendo un clic de audio. La versión original solo era capaz de detectar partículas alfa. En 1928, Geiger y Walther Müller (un estudiante de doctorado de Geiger) mejoraron el contador para que pudiera detectar más tipos de radiación ionizante.

En 1913, el Dr. Edmund Fournier d'Albe de la Universidad de Birmingham inventó el optófono , que utilizaba fotosensores de selenio para detectar la impresión en negro y convertirla en una salida audible. [4] Un lector ciego podría sostener un libro en el dispositivo y sostener un aparato en el área que desea leer. El optophone tocaba un grupo de notas: gc 'd' e 'g' b 'c' 'e' '. Cada nota se correspondía con una posición en el área de lectura del optophone, y esa nota se silenciaba si se detectaba tinta negra. Por lo tanto, las notas faltantes indicaban las posiciones en las que la tinta negra estaba en la página y se podía usar para leer.

Pollack y Ficks publicaron los primeros experimentos de percepción sobre la transmisión de información a través de la visualización auditiva en 1954. [5] Experimentaron con la combinación de dimensiones del sonido como el tiempo, la frecuencia, el volumen, la duración y la espacialización y encontraron que podían hacer que los sujetos registraran cambios. en múltiples dimensiones a la vez. Estos experimentos no entraron en muchos más detalles que eso, ya que cada dimensión tenía solo dos valores posibles.

John M. Chambers , Max Mathews y FR Moore de Bell Laboratories hicieron el trabajo más temprano sobre gráficos auditivos en su memorando técnico "Inspección de datos auditivos" en 1974. [6] Aumentaron un diagrama de dispersión utilizando sonidos que variaban a lo largo de la frecuencia, el contenido espectral y dimensiones de modulación de amplitud para usar en la clasificación. No hicieron ninguna evaluación formal de la efectividad de estos experimentos. [7]

En 1976, el filósofo de la tecnología, Don Ihde, escribió: "Así como la ciencia parece producir un conjunto infinito de imágenes visuales para prácticamente todos sus fenómenos, los átomos y las galaxias nos resultan familiares, desde los libros de mesa hasta las revistas científicas; entonces" las músicas 'también podrían producirse a partir de los mismos datos que producen visualizaciones ". [8] Esta parece ser una de las primeras referencias a la sonificación como práctica creativa.

En la década de 1980, los oxímetros de pulso se generalizaron. Los oxímetros de pulso pueden sonificar la concentración de oxígeno de la sangre al emitir tonos más altos para concentraciones más altas. Sin embargo, en la práctica, esta característica particular de los oxímetros de pulso puede no ser ampliamente utilizada por los profesionales médicos debido al riesgo de demasiados estímulos de audio en entornos médicos. [9]

En 1992, Gregory Kramer fundó la Comunidad Internacional de Visualización Auditiva (ICAD) como un foro de investigación sobre visualización auditiva que incluye la sonificación de datos. Desde entonces, ICAD se ha convertido en un hogar para investigadores de muchas disciplinas diferentes interesados ​​en el uso del sonido para transmitir información a través de sus conferencias y actas revisadas por pares. [10]

  • Altímetro auditivo , también utilizado en paracaidismo . [11]
  • Termómetro auditivo [12]
  • Relojes, por ejemplo, con un tic audible cada segundo y con campanillas especiales cada 15 minutos [13]
  • Pantallas auditivas en cabina
  • contador Geiger
  • Ondas gravitacionales en LIGO [1]
  • Sonificación interactiva [14] [15] [16]
  • Pantallas auditivas médicas [17] [18] y quirúrgicas [19] [20] [21] [22]
  • Pantallas multimodales (de sentido combinado) para minimizar la sobrecarga visual y la fatiga
  • Navegación [23] [24] [25] [26]
  • Física espacial [2]
  • Pulsioximetría en quirófanos y cuidados intensivos [27] [28] [29]
  • Alarma de velocidad en vehículos de motor
  • Sonar
  • Sonificación meteorológica y de tormentas [30] [3]
  • Detección de actividad volcánica
  • Análisis de conglomerados de datos de alta dimensión mediante sonificación de trayectoria de partículas [4]
  • Volumen y valor del promedio industrial Dow Jones [31]
  • Sonificación de imágenes para personas con discapacidad visual [32] [33]
  • Juego de sonificación CURAT [34] basado en sonificación psicoacústica [25] [26]
  • Inclinación [35] basada en la sonificación psicoacústica [25] [26]

Se pueden alterar muchos componentes diferentes para cambiar la percepción del usuario del sonido y, a su vez, su percepción de la información subyacente que se representa. A menudo, un aumento o disminución en algún nivel de esta información se indica mediante un aumento o disminución en el tono , la amplitud o el tempo , pero también podría indicarse variando otros componentes de uso menos común. Por ejemplo, un precio de mercado de valores podría representarse por un tono ascendente a medida que aumenta el precio de las acciones y un tono más bajo cuando cae. Para permitir al usuario determinar que se estaba representando más de una acción, se pueden usar diferentes timbres o brillos para las diferentes acciones, o se pueden reproducir para el usuario desde diferentes puntos en el espacio, por ejemplo, a través de diferentes lados de sus auriculares. .

Se han realizado muchos estudios para tratar de encontrar las mejores técnicas para presentar varios tipos de información y, hasta el momento, no se ha formulado un conjunto concluyente de técnicas para su uso. Como todavía se considera que el área de la sonificación está en su infancia, los estudios actuales están trabajando para determinar el mejor conjunto de componentes de sonido para variar en diferentes situaciones.

Se pueden clasificar varias técnicas diferentes para la representación auditiva de datos:

  • Sonificación acústica [36]
  • Audificacion
  • Sonificación basada en modelos
  • Mapeo de parámetros
  • Sonificación basada en flujo [37] [38]

Un enfoque alternativo a la sonificación tradicional es la "sonificación por reemplazo", por ejemplo, Procesamiento afectivo melódico pulsado (PMAP). [39] [40] [41] En PMAP en lugar de sonificar un flujo de datos, el protocolo computacional son datos musicales en sí mismos, por ejemplo MIDI. El flujo de datos representa un estado no musical: en PMAP un estado afectivo. Luego, los cálculos se pueden hacer directamente sobre los datos musicales y los resultados se pueden escuchar con la mínima traducción.

  • Pantalla auditiva
  • Música de computadora
  • Música e inteligencia artificial

  1. ↑ a b Kramer, Gregory, ed. (1994). Pantalla auditiva: sonificación, audición e interfaces auditivas . Instituto Santa Fe de Estudios en Ciencias de la Complejidad. Actas Volumen XVIII. Reading, MA: Addison-Wesley. ISBN 978-0-201-62603-2.
  2. ^ Smith, Daniel R .; Walker, Bruce N. (2005). "Efectos de las señales de contexto auditivo y la formación sobre el rendimiento de una tarea de sonificación de estimación de puntos". Revista de Psicología Cognitiva Aplicada . 19 (8): 1065–1087. doi : 10.1002 / acp.1146 .
  3. ^ Flowers, JH (2005), "Trece años de reflexión sobre la graficación auditiva: promesas, trampas y posibles nuevas direcciones" (PDF) , en Brasil, Eoin (ed.), Actas de la XI Conferencia Internacional sobre Visualización Auditiva , págs. 406–409
  4. ^ Fournier d'Albe, EE. UU. (Mayo de 1914), "On a Type-Reading Optophone", Actas de la Royal Society of London
  5. ^ Pollack, I. & Ficks, L. (1954), "Información de pantallas auditivas multidimensionales elementales", Revista de la Sociedad Acústica de América , 26 (1): 136, Código Bibliográfico : 1954ASAJ ... 26Q.136P , doi : 10.1121 /1.1917759
  6. ^ Chambers, JM y Mathews, MV y Moore, FR (1974), "Inspección de datos auditivos", Memorándum técnico , AT&T Bell Laboratories, 74-1214-20CS1 maint: varios nombres: lista de autores ( enlace )
  7. ^ Frysinger, SP (2005), "Una breve historia de la representación de datos auditivos hasta la década de 1980" (PDF) , en Brasil, Eoin (ed.), Actas de la 11ª Conferencia Internacional sobre Visualización Auditiva , págs. 410–413
  8. ^ Ihde, Don (4 de octubre de 2007). Escucha y voz: fenomenologías del sonido, segunda edición . pag. xvi. ISBN 978-0791472569.
  9. ^ Craven, RM; McIndoe, AK (1999), "Monitoreo auditivo continuo: ¿cuánta información registramos?" (PDF) , British Journal of Anesthesia , 83 (5): 747–749, doi : 10.1093 / bja / 83.5.747 , PMID  10690137[ enlace muerto ]
  10. ^ Kramer, G .; Walker, BN (2005), "Sound science: Marking diez international conference on auditory display", ACM Transactions on Applied Perception , 2 (4): 383–388, CiteSeerX  10.1.1.88.7945 , doi : 10.1145 / 1101530.1101531 , S2CID  1187647
  11. ^ Montgomery, ET; Schmitt, RW (1997), "Control de altímetro acústico de un vehículo libre para mediciones de turbulencia cerca del fondo", Deep Sea Research Part I: Oceangraphic Research Papers , 44 (6): 1077, Bibcode : 1997DSRI ... 44.1077M , doi : 10.1016 / S0967-0637 (97) 87243-3
  12. ^ Quincke, G. (1897). "Ein akustisches Thermometer für hohe und niedrige Temperaturen" . Annalen der Physik . 299 (13): 66–71. Código Bibliográfico : 1897AnP ... 299 ... 66Q . doi : 10.1002 / yp.18972991311 . ISSN  0003-3804 .
  13. ^ Ismailogullari, Abdullah; Ziemer, Tim (2019). Reloj de paisaje sonoro: composiciones de paisaje sonoro que muestran la hora del día . 25 . págs. 91–95. doi : 10.21785 / icad2019.034 . hdl : 1853/61510 . ISBN 978-0-9670904-6-7. Parámetro desconocido |conference=ignorado ( ayuda )
  14. ^ Hunt, A .; Hermann, T .; Pauletto, S. (2004). "Interactuar con los sistemas de sonificación: cerrar el ciclo". Actas. Octava Conferencia Internacional sobre Visualización de Información, 2004. IV 2004 . págs. 879–884. doi : 10.1109 / IV.2004.1320244 . ISBN 0-7695-2177-0. S2CID  9492137 .
  15. ^ Thomas Hermann y Andy Hunt. La importancia de la interacción en la sonificación . Actas de la Décima Reunión de ICAD de la Conferencia Internacional sobre Visualización Auditiva, Sydney, Australia, 6 al 9 de julio de 2004. Disponible: en línea
  16. ^ Sandra Pauletto y Andy Hunt. Un juego de herramientas para la sonificación interactiva . Actas de la Décima Reunión de ICAD de la Conferencia Internacional sobre Visualización Auditiva, Sydney, Australia, 6 al 9 de julio de 2004. Disponible: en línea .
  17. ^ Kather, Jakob Nikolas; Hermann, Thomas; Bukschat, Yannick; Kramer, Tilmann; Schad, Lothar R .; Zöllner, Frank Gerrit (2017). "Sonificación polifónica de señales electrocardiográficas para diagnóstico de patologías cardíacas" . Informes científicos . 7 : Número de artículo 44549. Bibcode : 2017NatSR ... 744549K . doi : 10.1038 / srep44549 . PMC  5357951 . PMID  28317848 .
  18. ^ Edworthy, Judy (2013). "Alarmas médicas acústicas: una revisión" . J Am Med Inform Assoc . 20 (3): 584–589. doi : 10.1136 / amiajnl-2012-001061 . PMC  3628049 . PMID  23100127 .
  19. ^ Woerdeman, Peter A .; Willems, Peter WA; Noordmans, Herke Jan; Berkelbach van der Sprenken, Jan Willem (2009). "Retroalimentación auditiva durante la cirugía guiada por imágenes sin marco en un modelo fantasma y experiencia clínica inicial". J Neurosurg . 110 (2): 257–262. doi : 10.3171 / 2008.3.17431 . PMID  18928352 .
  20. ^ Ziemer, Tim; Negro, David (2017). "Sonificación con motivación psicoacústica para cirujanos". Revista Internacional de Radiología y Cirugía Asistida por Computadora . 12 ((Supl. 1): 1): 265–266. arXiv : 1611.04138 . doi : 10.1007 / s11548-017-1588-3 . PMID  28527024 . S2CID  51971992 .
  21. ^ Ziemer, Tim; Black, David; Schultheis, Holger (2017). "Diseño de sonificación psicoacústica para navegación en intervenciones quirúrgicas" . Actas de reuniones sobre acústica . 30 : 050005. doi : 10.1121 / 2.0000557 .
  22. ^ Ziemer, Tim; Negro, David (2017). "Sonificación psicoacústica para la guía de instrumentos médicos con seguimiento". La Revista de la Sociedad Estadounidense de Acústica . 141 (5): 3694. Código bibliográfico : 2017ASAJ..141.3694Z . doi : 10.1121 / 1.4988051 .
  23. ^ Nagel, F; Stter, FR; Degara, N; Balke, S; Worrall, D (2014). "Orientación rápida y precisa: tiempos de respuesta a los sonidos de navegación". Congreso Internacional de Pantallas Auditivas (ICAD) . hdl : 1853/52058 .
  24. ^ Florez, L (1936). "Verdadero vuelo a ciegas". J Aeronaut Sci . 3 (5): 168-170. doi : 10,2514 / 8,176 .
  25. ^ a b c Ziemer, Tim; Schultheis, Holger; Black, David; Kikinis, Ron (2018). "Sonificación interactiva psicoacústica para navegación de corto alcance". Acta Acustica United con Acustica . 104 (6): 1075–1093. doi : 10.3813 / AAA.919273 .
  26. ^ a b c Ziemer, Tim; Schultheis, Holger (2018). "Pantalla auditiva psicoacústica para la navegación: un sistema de asistencia auditiva para tareas de orientación espacial" . Revista sobre interfaces de usuario multimodales . 2018 (Número especial: Sonificación interactiva): 205–218. doi : 10.1007 / s12193-018-0282-2 . S2CID  53721138 . Consultado el 24 de enero de 2019 .
  27. ^ Hinckfuss, Kelly; Sanderson, Penélope; Loeb, Robert G .; Liley, Helen G .; Liu, David (2016). "Sonificaciones de oximetría de pulso novedosas para la monitorización de la saturación de oxígeno neonatal". Factores humanos . 58 (2): 344–359. doi : 10.1177 / 0018720815617406 . PMID  26715687 . S2CID  23156157 .
  28. ^ Sanderson, Penelope M .; Watson, Marcus O .; Russell, John (2005). "Pantallas de monitorización avanzada de pacientes: herramientas para la información continua". Anestesia y analgesia . 101 (1): 161-168. doi : 10.1213 / 01.ANE.0000154080.67496.AE . PMID  15976225 .
  29. ^ Schwarz, Sebastian; Ziemer, Tim (2019). "Un diseño de sonido psicoacústico para oximetría de pulso" . Congreso Internacional de Visualización Auditiva (ICAD 2019) . 25 : 214-221. doi : 10.21785 / icad2019.024 . hdl : 1853/61504 . ISBN 978-0-9670904-6-7.
  30. ^ Schuett, Jonathan H .; Winton, Riley J .; Batterman, Jared M .; Walker, Bruce N. (2014). Informes meteorológicos auditivos: demostración de la comprensión del oyente de cinco variables concurrentes . Actas del noveno audio en su mayoría: una conferencia sobre la interacción con el sonido . AM '14. Nueva York, NY, EE.UU .: ACM. págs. 17: 1–17: 7. doi : 10.1145 / 2636879.2636898 . ISBN 9781450330329. S2CID  5765787 .
  31. ^ "Justin Joque" . justinjoque.com . Consultado el 21 de mayo de 2019 .
  32. ^ Banf, Michael; Blanz, Volker (2013). "Sonificación de imágenes para personas con discapacidad visual mediante un enfoque multinivel". Actas de la 4ª Conferencia Internacional de Humanos Aumentados en - AH '13 . Nueva York, Nueva York, Estados Unidos: ACM Press: 162–169. doi : 10.1145 / 2459236.2459264 . ISBN 9781450319041. S2CID  7505236 .
  33. ^ Banf, Michael; Mikalay, Ruben; Watzke, Baris; Blanz, Volker (junio de 2016). "PictureSensation: una aplicación móvil para ayudar a los ciegos a explorar el mundo visual a través del tacto y el sonido" . Revista de Ingeniería de Tecnologías de Rehabilitación y Asistencia . 3 : 205566831667458. doi : 10.1177 / 2055668316674582 . ISSN  2055-6683 . PMC  6453065 . PMID  31186914 .
  34. ^ CURAT. "Juegos y Entrenamientos para Cirugía Mínimamente Invasiva" . Proyecto CURAT . Universidad de Bremen . Consultado el 15 de julio de 2020 .
  35. ^ Winkler, Helena; Schade, Eve Emely Sophie; Kruesilp, Jatawan; Ahmadi, Fida. "Inclinación - El nivel de burbuja con sonido" . Inclinación . Universidad de Bremen . Consultado el 21 de abril de 2021 .
  36. ^ Barrass S. (2012) Fabricación digital de sonificaciones acústicas, Revista de la Sociedad de ingeniería de audio, septiembre de 2012. En línea
  37. ^ Barrass, S. y Best, G. (2008). Diagramas de sonificación basados ​​en flujo. Actas de la 14ª Conferencia Internacional sobre Visualización Auditiva, IRCAM París, 24-27 de junio de 2008. en línea
  38. ^ Barrass S. (2009) Desarrollo de la práctica y la teoría de la sonificación basada en corrientes. Escanear Journal of Media Arts Culture, Macquarie University en línea
  39. ^ Kirke, Alexis; Miranda, Eduardo (6 de mayo de 2014). "Procesamiento afectivo melódico pulsado: estructuras musicales para aumentar la transparencia en el cálculo emocional". Simulación . 90 (5): 606. doi : 10.1177 / 0037549714531060 . hdl : 10026,1 / 6621 . S2CID  15555997 .
  40. ^ "Hacia las extensiones armónicas del procesamiento afectivo melódico pulsado - Más estructuras musicales para aumentar la transparencia en la computación emocional" (PDF) . 2014-11-11 . Consultado el 5 de junio de 2017 .
  41. ^ "Un caso de estudio de computadora híbrida para computación virtual no convencional" . 2015-06-01 . Consultado el 5 de junio de 2017 .

  • Comunidad internacional para la visualización auditiva
  • Sonification Report (1997) proporciona una introducción al estado del campo y las agendas de investigación actuales.
  • El Manual de sonificación , un libro de acceso abierto que ofrece una presentación introductoria completa de las áreas de investigación clave en sonificación y visualización auditiva.
  • Diseño de información auditiva , tesis doctoral de Stephen Barrass 1998, Enfoque centrado en el usuario para diseñar sonificaciones.
  • Mozzi: sonificación de sensor interactivo en microprocesador Arduino.
  • Informe preliminar sobre la justificación del diseño, la sintaxis y la semántica de LSL: un lenguaje de especificación para la auralización de programas, D. Boardman y AP Mathur, 1993.
  • Un lenguaje de especificación para la auralización de programas, D. Boardman, V. Khandelwal y AP Mathur, 1994.
  • Tutorial de sonificación
  • Entorno de sonificación general SonEnvir
  • Sonification.de proporciona información sobre sonificación y visualización auditiva, enlaces a eventos interesantes y proyectos relacionados
  • Sonificación para análisis de datos exploratorios , tesis doctoral de Thomas Hermann 2002, desarrollo de sonificación basada en modelos.
  • Sonificación de comunicaciones móviles e inalámbricas
  • Sonificación interactiva un centro de noticias y próximos eventos en el campo de la sonificación interactiva
  • asociación espacio-tiempo cero
  • CodeSounding : un marco de sonificación de código abierto que hace posible escuchar cómo "suena" cualquier programa Java existente , asignando instrumentos y tonos a declaraciones de código (if, for, etc.) y tocándolos a medida que se ejecutan en tiempo de ejecución. De esta manera, el flujo de ejecución se reproduce como un flujo de música y su ritmo cambia según la interacción del usuario.
  • LYCAY , una biblioteca de Java para la sonificación del código fuente de Java
  • WebMelody , un sistema de sonificación de actividad de servidores web.
  • Sonificación de un conjunto de Cantor [5]
  • Sonification Sandbox v.3.0 , un programa Java para convertir conjuntos de datos en sonidos, GT Sonification Lab, Escuela de Psicología, Instituto de Tecnología de Georgia .
  • Programe la sonificación usando Java , un capítulo en línea (con código) que explica cómo implementar la sonificación usando síntesis de voz, generación de notas MIDI y clips de audio.
  • [6] Sonificación en vivo del oleaje oceánico