En el campo de la interacción humano-computadora , un experimento del Mago de Oz es un experimento de investigación en el que los sujetos interactúan con un sistema informático que los sujetos creen que es autónomo, pero que en realidad está siendo operado o parcialmente operado por un ser humano invisible . [1]
Concepto
La frase Mago de Oz (originalmente OZ Paradigm ) se ha vuelto de uso común en los campos de la psicología experimental , los factores humanos, la ergonomía , la lingüística y la ingeniería de usabilidad para describir una metodología de prueba o diseño iterativo en la que un experimentador (el "mago"), en un entorno de laboratorio, simula el comportamiento de una aplicación informática inteligente teórica (a menudo yendo a otra habitación e interceptando todas las comunicaciones entre el participante y el sistema). A veces, esto se hace con el conocimiento previo del participante y, a veces, es un engaño de bajo nivel empleado para manejar las expectativas del participante y fomentar comportamientos naturales.
Por ejemplo, un participante de la prueba puede pensar que se está comunicando con una computadora mediante una interfaz de voz, cuando una persona en otra habitación (el "asistente") ingresa secretamente las palabras del participante en la computadora y las procesa como texto. transmisión, en lugar de una transmisión de audio. La funcionalidad del sistema faltante que proporciona el asistente puede implementarse en versiones posteriores del sistema (o incluso pueden ser capacidades especulativas que los sistemas actuales no tienen), pero sus detalles precisos generalmente se consideran irrelevantes para el estudio. En situaciones de prueba, el objetivo de tales experimentos puede ser observar el uso y la efectividad de una interfaz de usuario propuesta por los participantes de la prueba, en lugar de medir la calidad de un sistema completo.
Origen
John F. ("Jeff") Kelley acuñó las frases "Wizard of OZ" y "OZ Paradigm" para este propósito alrededor de 1980 para describir el método que desarrolló durante su trabajo de tesis en la Universidad Johns Hopkins . (Su asesor de tesis fue el difunto profesor Alphonse Chapanis , el "Padrino de los factores humanos y la psicología de la ingeniería".) Curiosamente, además de algunos espejos unidireccionales y cosas así, literalmente había una cortina opaca que separaba a Jeff, como el "Mago". ”, Desde la vista del participante durante el estudio.
La técnica del “Experimentador en el bucle” fue pionera en el Laboratorio de Investigación de Comunicaciones de Chapanis en Johns Hopkins ya en 1975 (JF Kelley llegó en 1978). W. Randolph Ford utilizó la técnica del experimentador en el circuito con su innovador programa CHECKBOOK en el que obtuvo muestras de lenguaje en un entorno naturalista. En el método de Ford, se colocaría una versión preliminar del sistema de procesamiento del lenguaje natural frente al usuario. Cuando el usuario ingresaba una sintaxis que no se reconocía, recibía un "¿Podrías reformular eso?" mensaje del software. Después de la sesión, se crearían o mejorarían los algoritmos para procesar las muestras recién obtenidas y se llevaría a cabo otra sesión. Este enfoque condujo al eventual desarrollo de su técnica de procesamiento del lenguaje natural, "Reducción de patrones en múltiples etapas". El recuerdo del Dr. Ford fue que el Dr. Kelley de hecho acuñó la frase "Paradigma del Mago de Oz", pero que la técnica se había empleado en al menos dos estudios separados antes de que el Dr. Kelley comenzara a realizar estudios en el Laboratorio de Telecomunicaciones de Johns Hopkins. Allen Munro y Don Norman realizaron un uso temprano similar de la técnica para modelar un sistema de comprensión del lenguaje natural que se estaba desarrollando en el Centro de Investigación Xerox Palo Alto alrededor de 1975 en la Universidad de California, San Diego. Una vez más, el nombre "Mago de Oz" aún no se había aplicado a esta técnica. Los resultados fueron publicados en un artículo de 1977 por el equipo (Bobrow, et al.).
En ese empleo, el experimentador (el "Mago") se sentó en una terminal en una habitación adyacente separada por un espejo unidireccional para que el sujeto pudiera ser observado. Cada entrada del usuario se procesó correctamente mediante una combinación de procesamiento de software e intervención del experimentador en tiempo real. A medida que el proceso se repitió en sesiones posteriores, se agregaron más y más componentes de software para que el experimentador tuviera cada vez menos que hacer durante cada sesión hasta que se alcanzó la asíntota en el crecimiento del diccionario de frases / palabras y el experimentador pudo "ir a buscar una taza de café ”Durante la sesión (que en este punto fue una validación cruzada del rendimiento desatendido del sistema final).
Un último punto: el recuerdo del Dr. Kelley de la acuñación del término está respaldado por el del difunto profesor Al Chapanis. En su informe técnico de 1985 de la Universidad de Michigan , Green y Wei-Haas afirman lo siguiente: La primera aparición del nombre "Mago de Oz" impreso fue en la tesis de Jeff Kelley (Kelley, 1983a, 1983b, 1984a). Se cree que el nombre se acuñó en respuesta a una pregunta en un seminario de posgrado en Hopkins (Chapanis, 1984; Kelley, 1984b). "¿Qué sucede si el sujeto ve al experimentador [detrás de la" cortina "en una habitación adyacente actuando como la computadora]? Kelley respondió: "Bueno, eso es como lo que le pasó a Dorothy en el Mago de Oz". Y así el nombre se quedó. (Citado con permiso).
También hay una referencia de pasada al uso planificado de los "experimentos del Mago de Oz" en un documento de procedimiento de 1982 de Ford y Smith.
Un hecho, presentado en la disertación de Kelley, sobre la etimología del término en este contexto: el Dr. Kelley originalmente tenía una definición para el acrónimo "OZ" (aparte de los obvios paralelos con el libro de 1900 El maravilloso mago de Oz de L Frank Baum ). "Offline Zero" era una referencia al hecho de que un experimentador (el "Asistente") estaba interpretando las entradas de los usuarios en tiempo real durante la fase de simulación.
En ocasiones, se habían utilizado anteriormente configuraciones experimentales similares, pero sin el nombre de "Mago de Oz". El investigador de diseño Nigel Cross realizó estudios en la década de 1960 con sistemas de diseño "simulados" asistidos por computadora en los que el supuesto simulador era en realidad un operador humano, utilizando texto y comunicación gráfica a través de CCTV . Como explicó, "Todo lo que el usuario percibe del sistema es esta consola de acceso remoto, y el resto es una caja negra para él. ... también se puede llenar la caja negra con personas que con maquinaria. Hacerlo proporciona un simulador comparativamente barato, con las notables ventajas de la flexibilidad, la memoria y la inteligencia del operador humano, y que se puede reprogramar para dar una amplia gama de funciones de computadora simplemente cambiando las reglas de operación. A veces carece de la velocidad y precisión de la computadora real , pero un equipo de expertos que trabajen simultáneamente puede compensar en un grado suficiente para proporcionar una simulación aceptable ". [2] Cross se refirió más tarde a esto como una especie de prueba de Turing inversa . [3]
Significado
El método Wizard of OZ es muy poderoso. En su aplicación original, el Dr. Kelley pudo crear un sistema de reconocimiento de lenguaje natural de entrada de teclado simple que excedía con creces las tasas de reconocimiento de cualquiera de los sistemas mucho más complejos del día.
La corriente de pensamiento entre muchos informáticos y lingüistas en ese momento era que, para que una computadora pudiera "comprender" el lenguaje natural lo suficiente como para poder ayudar en tareas útiles, el software tendría que estar conectado a un formidable " diccionario ”que tiene una gran cantidad de categorías para cada palabra. Las categorías permitirían un algoritmo de análisis muy complejo para desentrañar las ambigüedades inherentes al lenguaje producido naturalmente. La abrumadora tarea de crear un diccionario de este tipo llevó a muchos a creer que las computadoras simplemente nunca "entenderían" verdaderamente el lenguaje hasta que pudieran ser "criadas" y "experimentar la vida" como humanos, ya que los humanos parecen aplicar el valor de las experiencias de una vida a la interpretación. del lenguaje.
El factor habilitador clave para el primer uso del método OZ fue que el sistema fue diseñado para funcionar en un solo contexto (mantenimiento de calendario), lo que limitó la complejidad del lenguaje encontrado por los usuarios en la medida en que un modelo simple de procesamiento del lenguaje era suficiente. para cumplir con los objetivos de la aplicación. El modelo de procesamiento fue un enfoque de coincidencia de palabras clave / frases clave de dos pasos, basado libremente en los algoritmos empleados en el famoso programa Eliza de Weizenbaum . Al inducir a los participantes a generar muestras de lenguaje en el contexto de la resolución de una tarea real (utilizando una computadora que creían que realmente entendía lo que estaban escribiendo), la variedad y complejidad de las estructuras léxicas recopiladas se redujo en gran medida y se pudieron desarrollar algoritmos simples de coincidencia de palabras clave. para abordar el idioma real recopilado.
Este primer uso de OZ fue en el contexto de un enfoque de diseño iterativo . En las primeras sesiones de desarrollo, el experimentador simuló el sistema en su totalidad , realizando todas las consultas de la base de datos y componiendo todas las respuestas a los participantes a mano. A medida que el proceso maduró, el experimentador pudo reemplazar las intervenciones humanas , pieza por pieza, con código desarrollado recientemente creado (que, en cada fase, fue diseñado para procesar con precisión todas las entradas que se generaron en los pasos anteriores). Al final del proceso, el experimentador pudo observar las sesiones en un modo de "no intervención" (y medir las tasas de reconocimiento del programa completado).
OZ fue importante porque abordó la crítica obvia:
- ¿Quién puede permitirse utilizar un método iterativo para construir un sistema de lenguaje natural separado (diccionarios, sintaxis) para cada nuevo contexto? ¿No estaría siempre agregando nuevas estructuras y algoritmos para manejar cada nuevo lote de entradas?
La respuesta resultó ser:
Al utilizar un enfoque empírico como OZ, cualquiera puede permitirse hacer esto; El diccionario del Dr. Kelley y el crecimiento de la sintaxis alcanzaron una asíntota (logrando tasas de reconocimiento de 86% a 97%, dependiendo de las medidas empleadas) después de solo 16 ensayos experimentales y el programa resultante, con diccionarios, tenía menos de 300k de código.
En los 23 años que siguieron a la publicación inicial, el método OZ se ha empleado en una amplia variedad de entornos, especialmente en la creación de prototipos y las pruebas de usabilidad de los diseños de interfaz de usuario propuestos antes de tener el software de aplicación real en su lugar.
Referencias ficticias
El nombre del experimento proviene de la historia de El maravilloso mago de Oz , en la que un hombre corriente se esconde detrás de una cortina y pretende, mediante el uso de tecnología "amplificadora", ser un mago poderoso .
En la novela Small World de David Lodge , un profesor universitario de literatura inglesa conoce un programa informático llamado ELIZA, que cree que es capaz de mantener una conversación coherente con él. Resulta que un profesor de informática está operando la computadora y proporcionando todas las respuestas. El programa ELIZA original , que proporciona respuestas básicas pero a menudo sorprendentemente parecidas a las humanas, fue escrito en el MIT por Joseph Weizenbaum en la década de 1960.
Ver también
- Prueba de Turing inversa
- Habitación china : un experimento mental con una premisa similar.
- El dispositivo Turk - Wizard of Oz utilizado como una máquina de ajedrez falsa
Referencias
Estas son algunas de las referencias originales (y posteriores) sobre el tema (el método ha sido recogido en muchos dominios de investigación y existen numerosas referencias posteriores, de las cuales solo algunas se enumeran aquí).
Resumen de los aspectos técnicos del trabajo:
Kelley, JF, "CAL - Un programa de lenguaje natural desarrollado con el paradigma OZ: Implicaciones para los sistemas de supercomputación". Primera Conferencia Internacional sobre Sistemas de Supercomputación (San Petersburgo, Florida, 16-20 de diciembre de 1985), Nueva York, ACM, págs. 238-248.
Breve descripción del método:
Kelley, JF, “Una metodología empírica para escribir aplicaciones informáticas en lenguaje natural fáciles de usar”. Proceedings of ACM SIG-CHI '83 Human Factors in Computing systems (Boston, 12-15 de diciembre de 1983), Nueva York, ACM, págs. 193-196. [1]
La mejor descripción del método:
Kelley, JF, “Una metodología de diseño iterativo para aplicaciones de información de oficina en lenguaje natural fáciles de usar”. ACM Transactions on Office Information Systems, marzo de 1984, 2: 1, págs. 26–41. [2]
La tesis inédita en sí:
Kelley, JF, “Lenguaje natural y computadoras: seis pasos empíricos para escribir una aplicación de computadora fácil de usar”. Tesis doctoral inédita, Johns Hopkins University, 1983. (El artículo 8321592 puede obtenerse de University Microfilms International; 300 North Zeeb Road; Ann Arbor; Michigan; 48106; EE. UU.)
El trabajo de la Universidad de California en San Diego:
Bobrow, D., Kaplan, R., Kay, M., Norman, D., Thompson, H. y Winograd, T. (1977). GUS, un sistema de diálogo basado en marcos. Artificial Intelligence, 8: 2 (abril de 1977) 155-173., 8 (2), 155-173.
Referencias e implementaciones posteriores (una muestra de aproximadamente 30 años de citas):
Schieben, A. y col. 2009, "La técnica del sistema de teatro: diseño ágil y prueba del comportamiento y la interacción del sistema, aplicada a vehículos altamente automatizados". En Actas de la 1ª Conferencia Internacional sobre Interfaces de Usuario de Automoción y Aplicaciones Interactivas de Vehículos (Essen, Alemania, 2009). ACM Press, Nueva York, Estados Unidos. [3]
Akers, D. 2006. Mago de Oz para el diseño participativo: inventando una interfaz gestual para la selección 3D de estimaciones de vías neuronales. En CHI '06 Extended Abstracts on Human Factors in Computing Systems (Montreal, Québec, Canadá, 22-27 de abril de 2006). CHI '06. ACM Press, Nueva York, EE. UU., 454-459. [4]
Höysniemi, J., Hämäläinen, P. y Turkki, L. 2004. Creación de prototipos del Mago de Oz de juegos de acción para niños basados en la visión por computadora. En Actas de la Conferencia de 2004 sobre diseño de interacción y niños: construyendo una comunidad (Maryland, 1–03 de junio de 2004). IDC '04. ACM Press, Nueva York, EE. UU., 27-34. [5]
Molin, L. 2004. Prototipado del Mago de Oz para el diseño de interacción cooperativa de interfaces gráficas de usuario. En Actas de la Tercera Conferencia Nórdica sobre Interacción Hombre-Computadora (Tampere, Finlandia, 23 al 27 de octubre de 2004). NordiCHI '04, vol. 82. ACM Press, Nueva York, EE. UU., 425-428. [6]
Lai, J. y Yankelovich, N. 2003. Interfaces conversacionales del habla. En el Manual de interacción hombre-ordenador: fundamentos, tecnologías en evolución y aplicaciones emergentes, JA Jacko y A. Sears, Eds. [ aclaración necesaria ] Factores humanos y ergonomía. Lawrence Erlbaum Associates, Mahwah, Nueva Jersey, EE. UU., 698-713.
Gleicher, ML, Heck, RM y Wallick, MN 2002. Un marco para la videografía virtual. En Actas del 2º Simposio internacional sobre gráficos inteligentes (Hawthorne, Nueva York, 11 al 13 de junio de 2002). SMARTGRAPH '02, vol. 24. ACM Press, Nueva York, EE.UU., 9-16. [7]
Klemmer, SR, Sinha, AK, Chen, J., Landay, JA, Aboobaker, N. y Wang, A. 2000. Suede: una herramienta de creación de prototipos del Mago de Oz para interfaces de usuario de voz. En las actas del 13º Simposio anual de ACM sobre software y tecnología de interfaz de usuario (San Diego, California, Estados Unidos, 6 al 8 de noviembre de 2000). UIST '00. ACM Press, Nueva York, EE. UU., 1-10. [8]
Hewett, Thomas T. (et al.), “Currículos para la interacción persona-computadora”, ACM SIGCHI, 1992, 1996, Capítulo 2. [9]
Piernot, PP, Felciano, RM, Stancel, R., Marsh, J. e Yvon, M. 1995. Diseño de PenPal: combinación de hardware y software en una interfaz de usuario para niños. En Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (Denver, Colorado, Estados Unidos, 7 al 11 de mayo de 1995). IR Katz, R. Mack, L. Marks, MB Rosson y J. Nielsen, Eds. [ aclaración necesaria ] Conferencia sobre factores humanos en los sistemas informáticos. ACM Press / Addison-Wesley Publishing Co., Nueva York, EE. UU., 511–518. [10]
Prager, JM, Lamberti, DM, Gardner, DL y Balzac, SR 1990. RAZÓN: un asistente de usuario inteligente para entornos interactivos. IBM Syst. J. 29, 1 (enero de 1990), 141-164.
Dahlbäck, N. y Jönsson, A. 1989. Estudios empíricos de representaciones del discurso para interfaces de lenguaje natural. En Actas de la Cuarta Conferencia sobre el Capítulo Europeo de la Asociación de Lingüística Computacional (Manchester, Inglaterra, 10 al 12 de abril de 1989). Reunión del Capítulo Europeo de la ACL. Asociación de Lingüística Computacional, Morristown, Nueva Jersey, EE. UU., 291–298. [11]
Carroll, J. y Aaronson, A. 1988. Aprender haciendo con ayuda inteligente simulada. Comun. ACM 31, 9 (agosto de 1988), 1064-1079. [12]
Gould, JD y Lewis, C. 1985. Diseñar para la usabilidad: principios clave y lo que piensan los diseñadores. Comun. ACM 28, 3 (marzo de 1985), 300–311. [13]
Green, P. y Wei-Haas, L. 1985. El rápido desarrollo de interfaces de usuario: experiencia con el método Wizard of OZ. En Actas de la Reunión Anual de la Sociedad de Factores Humanos y Ergonomía, volumen 29, número 5, 1985, págs. 470 - 474 (5). [14]
Embley, DW y Kimbrell, RE 1985. Un traductor de consultas de lenguaje natural basado en esquemas. En Actas de la Decimotercera Conferencia Anual ACM sobre Ciencias de la Computación de 1985 (Nueva Orleans, Luisiana, Estados Unidos). CSC '85. ACM Press, Nueva York, EE. UU., 292–297. [15]
Good, MD, Whiteside, JA, Wixon, DR y Jones, SJ 1984. Creación de una interfaz derivada del usuario. Comun. ACM 27, 10 (octubre de 1984), 1032-1043. [dieciséis]
Varias docenas de referencias aquí.