El efecto de modo es un término amplio que se refiere a un fenómeno en el que un modo de administración de una encuesta en particular hace que se recopilen datos diferentes. Por ejemplo, cuando se hace una pregunta utilizando dos modos diferentes ( por ejemplo, papel y teléfono), las respuestas a un modo pueden ser significativa y sustancialmente diferentes de las respuestas dadas en el otro modo. Los efectos de modo son un artefacto metodológico que limita la capacidad de comparar resultados de diferentes modos de recopilación.
Teoría
Los modos de encuesta particulares colocan a los encuestados en diferentes estados de ánimo, lo que se conoce como un "guión" mental. [1] Esto puede afectar los resultados que dan. Por ejemplo:
- Las encuestas cara a cara solicitan un guión de "invitado". Es más probable que los encuestados traten a los entrevistadores cara a cara con amabilidad y hospitalidad, lo que los lleva a ser más agradables y afecta sus respuestas. Las diferencias entre los entrevistadores que administran la encuesta también pueden dar lugar a una serie de "efectos del entrevistador" en los resultados de la encuesta.
- Las entrevistas telefónicas generan un guión de "abogado" o "vendedor telefónico". Los encuestados pueden dar menos prioridad a las entrevistas telefónicas, lo que los hace más propensos a satisfacer (responder a las preguntas con el menor esfuerzo posible) para terminar la entrevista antes. La cautela de quién puede estar al otro lado del teléfono también puede llevar a los encuestados a proporcionar respuestas socialmente más aceptables que las que se darían en otros modos de encuesta.
Es probable que los efectos de modo sean mayores cuando las diferencias entre los modos son mayores [ cita requerida ] . Las entrevistas cara a cara son sustancialmente diferentes de los formularios autocompletados en papel y lápiz. Por el contrario, las encuestas web, el lápiz y el papel y otros formularios autocompletados son bastante similares (cada uno de los cuales requiere que los encuestados lean y respondan en privado a una pregunta) y, por lo tanto, los efectos de modo pueden minimizarse.
Los usuarios de encuestas deben considerar el potencial de efectos de modo al comparar los resultados de los estudios en diferentes modos. Sin embargo, esto es difícil ya que los efectos de modo pueden ser complejos y estar sujetos a interacciones entre los datos demográficos de los encuestados, el tema y el modo. A menos que los efectos de modo se investiguen formalmente para el instrumento de encuesta, es difícil cuantificar su tamaño y, en su lugar, se requieren juicios cualitativos de expertos familiarizados con el tema y los modos respectivos.
Sesgo de deseabilidad social
Los estudios de los efectos modales son a veces contradictorios, pero surgen algunos patrones generales. Por ejemplo, el sesgo de deseabilidad social tiende a ser más alto para las encuestas telefónicas y más bajo para las encuestas web: [2] [3]
- Encuestas telefónicas
- Encuestas presenciales
- Encuestas IVR
- Encuestas por correo
- Encuestas web
Por lo tanto, dado que los datos recopilados sobre temas sensibles (como el comportamiento sexual o las actividades ilícitas) cambiarán según el modo de administración, los investigadores deben tener cuidado al combinar datos o comparar resultados de diferentes modos.
Diferencias en preguntas entre modos
Algunos modos requieren una redacción de preguntas diferente a la de otros, para adaptarse a las características del modo. Por ejemplo, los formularios autocompletados pueden usar listas de ejemplos o instrucciones extensas para ayudar a los encuestados a responder preguntas relativamente complejas. Por el contrario, en las entrevistas telefónicas, los encuestados suelen estar limitados por su memoria de trabajo y es poco probable que comprendan una pregunta larga con múltiples subcláusulas. Otro ejemplo es una "matriz" de preguntas, que se encuentra comúnmente en formularios autocompletados, que no se pueden leer fácilmente en una entrevista verbal; más bien, una matriz generalmente debería estar escrita como una serie de preguntas individuales.
Las diferencias en la redacción de las preguntas entre los modos pueden hacer que se recopilen datos diferentes por modos diferentes. Sin embargo, este no es siempre el caso, y la adaptación adecuada de las preguntas a un nuevo modo puede producir datos comparables [ cita requerida ] . Los diseñadores de encuestas deben considerar las convenciones del modo al adaptar las preguntas. Por ejemplo, si bien puede ser aceptable exigir a los encuestados que calculen las cifras totales por sí mismos en un formulario en papel, los encuestados pueden percibir que es una carga si esto se requiere en un formulario web (donde los encuestados pueden esperar que la computadora calcule los totales automáticamente). . Esto, a su vez, puede cambiar su actitud hacia el formulario, alterar su comportamiento y, en última instancia, cambiar los datos recopilados.
Identificación y resolución de efectos de modo
Los efectos de modo se pueden identificar incorporando un experimento dentro de la encuesta, donde una proporción de encuestados se asigna a cada modo. Las diferencias en los resultados de cada modo deben identificar el 'efecto de modo' para esta encuesta en particular.
Una vez que se ha cuantificado un efecto de modo, puede ser posible utilizar esta información para reprocesar los datos existentes y permitir la comparación entre los datos recopilados en diferentes modos (por ejemplo, retrocediendo una serie de tiempo para determinar qué resultados pasados 'habrían' sido si se hubieran administrado en el nuevo modo).
Cobertura diferencial entre modos
Los diferentes modos de administración pueden excluir inherentemente a algunas partes de la población objetivo. Esto potencialmente sesga la muestra que se toma y cambia los datos de lo que se habría recopilado utilizando otro modo. Por ejemplo, las personas sin teléfono residencial están excluidas de las encuestas de marcación aleatoria de dígitos (RDD) y es poco probable que las personas sin acceso a Internet completen una encuesta web. Esto significa que se toman diferentes muestras de la población cuando se utilizan diferentes modos. A menos que los experimentos estén diseñados específicamente para investigar la cobertura diferencial, los efectos de modo se confundirán con la cobertura [4] , y las diferencias significativas entre modos / condiciones experimentales podrían tener varias explicaciones:
- propiedades del modo; com3
- diferentes "tipos" de personas que responden a los diferentes modos;
- tanto las propiedades del modo como los diferentes "tipos" de encuestados (de forma aditiva);
- una interacción , en la que algunos encuestados se ven afectados por las propiedades del modo, pero otros no.
Este problema se agrava cuando, en la administración "en vivo" de una encuesta, se utilizan múltiples modos. Algunas encuestas utilizan múltiples modos, lo que permite a los encuestados elegir el método más conveniente para ellos. Es decir, se espera que diferentes "tipos" de encuestados completen diferentes modos en función de sus propias elecciones. En este caso, los efectos de modo son difíciles de cuantificar, ya que la asignación aleatoria de los encuestados a una condición no refleja su preferencia. Tal experimento carece de validez externa y los resultados no se generalizarían directamente a situaciones que ofrezcan a los encuestados una opción. No asignar aleatoriamente a los participantes a una condición (es decir, permitirles tener una opción, conservando así la validez externa) significaría que las diferencias aparentes entre los modos reflejan el efecto combinado de a) diferentes tipos de encuestados que eligen cada modo yb) cualquier efecto de modo.
Referencias
- ^ Groves, Robert M. (1989). Errores y costos de la encuesta , Nueva York: Wiley-Interscience.
- ^ Frauke Kreuter , Stanley Presser y Roger Tourangeau. "Sesgo de deseabilidad social en encuestas CATI, IVR y Web: los efectos del modo y la sensibilidad de la pregunta". Opinión pública Q (2008) 72 (5): 847-865 publicado por primera vez en línea el 26 de enero de 2009 doi : 10.1093 / poq / nfn063
- ^ Allyson L. Holbrook, Melanie C. Green y Jon A. Krosnick. "Entrevista telefónica frente a cara a cara de muestras de probabilidad nacional con cuestionarios largos: comparaciones de la satisfacción del encuestado y el sesgo de respuesta de deseabilidad social". Opinión pública Q (2003) 67 (1): 79-125. doi : 10.1086 / 346010 .
- ↑ de Leeuw, E. (2005). Mezclar o no mezclar modos de recolección de datos en encuestas. Diario de estadísticas oficiales, 21 (2): 233-255.