Las técnicas de escalamiento mejor-peor ( BWS ) [1] involucran modelos de elección (o experimento de elección discreta - "DCE") y fueron inventadas por Jordan Louviere en 1987 mientras estaba en la facultad de la Universidad de Alberta . En general, con BWS, a los encuestados se les muestra un subconjunto de elementos de una lista maestra y se les pide que indiquen los mejores y peores elementos (o más y menos importantes, o más y menos atractivos, etc.). La tarea se repite varias veces, variando el subconjunto particular de elementos de una manera sistemática, generalmente de acuerdo con un diseño estadístico.. El análisis se realiza típicamente, como ocurre con los DCE en general, asumiendo que los encuestados toman decisiones de acuerdo con un modelo de utilidad aleatorio (RUM). Los RUM suponen que una estimación de cuánto prefiere un encuestado el ítem A sobre el ítem B es proporcionada por la frecuencia con la que se elige el ítem A sobre el ítem B en elecciones repetidas. Por lo tanto, las frecuencias de elección estiman las utilidades en la escala latente relevante. BWS tiene como objetivo fundamental proporcionar más información sobre las opciones en el extremo inferior de esta escala sin tener que hacer preguntas adicionales que son específicas de los elementos de clasificación inferior.
Historia
Louviere atribuye la idea al trabajo temprano de Anthony AJ Marley en su tesis doctoral, quien junto con Duncan Luce en la década de 1960 produjo gran parte de la investigación pionera en psicología matemática y psicofísica para axiomatizar la teoría de la utilidad. Marley había encontrado problemas para axiomatizar ciertos tipos de datos de clasificación y especuló en la discusión de su tesis que el examen de los elementos "inferiores" y "superiores" en una lista podría ser un tema fructífero para futuras investigaciones. La idea luego languideció durante tres décadas hasta que aparecieron los primeros documentos de trabajo y publicaciones a principios de la década de 1990. El libro de texto definitivo que describe la teoría, los métodos y las aplicaciones fue publicado en septiembre de 2015 ( Cambridge University Press ) por Jordan Louviere ( Universidad de Australia del Sur ), Terry N Flynn (TF Choices Ltd.) y Anthony A. J Marley ( Universidad de Victoria y Canadá ). Universidad de Australia del Sur). [1] El libro reúne investigaciones dispares de diversas disciplinas académicas y prácticas, con la esperanza de evitar la replicación y los errores en la implementación. Los tres autores ya han publicado (individualmente y en conjunto) muchos de los artículos académicos clave revisados por pares que describen la teoría de BWS, [2] [3] [4] la práctica, [5] [6] y una serie de aplicaciones en salud, [ 5] atención social, [7] marketing, [6] transporte, votación, [8] y economía ambiental. [9] Sin embargo, el método se ha vuelto popular en las comunidades más amplias de investigadores y profesionales, y otros investigadores exploran su uso en áreas tan diversas como la evaluación de la enseñanza por parte de los estudiantes , [10] la comercialización del vino, [11] la cuantificación de las preocupaciones sobre el TDAH. medicación, [12] la importancia de la sostenibilidad ambiental, [13] y el establecimiento de prioridades en las pruebas genéticas . [14]
Propósitos
Hay dos propósitos diferentes de BWS: como método de recopilación de datos y / o como teoría de cómo las personas toman decisiones cuando se enfrentan a tres o más elementos. Esta distinción es crucial, dado el uso indebido continuo del término maxdiff para describir el método. Como señalan Marley y Louviere, maxdiff es una teoría matemática académica establecida desde hace mucho tiempo con supuestos muy específicos sobre cómo las personas toman decisiones: [2] asume que los encuestados evalúan todos los pares posibles de elementos dentro del conjunto mostrado y eligen el par que refleja el máximo diferencia en preferencia o importancia.
Como teoría del proceso (teoría de la toma de decisiones)
Considere un conjunto en el que un encuestado evalúa cuatro elementos: A, B, C y D. Si el encuestado dice que A es mejor y D es peor, estas dos respuestas nos informan sobre cinco de seis posibles comparaciones por pares implícitas:
- A> B, A> C, A> D, B> D, C> D
La única comparación pareada que no se puede inferir es B versus C. En una elección entre cinco ítems, el cuestionario MaxDiff informa sobre siete de diez comparaciones pareadas implícitas. Por tanto, BWS se puede considerar como una variación del método de Comparaciones Pareadas .
Sin embargo, los encuestados pueden producir los mejores y los peores datos de varias formas. En lugar de evaluar todos los pares posibles (el modelo maxdiff ), podrían elegir el mejor de n elementos, el peor de los n-1 restantes, o viceversa. O, de hecho, pueden usar otro método por completo. Por tanto, debería quedar claro que maxdiff es un subconjunto de BWS . El modelo maxdiff ha demostrado ser útil para probar las propiedades de varios estimadores en BWS. [2] [3] [4] Sin embargo, su realismo como descripción de cómo los seres humanos podrían proporcionar los mejores y los peores datos puede cuestionarse por la siguiente razón. A medida que aumenta el número de elementos, el número de pares posibles aumenta de forma multiplicativa: n elementos produce n (n-1) pares (donde el orden mejor-peor es importante). Asumir que los encuestados no evalúan todos los pares posibles es una suposición fuerte y en 14 años de presentaciones, los tres co-autores casi nunca han encontrado un participante del curso o conferencia que admitió el uso de este método para decidir sus mejores opciones y peores. [1] Prácticamente todos admitieron el uso de modelos secuenciales (mejor luego peor o peor que mejor). [15]
Los primeros trabajos (incluido el del propio Louviere) usaban el término maxdiff para referirse a BWS, pero con el reclutamiento de Marley para el equipo que desarrolló el método, la terminología académica correcta se ha diseminado por toda Europa y Asia-Pacífico (si no América del Norte, que sigue utilizando el término maxdiff). De hecho, es una cuestión abierta si los principales fabricantes de software de rutinas maxdifff de elección discreta realmente implementan modelos maxdiff en la estimación de parámetros, a pesar de esta publicidad continua de las capacidades maxdiff.
Como método de recopilación de datos
El segundo uso de BWS es como método de recopilación de datos (más que como una teoría de cómo los humanos producen un artículo mejor y peor). BWS se puede utilizar, particularmente en la era de las encuestas basadas en la web, para recopilar datos de una manera sistemática que (1) obligue a todos los encuestados a proporcionar los mejores y los peores datos de la misma manera (por ejemplo, preguntando lo mejor primero, gris elegir la opción elegida y luego preguntar lo peor); (2) Permite la recopilación de una clasificación completa, si se implementan preguntas repetidas de BWS para recopilar las "clasificaciones internas". En muchos contextos, BWS para la recopilación de datos se ha considerado simplemente como una forma de obtener dichos datos con el fin de facilitar la expansión de datos (para estimar modelos logit condicionales con muchos más conjuntos de opciones) o estimar modelos logit ordenados por rangos convencionales. [dieciséis]
Tipos ("casos")
El cambio de nombre del método, para dejar en claro que la escala maxdiff es BWS pero BWS no es necesariamente maxdiff, fue decidido por Louviere en consulta con sus dos colaboradores clave (Flynn y Marley) en preparación para el libro, y fue presentado en un artículo por Flynn. [17] Ese documento también aprovechó la oportunidad para aclarar que existen, de hecho, tres tipos ("casos") de BWS: Caso 1 (el "caso objeto"), Caso 2 (el "caso perfil") y Caso 3 (el "caso de múltiples perfiles"). Estos tres casos difieren en gran medida en la complejidad de los elementos de elección que se ofrecen.
Caso 1 (el "caso objeto")
El caso 1 presenta elementos que pueden ser declaraciones de actitud, objetivos de políticas, eslóganes de marketing o cualquier tipo de elemento que no tenga una estructura de atributos y niveles. Se utiliza principalmente para evitar sesgos de escala que se sabe que afectan los datos de la escala de calificación ( Likert ). [18] [19] Es particularmente útil cuando se obtiene el grado de importancia o acuerdo que los encuestados atribuyen de un conjunto de declaraciones y cuando el investigador desea asegurarse de que los elementos compiten entre sí (de modo que los encuestados no puedan calificar fácilmente varios elementos como siendo de la misma importancia).
Caso 2 (el "caso de perfil")
El caso 2 ha predominado en la salud y los ítems son los niveles de atributo que describen un perfil único del tipo familiar para los modeladores de opciones. En lugar de tomar decisiones entre perfiles, el encuestado debe elegir las mejores y las peores (la mayoría y la menos) dentro de un perfil. Por lo tanto, para el ejemplo de un teléfono móvil (celular), las opciones serían las características más aceptables y menos aceptables de un teléfono dado. El caso 2 ha demostrado ser poderoso para generar preferencias entre grupos vulnerables, como los ancianos, [20] [21] cuidadores mayores, [22] y los niños, [23] que encuentran difíciles los experimentos convencionales de elección discreta de múltiples perfiles. De hecho, la primera comparación del Caso 2 con un DCE en un solo modelo encontró que, si bien la gran mayoría de los encuestados (mayores) proporcionaron datos utilizables de la tarea BWS, solo alrededor de la mitad lo hizo para el DCE. [20]
Caso 3 (el "caso de varios perfiles")
El caso 3 es quizás el más familiar para los modeladores de elección, ya que es simplemente una extensión de un modelo de elección discreta: el número de perfiles debe ser tres o más, y en lugar de simplemente elegir el que compraría el encuestado, elige el mejor y peor perfil.
Diseños para estudios
Los estudios de BWS del Caso 1 suelen utilizar diseños de bloques incompletos equilibrados (BIBD). Esto hace que todos los elementos aparezcan la misma cantidad de veces y también obligan a que todos los elementos compitan entre sí la misma cantidad de veces. Estas características son atractivas, ya que se evita que el encuestado infiera información errónea sobre los artículos (en qué artículos está "realmente" interesado el diseñador). [1] También aseguran que no pueda haber "empates" en importancia / prominencia en la parte superior o inferior de la escala.
Los estudios de BWS del Caso 2 pueden utilizar Planes de Efectos Principales Ortogonales (OMEP) o diseños eficientes, aunque hasta la fecha ha predominado el primero.
Los estudios de BWS del Caso 3 pueden utilizar cualquiera de los tipos de diseño típicamente utilizados para un DCE, con la condición de que el número de perfiles (alternativas) en un conjunto de opciones debe ser tres o más para que la tarea BWS tenga sentido.
Historia reciente
Steve Cohen introdujo BWS en el mundo de la investigación de mercados en un artículo presentado en una conferencia de ESOMAR en Barcelona en 2002 titulado "Renovación de la segmentación del mercado: algunas herramientas nuevas para corregir viejos problemas". Este artículo fue nominado como Mejor artículo en esa conferencia. En 2003, en la Conferencia ESOMAR de América Latina en Punta del Este , Uruguay, Steve y su coautor, el Dr. Leopldo Neira, compararon los resultados de BWS con los obtenidos por métodos de escala de calificación. Este artículo ganó el premio al Mejor Artículo Metodológico en esa conferencia. Posteriormente, ese mismo año, fue seleccionado como ganador del premio John and Mary Goodyear al Mejor Trabajo en todas las Conferencias ESOMAR en 2003 y luego fue publicado como el artículo principal en "Excelencia en Investigación Internacional 2004", publicado por ESOMAR. En la Conferencia de software Sawtooth 2003, el artículo de Steve Cohen, "Escala de diferencia máxima: medidas mejoradas de importancia y preferencia por la segmentación", fue seleccionado como Mejor presentación. Cohen y el presidente de Sawtooth Software , Bryan Orme, acordaron que MaxDiff debería ser parte del paquete Sawtooth y se presentó más tarde ese año. Más tarde, en 2004, Cohen y Orme ganaron el premio David K. Hardin de la AMA por su artículo que se publicó en la revista Marketing Research titulado "¿Cuál es su preferencia? Preguntar a los encuestados sobre sus preferencias crea nuevas decisiones de escala".
Paralelamente, Emma McIntosh y Jordan Louviere presentaron BWS (caso 2) a la comunidad de la salud en la conferencia del Grupo de Estudio de Economistas de la Salud de 2002. Esto motivó la colaboración con Flynn y, en última instancia, el vínculo con Marley, que había comenzado a trabajar con Louviere de forma independiente para probar las propiedades de los estimadores BWS. La popularidad de los tres casos ha variado en gran medida según la disciplina académica, con el caso 1 demostrando ser popular en la investigación de marketing y alimentos, el caso 2 se adoptó en gran medida en salud y el caso 3 se utilizó en una variedad de disciplinas que ya utilizan DCE. Fue en parte esta falta de comprensión en muchas disciplinas que en realidad hay tres casos de BWS lo que llevó a los tres desarrolladores principales a escribir el libro de texto.
El libro contiene un capítulo introductorio que resume la historia de BWS y los tres casos, junto con por qué el encuestado debe pensar si desea utilizarlo para comprender la teoría (procesos) de la toma de decisiones y / o simplemente para recopilar datos en de forma sistemática. Siguen tres capítulos, uno para cada caso, detallando la intuición y aplicación de cada uno. A continuación, se presenta un capítulo que reúne el trabajo de Marley que demuestra las propiedades de los estimadores clave y presenta algunos problemas abiertos. Después de exponer los temas abiertos para un análisis más detallado, siguen nueve capítulos (tres por caso, que describen aplicaciones de una variedad de disciplinas).
Realización de un estudio
Los pasos básicos para realizar todo tipo de estudio BWS son:
- Lleve a cabo una investigación cualitativa o de otro tipo adecuada para identificar y describir adecuadamente todos los elementos de interés. [24]
- Construya un diseño estadístico que indique qué elementos se presentarán en cada conjunto de elementos ("conjunto de opciones"); los diseños pueden provenir de catálogos disponibles públicamente, construirse a mano o producirse a partir de software disponible comercialmente.
- Utilice el diseño para construir los conjuntos de opciones, que contienen los elementos relevantes reales (textualmente o visualmente).
- Obtener datos de respuesta donde los encuestados eligen lo mejor y lo peor de cada tarea; repetir mejor-peor (para obtener el segundo mejor, el segundo peor, etc.) se puede realizar si el analista desea más datos.
- Ingrese los datos en un programa de software estadístico y analícelos. El software producirá funciones de utilidad para cada una de las características. Además de las puntuaciones de los servicios públicos, también puede solicitar recuentos brutos que simplemente sumarán el número total de veces que se seleccionó un producto como mejor y peor. Estas funciones de utilidad indican el valor percibido del producto a nivel individual y cuán sensibles son las percepciones y preferencias del consumidor a los cambios en las características del producto.
Análisis
La estimación de la función de utilidad se realiza utilizando cualquiera de una variedad de métodos.
- análisis multinomial de elección discreta, en particular logit multinomial (estrictamente hablando, el logit condicional , aunque los dos términos ahora se usan indistintamente). El modelo logit multinomial (MNL) es a menudo la primera etapa del análisis y proporciona una medida de la utilidad promedio para los niveles de atributos u objetos (según el caso).
- En muchos casos, particularmente en los casos 1 y 2, la simple observación y el trazado de las frecuencias de elección deberían ser el primer paso, ya que es muy útil para identificar la heterogeneidad de preferencias y los encuestados que utilizan reglas de decisión basadas en un solo atributo.
- Se podrían usar varios algoritmos en este proceso de estimación, incluida la máxima verosimilitud , las redes neuronales y el modelo jerárquico de Bayes . El modelo jerárquico de Bayes es beneficioso porque permite tomar prestados los datos, aunque dado que BWS a menudo permite la estimación de modelos de nivel individual, los beneficios de los modelos bayesianos están muy atenuados. Recientemente se ha demostrado que los modelos de tiempo de respuesta replican las estimaciones de utilidad de BWS, lo que representa un gran paso adelante en la validación de las preferencias declaradas en general, y las preferencias de BWS específicamente. [25] [26]
Ventajas
Los cuestionarios BWS son relativamente fáciles de entender para la mayoría de los encuestados. Además, los seres humanos son mucho mejores para juzgar elementos en extremos que para discriminar entre elementos de importancia o preferencia media [ cita requerida ] . Y dado que las respuestas implican elecciones de elementos en lugar de expresar la fuerza de la preferencia, no hay oportunidad de sesgo de uso de la escala .
Los encuestados encuentran estas escalas de calificación muy fáciles, pero tienden a entregar resultados que indican que todo es "bastante importante", lo que hace que los datos no sean especialmente procesables. [ cita requerida ] BWS, por otro lado, obliga a los encuestados a elegir entre opciones, al mismo tiempo que ofrece clasificaciones que muestran la importancia relativa de los elementos que se califican. También produce:
- Distribuciones de "las puntuaciones" (calculadas como la mejor frecuencia menos la peor frecuencia) para todos los ítems que permiten al investigador observar la distribución empírica de las utilidades estimadas. Esto produce información sobre cuán realistas son los resultados de los métodos de análisis tradicionales asumiendo distribuciones continuas estándar. Los consumidores tienden a formar grupos distintos con preferencias a menudo muy diferentes, lo que da lugar a distribuciones multimodales.
- Datos que permiten la investigación de la regla de decisión (forma funcional de la función de utilidad) en varias profundidades de clasificación (más simplemente, la "mejor regla de decisión frente a la peor regla de decisión"). La investigación emergente sugiere que en algunos contextos los encuestados no usan la misma regla, lo que cuestiona el uso de métodos de estimación como el modelo logit ordenado por rango.
- Estimación del impacto del atributo, una medida del impacto general de un atributo sobre las elecciones que no está disponible en los modelos convencionales de elección discreta.
- Más datos, que permiten una mayor comprensión de las opciones, para un número determinado de conjuntos de opciones. Se podría obtener la misma información simplemente presentando más conjuntos de opciones, pero esto corre el riesgo de que los encuestados se aburran y se desconecten de la tarea.
- Cuantificar los fenómenos de cambio de respuesta y adaptación a estados de salud precarios. [20]
Desventajas
La escala mejor-peor implica la recopilación de al menos dos conjuntos de datos: como mínimo, primero mejor y primero peor, y en algunos casos rangos adicionales (segundo mejor, segundo peor, etc.). combinar estos datos es pertinente. El trabajo inicial asumió que lo mejor era simplemente lo contrario de lo peor: que los encuestados tenían una clasificación interna de todos los elementos y simplemente eligieron el elemento con la clasificación más alta / más baja en una pregunta determinada. Un trabajo más reciente ha sugerido que en algunos contextos este no es el caso: una persona podría (por ejemplo) elegir según la teoría económica tradicional lo mejor (intercambiando atributos) pero elegir lo peor utilizando una estrategia de eliminación por atributos (eligiendo como peor el elemento eso es simplemente inaceptable en un atributo). En presencia de reglas de decisión tan diferentes, resulta imposible saber cómo combinar los datos: en qué punto la persona, al descender en la clasificación, pasa del "comercio económico" a la "eliminación por aspectos".
Esto presenta un problema claro para la motivación del aumento de datos para BWS, pero no necesariamente para BWS cuando se utiliza como una forma de comprender el proceso (toma de decisiones). Los psicólogos en particular estarían particularmente interesados en los diferentes tipos de toma de decisiones. Los especialistas en marketing también pueden querer saber si un producto determinado tiene una característica inaceptable. Se está trabajando para investigar cuándo surgen diferentes reglas de decisión y si se pueden combinar datos de fuentes tan diferentes y de qué manera.
BWS también adolece de las mismas desventajas de todas las técnicas de preferencia declaradas. Se desconoce si las preferencias son consistentes con las elecciones realizadas en el mundo real (preferencias reveladas). En algunos casos, las preferencias reveladas (típicamente decisiones de mercado reales) están disponibles, proporcionando una prueba de las opciones de BWS. En otros, muy a menudo en salud, no hay datos de preferencia revelados y la validación parece imposible. Más recientemente se han realizado intentos para validar los datos de SP utilizando datos fisiológicos, como el seguimiento ocular y los tiempos de respuesta. [25] Los primeros trabajos sugieren que los modelos de tiempo de respuesta son consistentes con los resultados de los modelos BWS en el cuidado de la salud, pero se requiere más investigación en otros contextos.
Referencias
- ^ a b c d "Mejor-peor escala" . Prensa de la Universidad de Cambridge . Consultado el 1 de octubre de 2015 .
- ^ a b c Marley, AAJ; Louviere, JJ (1 de diciembre de 2005). "Algunos modelos probabilísticos de mejores, peores y mejores-peores opciones". Revista de Psicología Matemática . Número especial en honor a Jean-Claude Falmagne: Parte 1 Número especial en honor a Jean-Claude Falmagne: Parte 1. 49 (6): 464–480. doi : 10.1016 / j.jmp.2005.05.003 .
- ^ a b Marley, AAJ; Flynn, Terry N .; Louviere, JJ (1 de octubre de 2008). "Modelos probabilísticos de opción mejor-peor dependiente de conjunto y nivel de atributo". Revista de Psicología Matemática . 52 (5): 281-296. doi : 10.1016 / j.jmp.2008.02.002 . hdl : 10453/8292 .
- ^ a b Marley, AAJ; Pihlens, D. (1 de febrero de 2012). "Modelos de mejor-peor elección y clasificación entre opciones de atributos múltiples (perfiles)" . Revista de Psicología Matemática . 56 (1): 24–34. doi : 10.1016 / j.jmp.2011.09.001 .
- ^ a b Flynn, Terry N .; Louviere, Jordan J .; Peters, Tim J .; Coast, Joanna (1 de enero de 2007). "Mejor-peor escala: lo que puede hacer para la investigación de la salud y cómo hacerlo". Revista de Economía de la Salud . 26 (1): 171–189. doi : 10.1016 / j.jhealeco.2006.04.002 . PMID 16707175 .
- ^ a b Louviere, Jordan; Lings, Ian; Islam, Towhidul; Gudergan, Siegfried; Flynn, Terry (1 de septiembre de 2013). "Una introducción a la aplicación de (caso 1) mejor-peor escalamiento en la investigación de mercados" (PDF) . Revista Internacional de Investigación en Marketing . 30 (3): 292-303. doi : 10.1016 / j.ijresmar.2012.10.002 .
- ^ Potoglou, Dimitris; Burge, Peter; Flynn, Terry; Netten, Ann; Malley, Juliette; Forder, Julien; Brasero, John E. (1 de mayo de 2011). "Mejor-peor escalado versus experimentos de elección discreta: una comparación empírica utilizando datos de asistencia social" (PDF) . Ciencias sociales y medicina . 72 (10): 1717-1727. doi : 10.1016 / j.socscimed.2011.03.027 . PMID 21530040 .
- ^ García-Lapresta, José Luis; Marley, A. a. J .; Martínez-Panero, Miguel (12 de septiembre de 2009). "Caracterización de los mejores y peores sistemas de votación en el contexto de la puntuación". Elección social y bienestar . 34 (3): 487–496. doi : 10.1007 / s00355-009-0417-1 . ISSN 0176-1714 .
- ^ Scarpa, Riccardo; Notaro, Sandra; Louviere, Jordan; Raffaelli, Roberta (19 de junio de 2011). "Exploración de los efectos de escala de los datos de elección ordenados de mejor / peor rango para estimar los beneficios del turismo en los campos de pastoreo alpino". Revista Estadounidense de Economía Agrícola . 93 (3): 813–828. doi : 10.1093 / ajae / aaq174 . ISSN 0002-9092 .
- ^ Huybers, Twan (19 de mayo de 2014). "Evaluación de la enseñanza por parte de los estudiantes: el uso de la mejor-peor escala". Evaluación y evaluación en la educación superior . 39 (4): 496–513. doi : 10.1080 / 02602938.2013.851782 . ISSN 0260-2938 .
- ^ Cohen, Eli (20 de marzo de 2009). "Aplicar escalamiento mejor-peor al marketing de vinos nulo". Revista Internacional de Investigación Empresarial del Vino . 21 (1): 8-23. doi : 10.1108 / 17511060910948008 . ISSN 1751-1062 .
- ^ Ross, Melissa; Bridges, John FP; Ng, Xinyi; Wagner, Lauren D .; Frosch, Emily; Reeves, Gloria; dosReis, Susan (17 de noviembre de 2014). "Un experimento de escalamiento mejor-peor para priorizar las preocupaciones de los cuidadores sobre la medicación para el TDAH para niños" . Servicios psiquiátricos . 66 (2): 208–211. doi : 10.1176 / appi.ps.201300525 . ISSN 1075-2730 . PMC 5294953 . PMID 25642618 .
- ^ Mueller suelto, Simone; Lockshin, Larry (1 de marzo de 2013). "Prueba de la solidez del mejor peor escalado para la segmentación entre países con diferentes números de conjuntos de opciones". Calidad y preferencia alimentaria . Noveno Simposio de Ciencias Sensoriales de Pangborn. 27 (2): 230–242. doi : 10.1016 / j.foodqual.2012.02.002 .
- ^ Severin, Franziska; Schmidtke, Jörg; Mühlbacher, Axel; Rogowski, Wolf H. (1 de noviembre de 2013). "Obtener preferencias para el establecimiento de prioridades en las pruebas genéticas: un estudio piloto que compara mejores-peores escalado y experimentos de elección discreta" . Revista europea de genética humana . 21 (11): 1202–1208. doi : 10.1038 / ejhg.2013.36 . ISSN 1018-4813 . PMC 3798841 . PMID 23486538 .
- ^ Flynn, Terry N .; Louviere, Jordan J .; Peters, Tim J .; Costa, Joanna (18 de noviembre de 2008). "Estimación de las preferencias para una consulta de dermatología utilizando mejor-peor escala: comparación de varios métodos de análisis" . Metodología de Investigación Médica de BMC . 8 (1): 76. doi : 10.1186 / 1471-2288-8-76 . ISSN 1471-2288 . PMC 2600822 . PMID 19017376 .
- ^ Louviere, Jordan J .; Calle, Deborah ; Burgess, Leonie; Wasi, Nada; Islam, Towhidul; Marley, Anthony AJ (1 de enero de 2008). "Modelar las elecciones de los tomadores de decisiones individuales mediante la combinación de diseños de experimentos de elección eficientes con información de preferencia adicional" . Modelado de diario de elección . 1 (1): 128-164. doi : 10.1016 / S1755-5345 (13) 70025-3 .
- ^ Flynn, Terry N. (1 de junio de 2010). "Valoración de las preferencias de los ciudadanos y pacientes en salud: desarrollos recientes en tres tipos de escala mejor-peor". Revisión de expertos de la investigación de farmacoeconomía y resultados . 10 (3): 259-267. doi : 10.1586 / erp.10.29 . ISSN 1473-7167 . PMID 20545591 .
- ^ Baumgartner, Hans; Steenkamp, Jan-Benedict EM (1 de mayo de 2001). "Estilos de respuesta en la investigación de mercados: una investigación transnacional". Revista de investigación de mercados . 38 (2): 143-156. doi : 10.1509 / jmkr.38.2.143.18840 . ISSN 0022-2437 . S2CID 11304067 .
- ^ Steenkamp, Jan-Benedict EM; Baumgartner, Hans (1 de junio de 1998). "Evaluación de la invariancia de la medición en la investigación del consumidor entre países" . Revista de investigación del consumidor . 25 (1): 78–107. doi : 10.1086 / 209528 . JSTOR 10.1086 / 209528 .
- ^ a b c N. Flynn, Terry; J. Peters, Tim; Coast, Joanna (1 de marzo de 2013). "Cuantificar el cambio de respuesta o los efectos de adaptación en la calidad de vida mediante la síntesis de datos de elección discreta y mejor-peor escala". Modelado de diario de elección . 6 : 34–43. doi : 10.1016 / j.jocm.2013.04.004 .
- ^ Costa, Joanna; Flynn, Terry N .; Natarajan, Lucy; Sproston, Kerry; Lewis, Jane; Louviere, Jordan J .; Peters, Tim J. (1 de septiembre de 2008). "Valoración del índice de capacidad ICECAP para personas mayores". Ciencias sociales y medicina . Número especial de la parte: Ética y etnografía de la investigación médica en África. 67 (5): 874–882. doi : 10.1016 / j.socscimed.2008.05.015 . hdl : 10453/9747 . PMID 18572295 .
- ^ Al-Janabi, Hareth; Flynn, Terry N .; Coast, Joanna (1 de mayo de 2011). "Estimación de una escala de experiencia del cuidador basada en preferencias". Toma de decisiones médicas . 31 (3): 458–468. doi : 10.1177 / 0272989X10381280 . ISSN 0272-989X . PMID 20924044 .
- ^ Ratcliffe, profesora Julie; Flynn, Terry; Terlich, Frances; Stevens, Katherine; Brasero, John; Sawyer, Michael (23 de diciembre de 2012). "Desarrollo de valores estatales de salud específicos de los adolescentes para la evaluación económica". FarmacoEconomía . 30 (8): 713–727. doi : 10.2165 / 11597900-000000000-00000 . ISSN 1170-7690 . PMID 22788261 .
- ^ Costa, Joanna; Al-Janabi, Hareth; Sutton, Eileen J .; Horrocks, Susan A .; Vosper, A. Jane; Swancutt, Dawn R .; Flynn, Terry N. (1 de junio de 2012). "Uso de métodos cualitativos para el desarrollo de atributos para experimentos de elección discreta: problemas y recomendaciones". Economía de la salud . 21 (6): 730–741. doi : 10.1002 / hec.1739 . ISSN 1099-1050 . PMID 21557381 .
- ^ a b Hawkins, Guy E .; Marley, Aaj; Heathcote, Andrew; Flynn, Terry N .; Louviere, Jordan J .; Brown, Scott D. (1 de mayo de 2014). "Integración de procesos cognitivos y modelos descriptivos de actitudes y preferencias" . Ciencia cognitiva . 38 (4): 701–735. doi : 10.1111 / cogs.12094 . ISSN 1551-6709 . PMID 24124986 . S2CID 15328149 .
- ^ "Los mejores y los peores tiempos son intercambiables" . APA PsycNET . Consultado el 1 de octubre de 2015 .