Amazon Mechanical Turk ( MTurk ) es un sitio web de crowdsourcing para que las empresas (conocidas como Solicitantes) contraten "trabajadores en red" ubicados en forma remota para realizar tareas discretas bajo demanda que las computadoras no pueden realizar actualmente. Se opera bajo Amazon Web Services y es propiedad de Amazon . [1] Los empleadores publican trabajos conocidos como tareas de inteligencia humana (HIT), como identificar contenido específico en una imagen o video, escribir descripciones de productos o responder preguntas, entre otros. Trabajadores, coloquialmente conocidos como Turkers o trabajadores colectivos, busque entre los trabajos existentes y complételos a cambio de una tarifa establecida por el empleador. Para colocar trabajos, los programas solicitantes utilizan una interfaz de programación de aplicaciones (API) abierta , o el sitio MTurk Requester más limitado. [2] En abril de 2019, los Solicitantes podían registrarse desde solo 49 países aprobados. [3]
URL | www |
---|---|
Estado actual | Vivir |
Historia
El servicio fue inicialmente concebido por Venky Harinarayan en una patente estadounidense presentada en 2001. [4] Amazon acuñó el término inteligencia artificial artificial para los procesos que subcontratan algunas partes de un programa informático a humanos, para aquellas tareas llevadas a cabo mucho más rápido por humanos que por computadoras. Se afirma que Jeff Bezos fue responsable del concepto que llevó al desarrollo de Mechanical Turk de Amazon para realizar este proceso. [5]
El nombre Mechanical Turk se inspiró en " The Turk ", un autómata ajedrecista del siglo XVIII creado por Wolfgang von Kempelen que viajó por Europa, venciendo tanto a Napoleón Bonaparte como a Benjamin Franklin . Más tarde se reveló que esta "máquina" no era un autómata en absoluto, sino que era, de hecho, un maestro de ajedrez humano escondido en el gabinete debajo del tablero y controlando los movimientos de un muñeco humanoide. Del mismo modo, el servicio en línea Mechanical Turk utiliza mano de obra humana remota oculta detrás de una interfaz de computadora para ayudar a los empleadores a realizar tareas que no son posibles con una verdadera máquina.
MTurk se lanzó públicamente el 2 de noviembre de 2005. Después de su lanzamiento, la base de usuarios de Mechanical Turk creció rápidamente. Desde principios hasta mediados de noviembre de 2005, había decenas de miles de trabajos, todos ellos subidos al sistema por la propia Amazon para algunas de sus tareas internas que requerían inteligencia humana. Los tipos de HIT se han expandido para incluir transcripción, calificación, etiquetado de imágenes, encuestas y redacción.
En marzo de 2007, se informó que había más de 100.000 trabajadores en más de 100 países. [6] Esto aumentó a más de 500.000 trabajadores registrados de más de 190 países en enero de 2011. [7] En el mismo año, Techlist publicó un mapa interactivo que señalaba las ubicaciones de 50.000 de sus trabajadores de MTurk en todo el mundo. [8] Para 2018, la investigación había demostrado que, si bien había más de 100,000 trabajadores disponibles en la plataforma en cualquier momento, solo alrededor de 2000 estaban trabajando activamente. [9]
Estatus legal
En la legislación laboral estadounidense , según la profesora Miriam Cherry, de la Facultad de Derecho de la Universidad de Saint Louis , "los trabajadores de Mechanical Turk no son diferentes de, por ejemplo, los trabajadores de la construcción que se presentan en los lugares de trabajo y trabajan durante uno o dos días en un proyecto. Los trabajadores de la construcción aún pueden presentar una demanda en virtud de la Ley de Normas Laborales Justas por robo de salario, aunque no se les considere empleados "según el contrato de Amazon. [10]
Descripción general
Un usuario de Mechanical Turk puede ser un "Trabajador" (contratista) o un "Solicitante" (empleador). Los trabajadores tienen acceso a un panel que muestra tres secciones: ganancias totales, estado HIT y totales HIT. Los trabajadores establecen sus propios horarios y no están obligados a aceptar ninguna tarea en particular. Amazon clasifica a los Trabajadores como contratistas en lugar de empleados, y se niega a presentar formularios o pagar impuestos sobre la nómina. Esto tiene como objetivo evadir el salario mínimo , las horas extraordinarias y la compensación de trabajadores . Los trabajadores deben declarar sus ingresos como ingresos de trabajo por cuenta propia. En 2013, el salario promedio para las múltiples micro tareas asignadas, si se realizan rápidamente, es de aproximadamente un dólar por hora, y cada tarea promedia unos pocos centavos. [11] Los trabajadores pueden tener una dirección postal en cualquier parte del mundo. El pago por completar las tareas se puede canjear en Amazon.com a través de un certificado de regalo (los certificados de regalo son la única opción de pago disponible para los trabajadores internacionales, aparte de la India) o luego transferirse a la cuenta bancaria de un trabajador en los EE. UU.
Los solicitantes pueden pedir que los Trabajadores cumplan con las calificaciones antes de participar en una tarea, y pueden establecer una prueba para verificar la calificación. También pueden aceptar o rechazar el resultado enviado por el Trabajador, lo que afecta la reputación del Trabajador. A partir de abril de 2019, los Solicitantes pagaron a Amazon una comisión mínima del 20% sobre el precio de los trabajos completados con éxito, con montos mayores por servicios adicionales. [6] Los solicitantes pueden utilizar la API de Amazon Mechanical Turk para integrar mediante programación los resultados de ese trabajo directamente en sus procesos y sistemas comerciales. Cuando los empleadores establecen su trabajo, deben especificar
- cuánto están pagando por cada HIT logrado,
- cuántos trabajadores quieren trabajar en cada HIT,
- tiempo máximo que tiene un trabajador para trabajar en una sola tarea,
- cuánto tiempo tienen los trabajadores para completar el trabajo,
así como los detalles específicos sobre el trabajo que desean completar.
Ubicación de Turkers
Los trabajadores se han ubicado principalmente en los Estados Unidos desde el inicio de la plataforma [12] con datos demográficos generalmente similares a la población general de Internet en los Estados Unidos. [13]
En 2010, se introdujeron los pagos en efectivo para los trabajadores indios, lo que dio resultados nuevos y actualizados sobre la demografía de los trabajadores, que permanecieron principalmente dentro de los Estados Unidos. [14] El investigador detrás de estas estadísticas tiene un sitio web que muestra los datos demográficos de los trabajadores, actualizado cada hora. En mayo de 2015, mostró que el 80% de los trabajadores estaban ubicados en los Estados Unidos, con el 20% restante ubicado en otras partes del mundo, la mayoría de los cuales estaban en la India. [15] En mayo de 2019, mostró que aproximadamente el 60% de los trabajadores estaban ubicados en los Estados Unidos y el 40% se encuentran en otras partes del mundo; aproximadamente el 30% se encuentra en la India. [dieciséis]
Usos
Investigación con sujetos humanos
A partir de 2010, numerosos investigadores han explorado la viabilidad de Mechanical Turk para reclutar sujetos de experimentos de ciencias sociales. Cada año se publican miles de artículos que se basan en datos recopilados de los trabajadores de Mechanical Turk, incluidos cientos en revistas académicas de primer nivel. [17] Los investigadores en general encontraron que, si bien las muestras de encuestados obtenidas a través de Mechanical Turk no coinciden perfectamente con todas las características relevantes de la población de EE. UU., Tampoco son muy tergiversadas. [18] [19] El consenso general entre los investigadores es que el servicio funciona mejor para reclutar una muestra diversa; tiene menos éxito con estudios que requieren poblaciones definidas con mayor precisión o que requieren una muestra representativa de la población en su conjunto. [17] Sin embargo, existe la preocupación de que el algoritmo de selección patentado pueda perjudicar los resultados (ver: Validez de la investigación ).
En general, la población de MTurk de EE. UU. Es principalmente femenina y blanca, y es algo más joven y con más educación que la población de EE. UU. En general. Los datos recopilados sobre trabajos realizados desde 2013 muestran que la población de EE. UU. Ya no es predominantemente femenina, y que actualmente es un poco más probable que los trabajadores sean hombres. [20] El costo de MTurk fue considerablemente más bajo que otros medios de realizar encuestas, con trabajadores dispuestos a completar tareas por menos de la mitad del salario mínimo de EE. UU. [21]
Aprendizaje automático
Los algoritmos de aprendizaje automático supervisados requieren grandes cantidades de datos anotados por humanos para ser entrenados con éxito. Los investigadores de aprendizaje automático han contratado a Workers a través de Mechanical Turk para producir conjuntos de datos como SQuAD, un conjunto de datos de respuesta a preguntas . [22]
Búsquedas de personas desaparecidas
Desde 2007, el servicio se ha utilizado para buscar personas desaparecidas prominentes. Se sugirió por primera vez durante la búsqueda de James Kim , pero su cuerpo fue encontrado antes de que se hiciera ningún progreso técnico. Ese verano, el científico informático Jim Gray desapareció en su yate y Werner Vogels de Amazon , un amigo personal, hizo arreglos para DigitalGlobe , que proporciona datos satelitales para Google Maps y Google Earth , para poner fotografías recientes de las Islas Farallón en Mechanical Turk. Una historia de primera plana sobre Digg atrajo a 12.000 buscadores que trabajaron con profesionales de la imagen en los mismos datos. La búsqueda no tuvo éxito. [23]
En septiembre de 2007, se repitió un arreglo similar en la búsqueda del aviador Steve Fossett . Los datos satelitales se dividieron en secciones de 85 metros cuadrados, y se pidió a los usuarios de Mechanical Turk que marcaran las imágenes con "objetos extraños" que podrían ser el lugar de un accidente u otra evidencia que debería examinarse más de cerca. [24] Esta búsqueda tampoco tuvo éxito. Las imágenes satelitales estaban en su mayoría dentro de un radio de 50 millas, [25] pero el lugar del accidente fue finalmente encontrado por excursionistas aproximadamente un año después, a 65 millas de distancia. [26]
Obras artísticas
Además de recibir un interés creciente por parte de las ciencias sociales, MTurk también se ha utilizado como herramienta para la creación artística. Uno de los primeros artistas en trabajar con Mechanical Turk fue xtine burrough , con The Mechanical Olympics (2008), [27] [28] Endless Om (2015) y Mediations on Digital Labor . [29] [30] Otro trabajo temprano fue Ten Thousand Cents (2008) del artista Aaron Koblin .
Programación de terceros
Los programadores han desarrollado varias extensiones de navegador y scripts diseñados para simplificar el proceso de completar trabajos. Amazon ha declarado que desaprueban los scripts que automatizan completamente el proceso y excluyen el elemento humano. Esto se debe a la preocupación de que el proceso de finalización de la tarea, por ejemplo, responder a una encuesta, se pueda jugar con respuestas aleatorias y los datos recopilados resultantes podrían no tener ningún valor. [31] Las cuentas que utilizan los llamados bots automatizados han sido prohibidas. Hay servicios que extienden las capacidades a MTurk.
API
Amazon pone a disposición una interfaz de programación de aplicaciones (API) para brindar a los usuarios otro punto de acceso al sistema MTurk. La API de MTurk permite a un programador acceder a numerosos aspectos de MTurk, como enviar trabajos, recuperar trabajos completados y aprobar o rechazar ese trabajo. [32] En 2017, Amazon lanzó soporte para AWS Software Development Kits (SDK), lo que permite nueve nuevos SDK disponibles para los usuarios de MTurk. Se puede acceder a MTurk a través de API desde los siguientes lenguajes: Python, JavaScript, Java, .NET, Go, Ruby, PHP o C ++. [33] Los sitios web y los servicios web pueden utilizar la API para integrar el trabajo de MTurk en otras aplicaciones web, proporcionando a los usuarios alternativas a la interfaz que Amazon ha construido para estas funciones.
Ejemplos de casos de uso
Procesamiento de fotos / videos
Amazon Mechanical Turk proporciona una plataforma para procesar imágenes, una tarea muy adecuada para la inteligencia humana. Los solicitantes han creado tareas que les piden a los trabajadores que etiqueten los objetos encontrados en una imagen, seleccionen la imagen más relevante en un grupo de imágenes, examinen contenido inapropiado y clasifiquen objetos en imágenes de satélite. Además, los trabajadores digitales han completado tareas de digitalización de texto a partir de imágenes, como formularios escaneados llenados a mano. [34]
Limpieza / verificación de datos
Las empresas con grandes catálogos en línea utilizan Mechanical Turk para identificar duplicados y verificar los detalles de las entradas de artículos. Algunos ejemplos de reparación de duplicados son la identificación y eliminación de duplicados en listas de directorios de páginas amarillas y entradas de catálogos de productos en línea. Los ejemplos de verificación de detalles incluyen verificar los detalles del restaurante (por ejemplo, número de teléfono y horarios) y encontrar información de contacto en páginas web (por ejemplo, nombre del autor y correo electrónico). [11] [34]
Recopilación de información
La diversificación y la escala del personal de Mechanical Turk permiten recopilar una cantidad de información que sería difícil fuera de una plataforma de multitudes. Mechanical Turk permite a los solicitantes acumular una gran cantidad de respuestas a varios tipos de encuestas, desde la demografía básica hasta la investigación académica. Otros usos incluyen escribir comentarios, descripciones y entradas de blogs en sitios web y buscar elementos de datos o campos específicos en grandes documentos gubernamentales y legales. [34]
Procesamiento de datos
Las empresas utilizan el trabajo colectivo de Mechanical Turk para comprender y responder a diferentes tipos de datos. Los usos comunes incluyen la edición y transcripción de podcasts, la traducción y los resultados del motor de búsqueda coincidentes. [11] [34]
Validez de la investigación
Se ha cuestionado la validez de la investigación realizada con el grupo de trabajadores de Mechanical Turk. [35] [36] Esto se debe en gran parte al método patentado que utiliza Mechanical Turk para seleccionar a sus trabajadores. [ cita requerida ] Dado que el método de selección no se comparte con los investigadores, los investigadores no pueden conocer la verdadera demografía del grupo de participantes. No está claro si Mechanical Turk utiliza limitadores fiscales, políticos o educativos en su proceso de selección. Esto puede invalidar cualquier encuesta o investigación realizada con el grupo de trabajadores de Mechanical Turk. [37] [38]
Problemas laborales
Mechanical Turk ha sido ampliamente criticado por sus interacciones con la mano de obra y su uso. El científico informático Jaron Lanier señala cómo el diseño de Mechanical Turk "te permite pensar en las personas como componentes de software" que evoca "un sentido de magia, como si pudieras extraer resultados de la nube a un costo increíblemente bajo". [39] Si bien una encuesta realizada por investigadores de la Universidad de Texas mostró que los Trabajadores encuestados estaban motivados por el disfrute y la autorrealización, [40] estos resultados pueden haber sido perjudicados por los algoritmos de selección de Trabajadores de MTurk. Un estudio de Pew Research de 2016 descubrió que una cuarta parte de los "trabajadores de conciertos" en línea, como los que trabajan en Mechanical Turk, lo hacen porque hay oportunidades de empleo limitadas en el lugar donde viven. [41]
Compensación monetaria
Debido a que las tareas son típicamente simples y repetitivas y a los usuarios a menudo se les paga solo unos centavos para completarlas, algunos han criticado a Mechanical Turk por explotar y no compensar a los trabajadores por el verdadero valor de la tarea que realizan. [42] El pago mínimo que Amazon permite por una tarea es un centavo. El mercado de tareas es competitivo y, para algunos, estas tareas son su única forma de empleo disponible, especialmente para los menos educados. Debido a la necesidad de mantenerse a sí mismos y la falta de otras oportunidades, muchos trabajadores aceptan la baja compensación por la realización de las tareas. Un estudio de 3.8 millones de tareas completadas por 2.767 trabajadores en Mechanical Turk de Amazon mostró que "los trabajadores ganaban un salario medio por hora de alrededor de 2 dólares la hora" y el 4 por ciento de los trabajadores ganaba más de 7,25 dólares la hora. Dado que estos trabajadores se consideran contratistas independientes, no están protegidos por la Ley de Normas Laborales Justas que garantiza el salario mínimo. Para 2018, el creciente número de trabajadores que compiten en el sitio redujo la cantidad total de trabajo disponible. A medida que los trabajadores buscan tareas, no reciben compensación ni compensación adicional si una tarea demora más de lo estimado por el solicitante. [43]
Fraude
La revista The Nation dijo en 2014 que algunos Solicitantes se habían aprovechado de los Trabajadores haciéndoles hacer las tareas y luego rechazando sus presentaciones para evitar pagarles. [44]
En el escándalo de datos de Facebook-Cambridge Analytica , Mechanical Turk fue uno de los medios para recopilar información privada de forma encubierta para una base de datos masiva. [45] El sistema pagó a las personas uno o dos dólares para instalar una aplicación conectada a Facebook y responder preguntas personales. La tarea de la encuesta, como trabajo por encargo, no se utilizó para un proyecto de investigación demográfica o psicológica como podría haber parecido. En cambio, el propósito era provocar al trabajador para que revelara información personal sobre la identidad del trabajador que aún no había sido recopilada por Facebook o Mechanical Turk.
Relaciones laborales
Otros han criticado que el mercado no tiene la capacidad de que los trabajadores negocien con los empleadores. En respuesta a las crecientes críticas a la evasión de pagos y la falta de representación, un grupo ha desarrollado una plataforma de terceros llamada Turkopticon que permite a los trabajadores dar retroalimentación sobre sus empleadores, lo que permite a otros usuarios evitar trabajos potencialmente sin escrúpulos y recomendar empleadores superiores. [46] [47] Se creó otra plataforma llamada Dynamo para permitir que los trabajadores recopilen de forma anónima y organicen campañas para mejorar su entorno de trabajo, incluidas las Directrices para solicitantes académicos y la Campaña Dear Jeff Bezos. [48] [49] [50] [51] Amazon ha dificultado que los trabajadores se inscriban en Dynamo al cerrar la cuenta de solicitud que les proporcionó a los trabajadores un código requerido para la membresía de Dynamo. Amazon ha instalado actualizaciones que evitan que los complementos que identifican tareas de inteligencia humana de alta calidad funcionen en el sitio web. [43] Además, ha habido quejas de los trabajadores de que el sistema de pago de Amazon en ocasiones dejará de funcionar, un problema importante para los trabajadores que requieren pagos diarios. [41]
Sistemas relacionados
MTurk es comparable en algunos aspectos al servicio Google Answers ahora descontinuado . Sin embargo, Mechanical Turk es un mercado más general que potencialmente puede ayudar a distribuir cualquier tipo de tareas laborales en todo el mundo. El Intérprete Humano Colaborativo (CHI) de Philipp Lenssen también sugirió el uso de inteligencia humana distribuida para ayudar a los programas de computadora a realizar tareas que las computadoras no pueden hacer bien. MTurk podría usarse como motor de ejecución para el CHI. [ cita requerida ]
El gigante de búsquedas ruso Yandex ha desarrollado un sistema similar llamado Toloka . [52]
Ver también
- CAPTCHA , que desafía y verifica el trabajo humano en una simple tarea en línea
- Ciencia ciudadana
- Microwork
Referencias
- ^ "Amazon Mechanical Turk, página de preguntas frecuentes" . Consultado el 14 de abril de 2017 .
- ^ "Descripción general | Solicitante | Amazon Mechanical Turk" . Requester.mturk.com . Consultado el 28 de noviembre de 2011 .
- ^ "Turco mecánico amazónico" . www.mturk.com .
- ^ "Arreglo híbrido máquina / computación humana" . 2001 . Consultado el 28 de julio de 2016 .
- ^ "Inteligencia artificial artificial" . The Economist . 2006-06-10.
- ^ a b "Precios de Mturk" . AWS . Amazonas. 2019 . Consultado el 16 de abril de 2019 .
- ^ "Foros de desarrolladores de AWS" . Consultado el 14 de noviembre de 2012 .
- ^ Tamir, Dahn. "50000 trabajadores turcos mecánicos en todo el mundo" . techlist . Consultado el 17 de septiembre de 2014 .
- ^ Djellel, Difallah; Filatova, Elena; Ipeirotis, Panos (2018). "Demografía y dinámica de los trabajadores mecánicos turcos". Actas de la undécima conferencia internacional de ACM sobre búsqueda web y minería de datos : 135–143.
- ^ Alana Semuels, 'Internet está permitiendo un nuevo tipo de infierno mal pagado' (23 de enero de 2018) Atlántico .
- ^ a b c "Amazon Mechanical Turk: The Digital Sweatshop" Ellen Cushing Utne Reader Enero-febrero de 2013
- ^ Panos Ipeirotis (19 de marzo de 2008). "Turco mecánico: la demografía" . Universidad de Nueva York . Consultado el 30 de julio de 2009 .
- ^ Panos Ipeirotis (16 de marzo de 2009). "Demografía de Turker vs demografía de Internet" . Universidad de Nueva York . Consultado el 30 de julio de 2009 .
- ^ Panos Ipeirotis (9 de marzo de 2010). "La nueva demografía de Mechanical Turk" . Universidad de Nueva York . Consultado el 24 de marzo de 2014 .
- ^ "MTurk Tracker" . demographics.mturk-tracker.com . Consultado el 1 de octubre de 2015 .
- ^ "MTurk Tracker" . demographics.mturk-tracker.com . Consultado el 2 de mayo de 2019 .
- ^ a b Chandler, Jesse .; Shapiro, Danielle (2016). "Realización de investigación clínica utilizando muestras de conveniencia de crowdsourcing" . Revisión anual de psicología clínica . 12 : 53–81. doi : 10.1146 / annurev-clinpsy-021815-093623 . PMID 26772208 .
- ^ Casey, Logan; Chandler, Jesse; Levine, Adam; Proctor, Andrew; Sytolovich, Dara (2017). "Diferencias intertemporales entre los trabajadores de MTurk: variaciones e implicaciones de la muestra basada en el tiempo para la recopilación de datos en línea" . SAGE Abierto . 7 (2): 215824401771277. doi : 10.1177 / 2158244017712774 .
- ^ Levay, Kevin; Freese, Jeremy; Druckman, James (2016). "La composición política y demográfica de las muestras mecánicas del turco" . SAGE Abierto . 6 : 215824401663643. doi : 10.1177 / 2158244016636433 .
- ^ "La nueva nueva demografía en Mechanical Turk: ¿Sigue habiendo una brecha de género?" . TurkPrime.com . Archivado desde el original el 15 de marzo de 2015 . Consultado el 12 de marzo de 2015 .
- ^ Horton, John; Chilton, Lydia (2010). La economía laboral del crowdsourcing remunerado . Actas de la XI Conferencia ACM sobre Comercio Electrónico . pag. 209. arXiv : 1001.0627 . Código Bibliográfico : 2010arXiv1001.0627H . doi : 10.1145 / 1807342.1807376 . ISBN 978-1-60558-822-3. S2CID 18237602 .
- ^ Rajpurkar, Pranav; Zhang, Jian; Lopyrev, Konstantin; Liang, Percy (2016). "SQuAD: más de 100.000 preguntas para la comprensión de texto de la máquina". arXiv : 1606.05250 [ cs.CL ].
- ^ Steve Silberman (24 de julio de 2007). "Dentro de la búsqueda de alta tecnología para una leyenda de Silicon Valley" . Revista cableada . Consultado el 16 de septiembre de 2007 .
- ^ "AVweb le invita a unirse a la búsqueda de Steve Fossett" . Avweb.com . Consultado el 28 de noviembre de 2011 .
- ^ "Resultados oficiales del turco mecánico Steve Fossett" . 2007-09-24 . Consultado el 14 de agosto de 2012 .
- ^ Jim Christie (1 de octubre de 2008). "Los excursionistas encuentran la identificación de Steve Fossett, pertenencias" . Reuters . Archivado desde el original el 20 de diciembre de 2008 . Consultado el 27 de noviembre de 2008 .
- ^ "Vamos a ponernos físicos" .
- ^ "Mechanical Games, video deportivo online para turkers | Neural" .
- ^ "Copia archivada" . Archivado desde el original el 6 de septiembre de 2015 . Consultado el 16 de abril de 2019 .CS1 maint: copia archivada como título ( enlace )
- ^ Proyecto: http://www.missconceptions.net/mediations/
- ^ "Blog de servicios web de Amazon: actualización de estado de Amazon Mechanical Turk" . Aws.typepad.com. 2005-12-06 . Consultado el 28 de noviembre de 2011 .
- ^ "Archivo de documentación: Amazon Web Services" . Developer.amazonwebservices.com. Archivado desde el original el 10 de abril de 2009 . Consultado el 28 de noviembre de 2011 .
- ^ "Referencia de la API de Amazon Mechanical Turk" . Developer.amazonwebservices.com.
- ^ a b c d "Dentro de la plataforma clickworker de Amazon: cómo se paga a medio millón de personas para entrenar a la IA" . TechRepublic .
- ^ Feldman, Gilad. "Ejecución de experimentos con Amazon Mechanical Turk | Gilad Feldman" .
- ^ Landers, RN; Behrend, TS (2015). "¿Puedo utilizar Mechanical Turk (MTurk) para un estudio de investigación?" . Psicología Industrial y Organizacional . 8 (2).
- ^ "Validez externa - generalización de resultados en la investigación" . explorable.com .
- ^ "Métodos de investigación social - Base de conocimientos - Validez externa" . www.socialresearchmethods.net .
- ^ Jaron Lanier (2013). ¿Quién es dueño del futuro? . Simon y Schuster. ISBN 978-1-4516-5497-4.
- ^ Buhrmester, Michael; Kwang, Tracy; Gosling, Sam (2011). "El turco mecánico de Amazon ¿una nueva fuente de datos económicos, pero de alta calidad?". Perspectivas de la ciencia psicológica . 6 (1): 3-5. doi : 10.1177 / 1745691610393980 . PMID 26162106 . S2CID 6331667 .
- ^ a b Semuels, Alana (23 de enero de 2018). "Internet está permitiendo un nuevo tipo de infierno mal pagado" . El Atlántico . Consultado el 25 de abril de 2019 .
- ^ Schmidt, Florian Alexander (2013). "Lo bueno, lo malo y lo feo: por qué el crowdsourcing necesita ética". 2013 Conferencia Internacional sobre Cloud y Computación Verde . Cloud and Green Computing (CGC), Tercera Conferencia Internacional 2013 sobre . págs. 531–535. doi : 10.1109 / CGC.2013.89 . ISBN 978-0-7695-5114-2. S2CID 18798641 .
- ^ a b Semuels, Alana (23 de enero de 2018). "Internet está permitiendo un nuevo tipo de infierno mal pagado" . El Atlántico . Consultado el 14 de mayo de 2018 .
- ^ Marvit, Moshe Z. (5 de febrero de 2014). "Cómo los trabajadores colectivos se convirtieron en los fantasmas de la máquina digital" , a través de www.thenation.com.
- ^ New York Times (10 de abril de 2018). "Cambridge Analytica y el inminente busto de datos" . The New York Times . Consultado el 13 de abril de 2018 .
- ^ Hal Hodson (7 de febrero de 2013). "El crowdsourcing crece a medida que los trabajadores en línea se unen" . Nuevo científico . Consultado el 21 de mayo de 2015 .
- ^ "turkopticon" . turkopticon.ucsd.edu .
- ^ Mark Harris (3 de diciembre de 2014). " ' Protesta de trabajadores de Mechanical Turk de Amazon:' Soy un ser humano, no un algoritmo ' " . The Guardian . Consultado el 6 de octubre de 2015 .
- ^ Jon Fingas (3 de diciembre de 2014). " ' Los trabajadores de Amazon Mechanical Turk quieren ser tratados como humanos ' " . Engadget . Consultado el 6 de octubre de 2015 . La revista Cite requiere
|magazine=
( ayuda ) - ^ James Vincent (4 de diciembre de 2014). " ' Los turcos mecánicos de Amazon quieren ser reconocidos como' seres humanos reales " . The Verge . Consultado el 6 de octubre de 2015 .
- ^ Sarah Kessler (19 de febrero de 2015). "¿CÓMO SE VE UNA UNIÓN EN LA ECONOMÍA GIG?" . Empresa rápida . Consultado el 6 de octubre de 2015 .
- ^ "Yandex.Toloka" .
Otras lecturas
- Artículo de Business Week sobre Mechanical Turk de Rob Hof, 4 de noviembre de 2005.
- Artículo de la revista Wired sobre "Crowdsourcing", junio de 2006.
- Artículo de Salon.com sobre Mechanical Turk de Katharine Mieszkowski, 24 de julio de 2006.
- Artículo del New York Times sobre Mechanical Turk de Jason Pontin, 25 de marzo de 2007.
- Artículo de Technology Review sobre Mechanical Turk , "How Mechanical Turk is Broken", de Christopher Mims, 3 de enero de 2010.
- J. Nathan Matias (8 de junio de 2015), "Tragedy of the Digital Commons" , The Atlantic (analiza las relaciones laborales)
enlaces externos
- Página web oficial
- Guía de mejores prácticas para solicitantes , actualizada en febrero de 2015.
- Matt Lease (ed.). "Turco mecánico amazónico" . Noticias, eventos y recursos de crowdsourcing . EE.UU .: a través de la Facultad de Información de la Universidad de Texas en Austin .