De Wikipedia, la enciclopedia libre
Saltar a navegación Saltar a búsqueda

reCAPTCHA es un sistema CAPTCHA que permite a los servidores web distinguir entre el acceso humano y automatizado a los sitios web. La versión original pedía a los usuarios que descifraran textos difíciles de leer o que coincidieran con imágenes. La versión 2 también pedía a los usuarios que descifraran texto o coincidieran imágenes si el análisis de cookies y la representación del lienzo sugerían que la página se estaba descargando automáticamente. [1] Desde la versión 3, reCAPTCHA nunca interrumpirá a los usuarios y está diseñado para ejecutarse automáticamente cuando los usuarios cargan páginas o hacen clic en botones. [2] reCAPTCHA es propiedad de Google .

La iteración original del servicio era una plataforma de colaboración masiva diseñada para la digitalización de libros, particularmente aquellos que eran demasiado ilegibles para ser escaneados por computadoras . Las indicaciones de verificación utilizaron pares de palabras de páginas escaneadas, con una palabra conocida utilizada como control para la verificación, y la segunda utilizada para crowdsourcing de la lectura de una palabra incierta. [3] reCAPTCHA fue desarrollado originalmente por Luis von Ahn , David Abraham, Manuel Blum , Michael Crawford, Ben Maurer, Colin McMillen y Edison Tan en el campus principal de Pittsburgh de la Carnegie Mellon University . [4] Fue adquirido porGoogle en septiembre de 2009. [5] El sistema ayudó a digitalizar los archivos de The New York Times y, posteriormente, fue utilizado por Google Books para fines similares. [6]

Se informó que el sistema mostraba más de 100 millones de CAPTCHA todos los días, [7] en sitios como Facebook , TicketMaster , Twitter , 4chan , CNN.com , StumbleUpon , [8] Craigslist (desde junio de 2008), [9] y los EE. UU. nacional de Telecomunicaciones e Información 's caja convertidora de TV digital sitio web del programa de cupones (como parte de la transición de EE.UU. DTV ). [10]

En 2014, Google alejó el servicio de su concepto original, con un enfoque en reducir la cantidad de interacción del usuario necesaria para verificar a un usuario, y solo presenta desafíos de reconocimiento humano (como identificar imágenes en un conjunto que satisfaga un mensaje específico) si El análisis de comportamiento sospecha que el usuario puede ser un bot. reCAPTCHA v1 fue declarado final de su vida útil el 31 de marzo de 2018.

Origen [ editar ]

Distributed Proofreaders fue el primer proyecto que ofreció voluntariamente su tiempo para descifrar el texto escaneado que no se podía leer con los programas de reconocimiento óptico de caracteres (OCR). Trabaja con Project Gutenberg para digitalizar material de dominio público y utiliza métodos bastante diferentes de reCAPTCHA.

El programa reCAPTCHA se originó con el científico informático guatemalteco Luis von Ahn , [11] y fue ayudado por una beca MacArthur . Uno de los primeros desarrolladores de CAPTCHA, se dio cuenta de que "sin saberlo, había creado un sistema que estaba desperdiciando, en incrementos de diez segundos, millones de horas de un recurso muy valioso: los ciclos del cerebro humano". [12] [13]

Operación [ editar ]

Un ejemplo de cómo se veía un desafío reCAPTCHA en 2007, [14] que contiene las palabras "siguiente" y "hallazgo". La ondulación y el trazo horizontal se agregaron para aumentar la dificultad de romper el CAPTCHA con un programa de computadora.

El texto escaneado se somete a análisis mediante dos OCR diferentes. Cualquier palabra que sea descifrada de manera diferente por los dos programas de OCR o que no esté en un diccionario de inglés se marca como "sospechosa" y se convierte en un CAPTCHA. La palabra sospechosa se muestra, fuera de contexto, a veces junto con una palabra de control ya conocida. Si el ser humano escribe la palabra de control correctamente, entonces la respuesta a la palabra cuestionable se acepta como probablemente válida. Si suficientes usuarios escribieran correctamente la palabra de control, pero escribieran incorrectamente la segunda palabra que el OCR no pudo reconocer, entonces la versión digital de los documentos podría terminar conteniendo la palabra incorrecta. La identificación realizada por cada programa de OCR recibe un valor de 0,5 puntos, y cada interpretación de un humano recibe un punto completo. Una vez que una identificación dada alcanza 2.5 puntos,la palabra se considera válida. Aquellas palabras a las que los jueces humanos les dan constantemente una identidad única se reciclan más tarde como palabras de control.[15] Si las tres primeras conjeturas coinciden entre sí pero no coinciden con ninguno de los OCR, se consideran una respuesta correcta y la palabra se convierte en una palabra de control. [16] Cuando seis usuarios rechazan una palabra antes de elegir la ortografía correcta, la palabra se descarta como ilegible. [dieciséis]

El método reCAPTCHA original fue diseñado para mostrar las palabras cuestionables por separado, como corrección fuera de contexto, en lugar de en uso, como dentro de una frase de cinco palabras del documento original. [17] Además, la palabra de control puede inducir a error al contexto de la segunda palabra, como una solicitud de "/ metal / / fife /" que se ingresa como " lima de metal " debido a la conexión lógica de la presentación con una herramienta de metal que se considera más común que el instrumento musical " pífano ". [ cita requerida ]

En 2012, reCAPTCHA comenzó a utilizar fotografías tomadas del proyecto Google Street View , además de palabras escaneadas. [18]

Google cobra por el uso de reCAPTCHA aquellos sitios web que realizan más de un millón de consultas de reCAPTCHA al mes. [19]

CAPTCHA de identificación de imagen

Sin CAPTCHA reCAPTCHA [ editar ]

El NoCAPTCHA reCAPTCHA

En 2013, reCAPTCHA comenzó a implementar análisis de comportamiento de las interacciones del navegador para predecir si el usuario era un humano o un bot. Al año siguiente, Google comenzó a implementar una nueva API de reCAPTCHA, con el "reCAPTCHA sin CAPTCHA", donde los usuarios considerados de bajo riesgo solo necesitan hacer clic en una casilla de verificación para verificar su identidad. Aún se puede presentar un CAPTCHA si el sistema no está seguro del riesgo del usuario; Google también introdujo un nuevo tipo de desafío CAPTCHA diseñado para ser más accesible para los usuarios de dispositivos móviles, donde el usuario debe seleccionar imágenes que coincidan con un mensaje específico de una cuadrícula. [20] [21]

En 2017, Google introdujo un nuevo reCAPTCHA "invisible", en el que la verificación se realiza en segundo plano y no se muestra ningún desafío si se considera que el usuario tiene un riesgo bajo. [22] [23] [24] Según el ex "zar del fraude de clics" de Google, Shuman Ghosemajumder , esta capacidad "crea un nuevo tipo de desafío que los bots muy avanzados aún pueden sortear, pero introduce mucha menos fricción para el humano legítimo. " [24]

reCAPTCHA v1 se declaró al final de su vida útil y se cerró el 31 de marzo de 2018. [25]

Implementación [ editar ]

Las pruebas de reCAPTCHA se muestran desde el sitio central del proyecto reCAPTCHA, que proporciona las palabras a descifrar. Esto se hace a través de una API de JavaScript con el servidor haciendo una devolución de llamada a reCAPTCHA después de que se haya enviado la solicitud. El proyecto reCAPTCHA proporciona bibliotecas para varios lenguajes de programación y aplicaciones para facilitar este proceso. reCAPTCHA es un servicio gratuito proporcionado a sitios web para ayudar con el desciframiento, [26] pero el software reCAPTCHA no es de código abierto . [27]

Además, reCAPTCHA ofrece complementos para varias plataformas de aplicaciones web, incluidas ASP.NET , Ruby y PHP , para facilitar la implementación del servicio. [28]

Seguridad [ editar ]

Un ejemplo de cómo se presentaron los desafíos de reCAPTCHA en 2010, [29] que contiene las palabras "y cinceles"

El objetivo principal de un sistema CAPTCHA es bloquear los robots de spam y permitir a los usuarios humanos. El 14 de diciembre de 2009, Jonathan Wilkins publicó un documento en el que describía las debilidades de reCAPTCHA que permitían a los bots lograr una tasa de resolución del 18%. [30] [31] [32]

El 1 de agosto de 2010, Chad Houck dio una presentación en la Conferencia de Hacking DEF CON 18 detallando un método para revertir la distorsión agregada a las imágenes que permitió que un programa de computadora determinara una respuesta válida el 10% del tiempo. [33] [34] El sistema reCAPTCHA fue modificado el 21 de julio de 2010, antes de que Houck hablara sobre su método. Houck modificó su método a lo que describió como un CAPTCHA "más fácil" para determinar una respuesta válida el 31,8% de las veces. Houck también mencionó las defensas de seguridad en el sistema, incluido un bloqueo de alta seguridad si se da una respuesta no válida 32 veces seguidas. [35]

El 26 de mayo de 2012, Adam, CP y Jeffball de DC949 hicieron una presentación en la conferencia de hackers LayerOne detallando cómo pudieron lograr una solución automatizada con una tasa de precisión del 99,1%. [36]Su táctica consistió en utilizar técnicas de aprendizaje automático, un subcampo de la inteligencia artificial, para analizar la versión de audio de reCAPTCHA que está disponible para personas con discapacidad visual. Google lanzó una nueva versión de reCAPTCHA pocas horas antes de su charla, haciendo cambios importantes tanto en las versiones de audio como en las visuales de su servicio. En esta versión, la versión de audio se incrementó en duración de 8 segundos a 30 segundos, y es mucho más difícil de entender, tanto para humanos como para bots. En respuesta a esta actualización y la siguiente, los miembros de DC949 lanzaron dos versiones más de Stiltwalker que vencieron a reCAPTCHA con una precisión del 60.95% y 59.4% respectivamente. Después de cada pausa sucesiva, Google actualizó reCAPTCHA en unos pocos días. Según DC949, a menudo volvían a utilizar funciones que habían sido pirateadas anteriormente.

El 27 de junio de 2012, Claudia Cruz, Fernando Uceda y Leobardo Reyes publicaron un artículo que mostraba un sistema que se ejecutaba en imágenes reCAPTCHA con una precisión del 82%. [37] Los autores no han dicho si su sistema puede resolver imágenes recientes de reCAPTCHA, aunque afirman que su trabajo es OCR inteligente y robusto para algunos, si no todos los cambios en la base de datos de imágenes.

En una presentación de agosto de 2012 en BsidesLV 2012, DC949 calificó la última versión de "insondablemente imposible para los humanos"; tampoco pudieron resolverlos manualmente. [36] La organización de accesibilidad web WebAIM informó en mayo de 2012, "Más del 90% de los encuestados [usuarios de lectores de pantalla] encuentran CAPTCHA muy o algo difícil". [38]

Crítica [ editar ]

La versión original de reCAPTCHA fue criticada por ser una fuente de trabajo no remunerado para ayudar a transcribir los esfuerzos. [39]

Google se beneficia de los usuarios de reCAPTCHA como trabajadores gratuitos para mejorar su investigación de IA. [40]

Privacidad [ editar ]

La iteración actual del sistema ha sido criticada por su dependencia de las cookies de seguimiento y la promoción del bloqueo del proveedor con los servicios de Google; Se anima a los administradores a incluir el código de seguimiento de reCAPTCHA en todas las páginas de su sitio web para analizar el comportamiento y el "riesgo" de los usuarios, lo que determina el nivel de fricción que se presenta cuando se utiliza un mensaje de reCAPTCHA. Google declaró en su política de privacidad que los datos del usuario recopilados de esta manera no se utilizan para publicidad personalizada. También se descubrió que el sistema favorece a aquellos que tienen un inicio de sesión activo en la cuenta de Google y muestra un mayor riesgo para aquellos que utilizan servidores proxy anónimos y servicios VPN. [22]

Se plantearon preocupaciones con respecto a la privacidad cuando Google anunció reCAPTCHA v3.0, ya que permite a Google rastrear a los usuarios en sitios web que no son de Google. [22]

En abril de 2020, Cloudflare cambió de reCAPTCHA a hCaptcha, citando preocupaciones de privacidad sobre el uso potencial de Google de los datos que recopilan a través de reCAPTCHA para publicidad dirigida [41] y para reducir los costos operativos, ya que una parte considerable de los clientes de Cloudflare son gratuitos, no clientes que pagan. En respuesta, Google le dijo a PC Magazine que los datos de reCAPTCHA nunca se utilizan con fines publicitarios personalizados. [19]

Accesibilidad [ editar ]

El centro de ayuda de Google afirma que reCAPTCHA no es compatible con la comunidad de sordociegos , [42] bloqueando efectivamente a dichos usuarios de todas las páginas que utilizan el servicio. Sin embargo, reCAPTCHA tiene actualmente la lista más larga de consideraciones de accesibilidad de todos los servicios CAPTCHA. [43]

Interfaz [ editar ]

En una de las variantes de los desafíos CAPTCHA, las imágenes no se resaltan de manera incremental, sino que se desvanecen cuando se hace clic en ellas y se reemplazan con una nueva imagen que se desvanece, parecida a whack-a-mole .

La crítica se ha dirigido a la larga duración de las imágenes en desaparecer y entrar [44].

Proyectos derivados [ editar ]

reCAPTCHA también había creado el proyecto Mailhide, que protege las direcciones de correo electrónico en las páginas web para que no sean recolectadas por spammers . [45] De forma predeterminada, la dirección de correo electrónico se convirtió a un formato que no permitía al rastreador ver la dirección de correo electrónico completa; por ejemplo, "[email protected]" se habría convertido en "mai ... @ example.com". Luego, el visitante haría clic en "..." y resolvería el CAPTCHA para obtener la dirección de correo electrónico completa. También se puede editar el código emergente para que ninguna de las direcciones sea visible. Mailhide se suspendió en 2018 porque se basó en reCAPTCHA v1. [46]

Referencias [ editar ]

  1. ^ Shet, Vinay (3 de diciembre de 2014). "¿Eres un robot? Presentamos 'No CAPTCHA reCAPTCHA ' " . Archivado desde el original el 3 de septiembre de 2020 . Consultado el 24 de febrero de 2021 . Citar utiliza un título genérico ( ayuda )
  2. ^ "reCAPTCHA v3" . Archivado desde el original el 25 de septiembre de 2020 . Consultado el 8 de septiembre de 2020 .
  3. ^ Ahn, Luis von, colaboración en línea a gran escala , archivado desde el original el 15 de julio de 2020 , recuperado el 14 de abril de 2020
  4. ^ "reCAPTCHA: Acerca de nosotros" . Archivado desde el original el 11 de junio de 2010 . Consultado el 14 de agosto de 2018 .
  5. ^ "Enseñar a las computadoras a leer: Google adquiere reCAPTCHA" . Archivado desde el original el 6 de julio de 2013 . Consultado el 16 de septiembre de 2009 .
  6. ^ "Descifrando textos antiguos, una palabra aturdida y curvilínea a la vez" . The New York Times . 28 de marzo de 2011. Archivado desde el original el 17 de noviembre de 2017 . Consultado el 20 de noviembre de 2017 .
  7. ^ "Preguntas frecuentes sobre reCAPTCHA" . Archivado desde el original el 5 de julio de 2010 . Consultado el 12 de junio de 2011 .
  8. ^ Rubens, Paul (2 de octubre de 2007). "El arma de spam ayuda a preservar los libros" . BBC. Archivado desde el original el 6 de julio de 2013 . Consultado el 3 de octubre de 2007 .
  9. ^ "Lucha contra el spam, digitaliza libros" . Blog de Craigslist. Junio ​​de 2008. Archivado desde el original el 6 de julio de 2010 . Consultado el 17 de junio de 2008 .
  10. ^ "Programa de caja convertidora de TV" . dtv2009.gov . Archivado desde el original el 4 de noviembre de 2009.
  11. ^ " " Entrevista completa: Luis von Ahn sobre Duolingo ", Spark, noviembre de 2011" . Corporación Canadiense de Radiodifusión. 30 de noviembre de 2011. Archivado desde el original el 3 de junio de 2012 . Consultado el 10 de julio de 2013 .
  12. ^ Hutchinson, Alex (marzo de 2009). "Recursos Humanos: El trabajo que ni siquiera sabías que tenías". La morsa . págs. 15-16.
  13. ^ Hutchinson, Alex (12 de marzo de 2009). "Recursos Humanos: El trabajo que ni siquiera sabías que tenías" . La morsa . Archivado desde el original el 3 de diciembre de 2015 . Consultado el 7 de diciembre de 2015 .
  14. ^ "reCAPTCHA: uso de Captchas para digitalizar libros" . TechCrunch . 16 de septiembre de 2007.
  15. ^ Timmer, John (14 de agosto de 2008). "¿Los CAPTCHA funcionan? Para digitalizar textos, manuscritos viejos y dañados" . Ars Technica . Archivado desde el original el 24 de enero de 2009 . Consultado el 9 de diciembre de 2008 .
  16. ^ a b Luis; Maurer, Ben; McMillen, Colin; Abraham, David; Blum, Manuel (2008). "reCAPTCHA: Reconocimiento de caracteres basado en humanos a través de medidas de seguridad web " ". Science . 321 (5895): 1465–1468. Bibcode : 2008Sci ... 321.1465V . CiteSeerX 10.1.1.141.6563 . doi : 10.1126 / science.1160379 . PMID 18703711 . S2CID 18371056 .   
  17. ^ " " validez cuestionable de los resultados si las palabras se presentan fuera de contexto ", Grupos de Google, 29 de agosto de 2008" . Archivado desde el original el 30 de abril de 2011 . Consultado el 10 de julio de 2013 .
  18. ^ Pérez, Sarah (29 de marzo de 2012). "Google ahora usa ReCAPTCHA para decodificar direcciones de Street View" . TechCrunch . Archivado desde el original el 18 de agosto de 2012 . Consultado el 10 de julio de 2013 .
  19. ^ a b "Cloudflare vuelca ReCAPTCHA de Google sobre preocupaciones de privacidad, costos" . PCMAG . Archivado desde el original el 19 de julio de 2020 . Consultado el 18 de julio de 2020 .
  20. ^ "¿Eres un robot? Presentamos" No CAPTCHA reCAPTCHA " " . Blog de seguridad de Google . 3 de diciembre de 2014. Archivado desde el original el 5 de marzo de 2016 . Consultado el 14 de abril de 2015 . Citar utiliza un título genérico ( ayuda )
  21. ^ Greenberg, Andy (3 de diciembre de 2014). "Google ahora puede saber que no eres un robot con un solo clic" . Cableado . Archivado desde el original el 2 de octubre de 2015 . Consultado el 1 de octubre de 2015 .
  22. ↑ a b c Schwab, Katharine (27 de junio de 2019). "El nuevo reCAPTCHA de Google tiene un lado oscuro" . Empresa rápida . Archivado desde el original el 28 de junio de 2019 . Consultado el 8 de abril de 2020 . Error de cita: la referencia nombrada ": 0" se definió varias veces con contenido diferente (consulte la página de ayuda ).
  23. ^ Amadeo, Ron (9 de marzo de 2017). "El reCAPTCHA de Google se vuelve" invisible ", separará a los bots de las personas sin desafíos" . Ars Technica . Archivado desde el original el 6 de agosto de 2020 . Consultado el 14 de abril de 2020 .
  24. ^ a b "Google acaba de hacer que Internet sea un poco menos molesto" . Ciencia popular . 10 de marzo de 2017. Archivado desde el original el 5 de febrero de 2021 . Consultado el 5 de abril de 2017 .
  25. ^ "API de Google reCAPTCHA v1 cerrándose en marzo de 2018" . Web programable . Archivado desde el original el 20 de junio de 2020 . Consultado el 14 de abril de 2020 .
  26. ^ "Preguntas frecuentes" . reCAPTCHA.net. Archivado desde el original el 16 de julio de 2012.
  27. ^ "reCAPTCHA: detener el spam, leer libros" . Archivado desde el original el 19 de junio de 2020 . Consultado el 14 de enero de 2014 .
  28. ^ "Guía del desarrollador - reCAPTCHA - Desarrolladores de Google" . Archivado desde el original el 24 de noviembre de 2017 . Consultado el 14 de enero de 2014 .
  29. ^ Greenberg, Andy (18 de junio de 2010). "Esas pruebas de palabras codificadas para detener los robots de spam también son difíciles para los humanos" . Forbes . Archivado desde el original el 9 de septiembre de 2017 . Consultado el 10 de septiembre de 2017 .
  30. ^ "Directrices fuertes de CAPTCHA" (PDF) . Archivado (PDF) desde el original el 23 de julio de 2011 . Consultado el 31 de enero de 2011 .
  31. ^ "ReCAPTCHA de Google roto por un nuevo ataque" . Archivado desde el original el 10 de agosto de 2017 . Consultado el 10 de agosto de 2017 .
  32. ^ "ReCAPTCHA de Google abollado" . Archivado desde el original el 10 de marzo de 2010 . Consultado el 31 de enero de 2011 .
  33. ^ "Altavoces Def Con 18" . defcon.org. Archivado desde el original el 20 de octubre de 2010 . Consultado el 17 de noviembre de 2010 .
  34. ^ "Decodificación de papel reCAPTCHA" . Chad Houck. Archivado desde el original el 19 de agosto de 2010.
  35. ^ "Decodificación de reCAPTCHA Power Point" . Chad Houck. Archivado desde el original el 24 de octubre de 2010.
  36. ^ a b "Proyecto Stiltwalker" . Archivado desde el original el 2 de julio de 2012 . Consultado el 28 de mayo de 2012 .
  37. ^ Claudia Cruz-Perez; Oleg Starostenko; Fernando Uceda-Ponga; Vicente Alarcón-Aquino; Leobardo Reyes-Cabrera (30 de junio de 2012). "Romper reCAPTCHAs con colapso impredecible: reconocimiento y segmentación de caracteres heurísticos". En Carrasco-Ochoa, Jesús Ariel; Martínez-Trinidad, José Francisco; Olvera López, José Arturo; Boyer, Kim L (eds.). Reconocimiento de patrones . Apuntes de conferencias en Ciencias de la Computación. 7329 . México. págs. 155-165. doi : 10.1007 / 978-3-642-31149-9_16 . ISBN 978-3-642-31148-2.
  38. ^ "Resultados de la encuesta de usuario de lector de pantalla # 4" . Archivado desde el original el 10 de diciembre de 2017 . Consultado el 19 de abril de 2013 .
  39. ^ Harris, David L. (23 de enero de 2015). "La demanda de una mujer de Massachusetts acusa a Google de utilizar mano de obra gratuita para transcribir libros, periódicos" . Boston Business Journal . Archivado desde el original el 28 de abril de 2015 . Consultado el 4 de septiembre de 2015 .
  40. ^ "Sin CAPTCHA: otro truco ideado por Google para extraerle trabajo digital gratuito" . Archivado desde el original el 12 de noviembre de 2020 . Consultado el 3 de diciembre de 2020 .
  41. ^ "Pasando de reCAPTCHA a hCaptcha" . El blog de Cloudflare . 8 de abril de 2020. Archivado desde el original el 12 de agosto de 2020 . Consultado el 18 de julio de 2020 .
  42. ^ "Copia archivada" . Archivado desde el original el 6 de agosto de 2020 . Consultado el 11 de mayo de 2020 .Mantenimiento de CS1: copia archivada como título ( enlace )
  43. ^ "Copia archivada" . Archivado desde el original el 26 de noviembre de 2020 . Consultado el 10 de diciembre de 2020 .Mantenimiento de CS1: copia archivada como título ( enlace )
  44. ^ "ReCaptcha desvanecimiento extremadamente lento · Edición # 268 · google / recaptcha" . GitHub . Archivado desde el original el 14 de octubre de 2020 . Consultado el 14 de octubre de 2020 .
  45. ^ "Mailhide: Protección gratuita contra correo no deseado" . Archivado desde el original el 2 de enero de 2012 . Consultado el 15 de mayo de 2011 .
  46. ^ "Mailhide: servicio interrumpido" . Archivado desde el original el 7 de noviembre de 2012 . Consultado el 3 de marzo de 2019 .

Lectura adicional [ editar ]

  • Dzieza, Josh (1 de febrero de 2019). "Por qué los CAPTCHA se han vuelto tan difíciles" . The Verge .
  • Schwab, Katharine (27 de junio de 2019). "El nuevo reCAPTCHA de Google tiene un lado oscuro" . Empresa rápida .

Enlaces externos [ editar ]

  • Página web oficial
  • Repositorio
  • ReCAPTCHA: El trabajo que ni siquiera sabía que tenía Archivado el 24 de noviembre de 2011 en el artículo de dos páginas de Wayback Machine en la revista The Walrus
  • Luis; Maurer, Benjamín; McMillen, Colin; Abraham, David; Blum, Manuel (2008). "reCAPTCHA: reconocimiento de caracteres basado en humanos a través de medidas de seguridad web". Ciencia . 321 (5895): 1465–1468. Código Bibliográfico : 2008Sci ... 321.1465V . CiteSeerX  10.1.1.141.6563 . doi : 10.1126 / science.1160379 . PMID  18703711 . S2CID  18371056 .
  • Colaboración en línea a gran escala , una charla TED de Luis von Ahn