El sesgo algorítmico describe errores sistemáticos y repetibles en un sistema informático que crean resultados injustos, como privilegiar a un grupo arbitrario de usuarios sobre otros. El sesgo puede surgir debido a muchos factores, que incluyen, entre otros, el diseño del algoritmo o el uso o decisiones no intencionales o imprevistas relacionadas con la forma en que se codifican, recopilan, seleccionan o utilizan los datos para entrenar el algoritmo. El sesgo algorítmico se encuentra en todas las plataformas, incluidos, entre otros, los resultados de los motores de búsqueda y las plataformas de redes sociales, y puede tener impactos que van desde violaciones involuntarias de la privacidad hasta el refuerzo de los sesgos sociales.de raza, género, sexualidad y etnia. El estudio del sesgo algorítmico se ocupa principalmente de los algoritmos que reflejan una discriminación "sistemática e injusta". Este sesgo solo se ha abordado recientemente en marcos legales, como el Reglamento general de protección de datos de la Unión Europea de 2018 . Se necesita una regulación más completa a medida que las tecnologías emergentes se vuelven cada vez más avanzadas y opacas.
A medida que los algoritmos amplían su capacidad para organizar la sociedad, la política, las instituciones y el comportamiento, los sociólogos se han preocupado por las formas en que la salida y la manipulación imprevistas de datos pueden afectar al mundo físico. Debido a que los algoritmos a menudo se consideran neutrales e imparciales, pueden proyectar de manera inexacta una mayor autoridad que la experiencia humana y, en algunos casos, la dependencia de los algoritmos puede desplazar la responsabilidad humana por sus resultados. El sesgo puede entrar en sistemas algorítmicos como resultado de expectativas culturales, sociales o institucionales preexistentes; debido a limitaciones técnicas de su diseño; o por ser utilizado en contextos imprevistos o por audiencias que no se consideran en el diseño inicial del software.
El sesgo algorítmico se ha citado en casos que van desde los resultados de las elecciones hasta la difusión del discurso de odio en línea . También ha surgido en la justicia penal, la atención médica y la contratación, agravando los prejuicios raciales, económicos y de género existentes. La relativa incapacidad de la tecnología de reconocimiento facial para identificar con precisión rostros de piel más oscura se ha relacionado con múltiples arrestos injustos de hombres negros, un problema que surge de conjuntos de datos desequilibrados. Los problemas para comprender, investigar y descubrir el sesgo algorítmico persisten debido a la naturaleza patentada de los algoritmos, que generalmente se tratan como secretos comerciales. Incluso cuando se proporciona una transparencia total, la complejidad de ciertos algoritmos plantea una barrera para comprender su funcionamiento. Además, los algoritmos pueden cambiar o responder a la entrada o salida de formas que no se pueden anticipar o reproducir fácilmente para el análisis. En muchos casos, incluso dentro de un solo sitio web o aplicación, no existe un "algoritmo" único para examinar, sino una red de muchos programas y entradas de datos interrelacionados, incluso entre usuarios del mismo servicio.
Definiciones
Los algoritmos son difíciles de definir , [2] pero pueden entenderse generalmente como listas de instrucciones que determinan cómo los programas leen, recopilan, procesan y analizan los datos para generar resultados. [3] : 13 Para una introducción técnica rigurosa, consulte Algoritmos . Los avances en el hardware informático han dado lugar a una mayor capacidad para procesar, almacenar y transmitir datos. Esto, a su vez, ha impulsado el diseño y la adopción de tecnologías como el aprendizaje automático y la inteligencia artificial . [4] : 14-15 Al analizar y procesar datos, los algoritmos son la columna vertebral de los motores de búsqueda, [5] sitios web de redes sociales, [6] motores de recomendación, [7] venta minorista en línea, [8] publicidad en línea, [9] y más. [10]
Los científicos sociales contemporáneos se preocupan por los procesos algorítmicos integrados en aplicaciones de hardware y software debido a su impacto político y social, y cuestionan los supuestos subyacentes de la neutralidad de un algoritmo. [11] : 2 [12] : 563 [13] : 294 [14] El término sesgo algorítmico describe errores sistemáticos y repetibles que crean resultados injustos, como privilegiar a un grupo arbitrario de usuarios sobre otros. Por ejemplo, un algoritmo de puntaje crediticio puede denegar un préstamo sin ser injusto, si está sopesando constantemente los criterios financieros relevantes. Si el algoritmo recomienda préstamos a un grupo de usuarios, pero niega préstamos a otro conjunto de usuarios casi idénticos en función de criterios no relacionados, y si este comportamiento puede repetirse en varias ocurrencias, un algoritmo puede describirse como sesgado . [15] : 332 Este sesgo puede ser intencional o involuntario (por ejemplo, puede provenir de datos sesgados obtenidos de un trabajador que anteriormente hizo el trabajo que el algoritmo va a hacer de ahora en adelante).
Métodos
El sesgo se puede introducir en un algoritmo de varias formas. Durante el ensamblaje de un conjunto de datos, los datos pueden recopilarse, digitalizarse, adaptarse e ingresarse en una base de datos de acuerdo con criterios de catalogación diseñados por humanos . [16] : 3 A continuación, los programadores asignan prioridades, o jerarquías , sobre cómo un programa evalúa y clasifica esos datos. Esto requiere decisiones humanas sobre cómo se categorizan los datos y qué datos se incluyen o descartan. [16] : 4 Algunos algoritmos recopilan sus propios datos basados en criterios seleccionados por humanos, que también pueden reflejar el sesgo de los diseñadores humanos. [16] : 8 Otros algoritmos pueden reforzar los estereotipos y preferencias a medida que procesan y muestran datos "relevantes" para los usuarios humanos, por ejemplo, seleccionando información basada en elecciones previas de un usuario o grupo de usuarios similar. [16] : 6
Más allá de reunir y procesar datos, el sesgo puede surgir como resultado del diseño. [17] Por ejemplo, los algoritmos que determinan la asignación de recursos o el escrutinio (como la determinación de las ubicaciones escolares) pueden discriminar inadvertidamente una categoría al determinar el riesgo en función de usuarios similares (como en las puntuaciones de crédito). [18] : 36 Mientras tanto, los motores de recomendación que funcionan asociando usuarios con usuarios similares, o que hacen uso de rasgos de marketing inferidos, pueden depender de asociaciones inexactas que reflejan amplios estereotipos étnicos, de género, socioeconómicos o raciales. Otro ejemplo proviene de determinar los criterios para lo que se incluye y excluye de los resultados. Este criterio podría presentar resultados imprevistos para los resultados de búsqueda, como con el software de recomendación de vuelos que omite los vuelos que no siguen las rutas de vuelo de la aerolínea patrocinadora. [17] Los algoritmos también pueden mostrar un sesgo de incertidumbre , lo que ofrece evaluaciones más confiables cuando se dispone de conjuntos de datos más grandes . Esto puede desviar los procesos algorítmicos hacia resultados que se correspondan más estrechamente con muestras más grandes, lo que puede ignorar los datos de poblaciones subrepresentadas. [19] : 4
Historia
Críticas tempranas
Los primeros programas de computadora fueron diseñados para imitar el razonamiento y las deducciones humanas, y se consideró que funcionaban cuando reproducían con éxito y de manera consistente esa lógica humana. En su libro de 1976 Computer Power and Human Reason , el pionero de la inteligencia artificial Joseph Weizenbaum sugirió que el sesgo podría surgir tanto de los datos utilizados en un programa como de la forma en que se codifica un programa. [20] : 149
Weizenbaum escribió que los programas son una secuencia de reglas creadas por humanos para que las siga una computadora. Siguiendo estas reglas consistentemente, este tipo de programas "ley encarnan", [20] : 40 , es decir, hacer cumplir de una manera específica para resolver problemas. Las reglas que sigue una computadora se basan en las suposiciones de un programador de computadoras sobre cómo se podrían resolver estos problemas. Eso significa que el código podría incorporar la imaginación del programador sobre cómo funciona el mundo, incluidos sus prejuicios y expectativas. [20] : 109 Si bien un programa de computadora puede incorporar sesgos de esta manera, Weizenbaum también señaló que cualquier dato alimentado a una máquina refleja además "procesos humanos de toma de decisiones" a medida que se seleccionan los datos. [20] : 70, 105
Finalmente, señaló que las máquinas también pueden transferir buena información con consecuencias no deseadas si los usuarios no tienen claro cómo interpretar los resultados. [20] : 65 Weizenbaum advirtió contra la confianza en las decisiones tomadas por programas de computadora que un usuario no comprende, comparando tal fe con la de un turista que puede encontrar su camino a una habitación de hotel exclusivamente girando a la izquierda o derecha al lanzar una moneda. Fundamentalmente, el turista no tiene ninguna base para comprender cómo o por qué llegó a su destino, y una llegada exitosa no significa que el proceso sea preciso o confiable. [20] : 226
Un ejemplo temprano de sesgo algorítmico resultó en que hasta 60 mujeres y minorías étnicas se les negara la entrada a la Escuela de Medicina del Hospital St. George por año desde 1982 hasta 1986, basado en la implementación de un nuevo sistema de evaluación de orientación por computadora que negó la entrada a mujeres y hombres. con "nombres que suenan extranjeros" basados en tendencias históricas en las admisiones. [22] Si bien muchas escuelas en ese momento emplearon sesgos similares en su proceso de selección, St. George fue más notable por automatizar dicho sesgo mediante el uso de un algoritmo, ganando así la atención de la gente en una escala mucho más amplia.
En los últimos años, cuando más algoritmos comenzaron a utilizar métodos de aprendizaje automático en datos del mundo real, el sesgo algorítmico se puede encontrar con mayor frecuencia debido al sesgo existente en los datos.
Críticas y respuestas contemporáneas
Aunque los algoritmos bien diseñados con frecuencia determinan resultados que son igualmente (o más) equitativos que las decisiones de los seres humanos, todavía ocurren casos de sesgo y son difíciles de predecir y analizar. [23] La complejidad de analizar el sesgo algorítmico ha crecido junto con la complejidad de los programas y su diseño. Las decisiones tomadas por un diseñador, o un equipo de diseñadores, pueden quedar ocultas entre las muchas piezas de código creadas para un solo programa; con el tiempo, estas decisiones y su impacto colectivo en los resultados del programa pueden olvidarse. [24] : 115 En teoría, estos sesgos pueden crear nuevos patrones de comportamiento, o "scripts", en relación con tecnologías específicas a medida que el código interactúa con otros elementos de la sociedad. [25] Los sesgos también pueden afectar la forma en que la sociedad se configura en torno a los puntos de datos que requieren los algoritmos. Por ejemplo, si los datos muestran una gran cantidad de arrestos en un área en particular, un algoritmo puede asignar más patrullas policiales a esa área, lo que podría dar lugar a más arrestos. [26] : 180
Las decisiones de los programas algorítmicos pueden verse como más autorizadas que las decisiones de los seres humanos a los que están destinados a ayudar, [27] : 15 un proceso descrito por el autor Clay Shirky como "autoridad algorítmica". [28] Shirky usa el término para describir "la decisión de considerar como autoritario un proceso no administrado de extraer valor de diversas fuentes no confiables", como los resultados de búsqueda. [28] Esta neutralidad también puede ser tergiversada por el lenguaje utilizado por los expertos y los medios de comunicación cuando se presentan los resultados al público. Por ejemplo, se puede crear una lista de noticias seleccionadas y presentadas como "tendencias" o "populares" basándose en criterios significativamente más amplios que solo su popularidad. [16] : 14
Debido a su conveniencia y autoridad, los algoritmos se teorizan como un medio para delegar la responsabilidad de los humanos. [27] : 16 [29] : 6 Esto puede tener el efecto de reducir opciones alternativas, compromisos o flexibilidad. [27] : 16 El sociólogo Scott Lash ha criticado los algoritmos como una nueva forma de "poder generativo", en el sentido de que son un medio virtual de generar fines reales. Donde anteriormente el comportamiento humano generaba datos para ser recolectados y estudiados, los algoritmos poderosos podían moldear y definir cada vez más los comportamientos humanos. [30] : 71
La preocupación por el impacto de los algoritmos en la sociedad ha llevado a la creación de grupos de trabajo en organizaciones como Google y Microsoft , que han co-creado un grupo de trabajo llamado Equidad, Responsabilidad y Transparencia en el Aprendizaje Automático. [31] : 115 Ideas de Google han incluido grupos comunitarios que patrullan los resultados de los algoritmos y votan para controlar o restringir los resultados que consideran que tienen consecuencias negativas. [31] : 117 En los últimos años, el estudio de Equidad, Responsabilidad y Transparencia (FAT) de los algoritmos ha surgido como su propia área de investigación interdisciplinaria con una conferencia anual llamada FAT *. [32] Los críticos han sugerido que las iniciativas FAT no pueden servir eficazmente como perros guardianes independientes cuando muchas son financiadas por corporaciones que construyen los sistemas que se están estudiando. [33]
Tipos
Preexistente
El sesgo preexistente en un algoritmo es una consecuencia de las ideologías sociales e institucionales subyacentes . Tales ideas pueden influir o crear prejuicios personales dentro de los diseñadores o programadores individuales. Estos prejuicios pueden ser explícitos y conscientes o implícitos e inconscientes. [15] : 334 [13] : 294 Los datos de entrada mal seleccionados, o simplemente los datos de una fuente sesgada, influirán en los resultados creados por las máquinas. [21] : 17 La codificación del sesgo preexistente en el software puede preservar el sesgo social e institucional y, sin corrección, podría replicarse en todos los usos futuros de ese algoritmo. [24] : 116 [29] : 8
Un ejemplo de esta forma de sesgo es el Programa de la Ley de Nacionalidad Británica, diseñado para automatizar la evaluación de nuevos ciudadanos británicos después de la Ley de Nacionalidad Británica de 1981 . [15] : 341 El programa reflejaba fielmente los principios de la ley, que establecían que "un hombre es el padre sólo de sus hijos legítimos, mientras que una mujer es la madre de todos sus hijos, legítimos o no". [15] : 341 [34] : 375 En su intento de transferir una lógica particular a un proceso algorítmico, el BNAP inscribió la lógica de la Ley de Nacionalidad Británica en su algoritmo, que la perpetuaría incluso si la ley finalmente fuera derogada. [15] : 342
Técnico
El sesgo técnico surge a través de las limitaciones de un programa, la potencia computacional, su diseño u otras restricciones del sistema. [15] : 332 Tal sesgo también puede ser una restricción del diseño, por ejemplo, se puede entender que un motor de búsqueda que muestra tres resultados por pantalla privilegia los tres primeros resultados un poco más que los tres siguientes, como en la visualización de precios de una aerolínea. [15] : 336 Otro caso es el software que se basa en la aleatoriedad para distribuciones justas de resultados. Si el mecanismo de generación de números aleatorios no es verdaderamente aleatorio, puede introducir sesgos, por ejemplo, sesgando las selecciones hacia elementos al final o al comienzo de una lista. [15] : 332
Un algoritmo descontextualizado utiliza información no relacionada para ordenar los resultados, por ejemplo, un algoritmo de precios de vuelos que clasifica los resultados por orden alfabético estaría sesgado a favor de American Airlines sobre United Airlines. [15] : 332 También puede aplicarse lo contrario, en el que los resultados se evalúan en contextos diferentes de los que se recopilan. Los datos se pueden recopilar sin un contexto externo crucial: por ejemplo, cuando las cámaras de vigilancia utilizan software de reconocimiento facial , pero el personal remoto lo evalúa en otro país o región, o se evalúa mediante algoritmos no humanos sin conocimiento de lo que ocurre más allá de la cámara. campo de visión . Esto podría crear una comprensión incompleta de la escena del crimen, por ejemplo, confundiendo potencialmente a los transeúntes con los que cometen el crimen. [12] : 574
Por último, se puede crear un sesgo técnico al intentar formalizar las decisiones en pasos concretos bajo el supuesto de que el comportamiento humano funciona de la misma manera. Por ejemplo, el software sopesa los puntos de datos para determinar si un acusado debe aceptar un acuerdo de culpabilidad, mientras ignora el impacto de la emoción en un jurado. [15] : 332 Otro resultado involuntario de esta forma de sesgo se encontró en el software de detección de plagio Turnitin , que compara textos escritos por estudiantes con información encontrada en línea y devuelve una puntuación de probabilidad de que el trabajo del estudiante sea copiado. Debido a que el software compara cadenas largas de texto, es más probable que identifique a hablantes no nativos de inglés que a hablantes nativos, ya que este último grupo podría ser más capaz de cambiar palabras individuales, dividir cadenas de texto plagiado o ocultar pasajes copiados oscuros. sinónimos. Debido a que es más fácil para los hablantes nativos evadir la detección como resultado de las limitaciones técnicas del software, esto crea un escenario en el que Turnitin identifica a los hablantes extranjeros de inglés por plagio mientras permite que más hablantes nativos eviten la detección. [27] : 21-22
Emergente
El sesgo emergente es el resultado del uso y la dependencia de algoritmos en contextos nuevos o imprevistos. [15] : 334 Es posible que los algoritmos no se hayan ajustado para considerar nuevas formas de conocimiento, como nuevos medicamentos o avances médicos, nuevas leyes, modelos comerciales o normas culturales cambiantes. [15] : 334,336 Esto puede excluir a los grupos a través de la tecnología, sin proporcionar un esquema claro para comprender quién es responsable de su exclusión. [26] : 179 [13] : 294 De manera similar, pueden surgir problemas cuando los datos de entrenamiento (las muestras "alimentadas" a una máquina, mediante las cuales modela ciertas conclusiones) no se alinean con los contextos que un algoritmo encuentra en el mundo real. [35]
En 1990, se identificó un ejemplo de sesgo emergente en el software utilizado para ubicar a los estudiantes de medicina de EE. UU. En residencias, el National Residency Match Program (NRMP). [15] : 338 El algoritmo fue diseñado en un momento en el que pocas parejas casadas buscaban residencias juntas. A medida que más mujeres ingresaban a las escuelas de medicina, era probable que más estudiantes solicitaran una residencia junto con sus parejas. El proceso requería que cada solicitante proporcionara una lista de preferencias de ubicación en los EE. UU., Que luego se clasificó y asignó cuando un hospital y un solicitante acordaron una coincidencia. En el caso de las parejas casadas en las que ambos buscaron la residencia, el algoritmo sopesó primero las opciones de ubicación de la pareja con la calificación más alta. El resultado fue una asignación frecuente de escuelas altamente preferidas al primer socio y escuelas de menor preferencia al segundo socio, en lugar de clasificar por compromisos en la preferencia de ubicación. [15] : 338 [36]
Los sesgos emergentes adicionales incluyen:
Correlaciones
Pueden surgir correlaciones impredecibles cuando se comparan grandes conjuntos de datos entre sí. Por ejemplo, los datos recopilados sobre patrones de navegación web pueden alinearse con señales que marcan datos confidenciales (como raza u orientación sexual). Al seleccionar de acuerdo con ciertos patrones de comportamiento o navegación, el efecto final sería casi idéntico a la discriminación mediante el uso de datos directos de raza u orientación sexual. [19] : 6 En otros casos, el algoritmo saca conclusiones de las correlaciones, sin poder comprender esas correlaciones. Por ejemplo, un programa de clasificación dio menor prioridad a los asmáticos que tenían neumonía que a los asmáticos que no tenían neumonía. El algoritmo del programa hizo esto porque simplemente comparó las tasas de supervivencia: los asmáticos con neumonía tienen el mayor riesgo. Históricamente, por esta misma razón, los hospitales suelen brindar a los asmáticos la mejor y más inmediata atención. [37]
Usos imprevistos
El sesgo emergente puede ocurrir cuando audiencias imprevistas utilizan un algoritmo. Por ejemplo, las máquinas pueden requerir que los usuarios puedan leer, escribir o comprender números, o relacionarse con una interfaz utilizando metáforas que no comprenden. [15] : 334 Estas exclusiones pueden agravarse a medida que la tecnología sesgada o excluyente se integra más profundamente en la sociedad. [26] : 179
Aparte de la exclusión, los usos imprevistos pueden surgir de que el usuario final confíe en el software en lugar de en su propio conocimiento. En un ejemplo, un grupo de usuarios inesperado condujo a un sesgo algorítmico en el Reino Unido, cuando el Programa de la Ley Nacional Británica fue creado como una prueba de concepto por científicos informáticos y abogados de inmigración para evaluar la idoneidad para la ciudadanía británica . Los diseñadores tuvieron acceso a experiencia legal más allá de los usuarios finales en las oficinas de inmigración, cuya comprensión tanto del software como de la ley de inmigración probablemente no habría sido sofisticada. Los agentes que administraron las preguntas se basaron completamente en el software, que excluía caminos alternativos a la ciudadanía, y utilizaron el software incluso después de que nuevas leyes de casos e interpretaciones legales llevaron al algoritmo a quedar obsoleto. Como resultado del diseño de un algoritmo para los usuarios que se supone que tienen conocimientos legales sobre la ley de inmigración, el algoritmo del software condujo indirectamente a un sesgo a favor de los solicitantes que se ajustan a un conjunto muy limitado de criterios legales establecidos por el algoritmo, en lugar de por los criterios más amplios. de la ley de inmigración británica. [15] : 342
Circuitos de retroalimentacion
El sesgo emergente también puede crear un ciclo de retroalimentación , o recursión, si los datos recopilados para un algoritmo dan como resultado respuestas del mundo real que se retroalimentan en el algoritmo. [38] [39] Por ejemplo, las simulaciones del software de vigilancia policial predictiva (PredPol), implementado en Oakland, California, sugirieron una mayor presencia policial en los vecindarios negros según los datos delictivos informados por el público. [40] La simulación mostró que el público denunció el delito basándose en la visión de los coches de la policía, independientemente de lo que estuviera haciendo la policía. La simulación interpretó los avistamientos de vehículos de la policía al modelar sus predicciones de delitos y, a su vez, asignaría un aumento aún mayor de la presencia policial en esos vecindarios. [38] [41] [42] El Grupo de Análisis de Datos de Derechos Humanos , que realizó la simulación, advirtió que en lugares donde la discriminación racial es un factor en los arrestos, tales circuitos de retroalimentación podrían reforzar y perpetuar la discriminación racial en la policía. [39] Otro ejemplo bien conocido de un algoritmo que exhibe tal comportamiento es COMPAS , un software que determina la probabilidad de que un individuo se convierta en un delincuente. El software a menudo es criticado por etiquetar a los individuos negros como criminales con mucha más probabilidad que otros, y luego retroalimenta los datos en sí mismo en caso de que los individuos se conviertan en criminales registrados, reforzando aún más el sesgo creado por el conjunto de datos sobre el que actúa el algoritmo.
Los sistemas de recomendación, como los que se utilizan para recomendar videos en línea o artículos de noticias, pueden crear ciclos de retroalimentación. [43] Cuando los usuarios hacen clic en el contenido sugerido por algoritmos, influye en el siguiente conjunto de sugerencias. [44] Con el tiempo, esto puede llevar a que los usuarios ingresen a una burbuja de filtro y desconozcan el contenido importante o útil. [45] [46]
Impacto
Influencias comerciales
Los algoritmos corporativos podrían estar sesgados para favorecer de manera invisible acuerdos financieros o acuerdos entre empresas, sin el conocimiento de un usuario que pueda confundir el algoritmo con imparcialidad. Por ejemplo, American Airlines creó un algoritmo de búsqueda de vuelos en la década de 1980. El software presentó una gama de vuelos de varias aerolíneas a los clientes, pero sopesó los factores que impulsaron sus propios vuelos, independientemente del precio o la conveniencia. En testimonio ante el Congreso de los Estados Unidos , el presidente de la aerolínea afirmó rotundamente que el sistema fue creado con la intención de obtener una ventaja competitiva a través de un trato preferencial. [47] : 2 [15] : 331
En un artículo de 1998 que describía a Google , los fundadores de la empresa habían adoptado una política de transparencia en los resultados de búsqueda con respecto a la ubicación pagada, argumentando que "los motores de búsqueda financiados con publicidad estarán intrínsecamente sesgados hacia los anunciantes y lejos de las necesidades de los consumidores". [48] Este sesgo sería una manipulación "invisible" del usuario. [47] : 3
Comportamiento de voto
Una serie de estudios sobre votantes indecisos en los EE. UU. Y en la India encontró que los resultados de los motores de búsqueda podían cambiar los resultados de la votación en aproximadamente un 20%. Los investigadores concluyeron que los candidatos "no tienen forma de competir" si un algoritmo, con o sin intención, impulsa las listas de páginas de un candidato rival. [49] Los usuarios de Facebook que vieron mensajes relacionados con la votación tenían más probabilidades de votar. Una prueba aleatoria de 2010 de los usuarios de Facebook mostró un aumento del 20% (340.000 votos) entre los usuarios que vieron mensajes alentando a votar, así como imágenes de sus amigos que habían votado. [50] El jurista Jonathan Zittrain advirtió que esto podría crear un efecto de "manipulación digital" en las elecciones, "la presentación selectiva de información por parte de un intermediario para cumplir con su agenda, en lugar de servir a sus usuarios", si se manipula intencionalmente. [51] : 335
Discriminación de género
En 2016, se descubrió que el sitio de redes profesionales LinkedIn recomendaba variaciones masculinas de los nombres de las mujeres en respuesta a las consultas de búsqueda. El sitio no hizo recomendaciones similares en las búsquedas de nombres masculinos. Por ejemplo, "Andrea" mostraba un mensaje preguntando si los usuarios se referían a "Andrew", pero las consultas de "Andrew" no preguntaban si los usuarios querían encontrar a "Andrea". La compañía dijo que esto fue el resultado de un análisis de las interacciones de los usuarios con el sitio. [52]
En 2012, la franquicia de tiendas departamentales Target fue citada por recopilar puntos de datos para inferir cuándo las clientas estaban embarazadas, incluso si no lo habían anunciado, y luego compartir esa información con socios de marketing. [53] : 94 [54] Debido a que los datos se habían predicho, en lugar de observarse o informarse directamente, la empresa no tenía la obligación legal de proteger la privacidad de esos clientes. [53] : 98
Los algoritmos de búsqueda web también han sido acusados de parcialidad. Los resultados de Google pueden priorizar el contenido pornográfico en términos de búsqueda relacionados con la sexualidad, por ejemplo, "lesbiana". Este sesgo se extiende al motor de búsqueda que muestra contenido popular pero sexualizado en búsquedas neutrales. Por ejemplo, los artículos "Las 25 mujeres deportistas más sexys" se muestran como resultados de la primera página en las búsquedas de "deportistas femeninas". [55] : 31 En 2017, Google ajustó estos resultados junto con otros que revelaron grupos de odio , opiniones racistas, abuso infantil y pornografía, y otro contenido ofensivo y perturbador. [56] Otros ejemplos incluyen la visualización de trabajos mejor pagados a los solicitantes masculinos en los sitios web de búsqueda de empleo. [57] Los investigadores también han identificado que la traducción automática exhibe una fuerte tendencia hacia los valores predeterminados masculinos. [58] En particular, esto se observa en campos vinculados a una distribución de género desequilibrada, incluidas las ocupaciones STEM . [59] De hecho, los sistemas de traducción automática actuales no logran reproducir la distribución de las trabajadoras en el mundo real .
En 2015, Amazon.com desactivó un sistema de inteligencia artificial que desarrolló para evaluar las solicitudes de empleo cuando se dieron cuenta de que estaba sesgado en contra de las mujeres. [60] La herramienta de contratación excluyó a los solicitantes que asistieron a universidades exclusivamente para mujeres y currículos que incluían la palabra "mujeres". [61] Mientras estaba en los servicios de transmisión de música, sucedieron cosas similares. En 2019, Spotify descubrió que su algoritmo de sistema de recomendación estaba sesgado en contra de las mujeres artistas. [62] Las recomendaciones de canciones de Spotify sugirieron más artistas masculinos que artistas femeninas.
Discriminación racial y étnica
Los algoritmos han sido criticados como un método para ocultar los prejuicios raciales en la toma de decisiones. [63] [64] [65] : 158 Debido a cómo se trataron ciertas razas y grupos étnicos en el pasado, los datos a menudo pueden contener sesgos ocultos. Por ejemplo, es probable que los negros reciban sentencias más largas que los blancos que cometieron el mismo delito. [66] [67] Esto podría significar potencialmente que un sistema amplifica los sesgos originales en los datos.
En 2015, Google se disculpó cuando los usuarios negros se quejaron de que un algoritmo de identificación de imágenes en su aplicación Fotos los identificaba como gorilas . [68] En 2010, las cámaras Nikon fueron criticadas cuando los algoritmos de reconocimiento de imágenes preguntaban constantemente a los usuarios asiáticos si estaban parpadeando. [69] Estos ejemplos son producto del sesgo en los conjuntos de datos biométricos . [68] Los datos biométricos se extraen de aspectos del cuerpo, incluidos los rasgos raciales observados o inferidos, que luego pueden transferirse a puntos de datos. [65] : 154 La tecnología de reconocimiento de voz puede tener diferentes precisiones según el acento del usuario. Esto puede deberse a la falta de datos de entrenamiento para hablantes de ese acento. [70]
Los datos biométricos sobre la raza también pueden inferirse, en lugar de observarse. Por ejemplo, un estudio de 2012 mostró que los nombres comúnmente asociados con negros tenían más probabilidades de producir resultados de búsqueda que implicaran registros de arrestos, independientemente de si existe algún registro policial del nombre de esa persona. [71] Un estudio de 2015 también encontró que se supone que las personas negras y asiáticas tienen pulmones que funcionan menos debido a que los datos de exposición racial y ocupacional no se incorporan en el modelo del algoritmo de predicción de la función pulmonar. [72] [73]
En 2019, un estudio de investigación reveló que un algoritmo de atención médica vendido por Optum favorecía a los pacientes blancos sobre los pacientes negros más enfermos. El algoritmo predice cuánto costarían los pacientes al sistema de salud en el futuro. Sin embargo, el costo no es neutral en cuanto a la raza, ya que los pacientes negros incurrieron en costos médicos de alrededor de $ 1,800 menos por año que los pacientes blancos con la misma cantidad de afecciones crónicas, lo que llevó al algoritmo a calificar a los pacientes blancos con el mismo riesgo de problemas de salud futuros que los negros. pacientes que padecían significativamente más enfermedades. [74]
Un estudio realizado por investigadores de UC Berkeley en noviembre de 2019 reveló que los algoritmos hipotecarios han sido discriminatorios hacia los latinos y afroamericanos que discriminaban a las minorías por motivos de "solvencia", que se basa en la ley de préstamos justos de EE. UU. Que permite a los prestamistas utilizar medidas de identificación. para determinar si una persona es digna de recibir préstamos. Estos algoritmos particulares estaban presentes en las empresas FinTech y se demostró que discriminan a las minorías. [75] [se necesita fuente no primaria ]
Aplicación de la ley y procedimientos legales
Los algoritmos ya tienen numerosas aplicaciones en los sistemas legales. Un ejemplo de esto es COMPAS , un programa comercial ampliamente utilizado por los tribunales estadounidenses para evaluar la probabilidad de que un acusado se convierta en reincidente . ProPublica afirma que el nivel de riesgo de reincidencia promedio asignado por COMPAS de los acusados negros es significativamente más alto que el nivel de riesgo promedio asignado por COMPAS de los acusados blancos, y que los acusados negros tienen el doble de probabilidades de que se les asigne erróneamente la etiqueta de "alto riesgo" que los blancos. acusados. [76] [77]
Un ejemplo es el uso de evaluaciones de riesgo en las sentencias penales en los Estados Unidos y las audiencias de libertad condicional ; a los jueces se les presentó una puntuación generada algorítmicamente con la intención de reflejar el riesgo de que un preso repita un delito. [78] Para el período de tiempo que comienza en 1920 y termina en 1970, la nacionalidad del padre de un criminal fue una consideración en esos puntajes de evaluación de riesgo. [79] : 4 Hoy en día, estas puntuaciones se comparten con los jueces de Arizona, Colorado, Delaware, Kentucky, Luisiana, Oklahoma, Virginia, Washington y Wisconsin. Una investigación independiente de ProPublica encontró que los puntajes eran inexactos el 80% de las veces y desproporcionadamente sesgados para sugerir que los negros estaban en riesgo de recaída, un 77% más a menudo que los blancos. [78]
Un estudio que se propuso examinar "Riesgo, raza y reincidencia: sesgo predictivo e impacto desigual" alega una probabilidad adversa doble (45 por ciento frente a 23 por ciento) de que los acusados negros o caucásicos sean clasificados erróneamente por imponer un riesgo más alto a pesar de haber permanecido objetivamente sin ninguna reincidencia documentada durante un período de observación de dos años. [80]
Discurso de odio en línea
En 2017, se descubrió que un algoritmo de Facebook diseñado para eliminar el discurso de odio en línea beneficiaba a los hombres blancos sobre los niños negros al evaluar contenido objetable, según documentos internos de Facebook. [81] El algoritmo, que es una combinación de programas informáticos y revisores de contenido humano, se creó para proteger categorías amplias en lugar de subconjuntos específicos de categorías. Por ejemplo, se bloquearían las publicaciones que denunciaran a los "musulmanes", mientras que se permitirían las que denunciaran a los "musulmanes radicales". Un resultado inesperado del algoritmo es permitir el discurso de odio contra los niños negros, porque denuncian al subconjunto "niños" de los negros, en lugar de "todos los negros", mientras que "todos los hombres blancos" desencadenaría un bloqueo, porque los blancos y los hombres no son considerados subconjuntos. [81] También se descubrió que Facebook permite a los compradores de anuncios dirigirse a los "odiadores de judíos" como una categoría de usuarios, lo que, según la compañía, fue un resultado inadvertido de los algoritmos utilizados para evaluar y categorizar datos. El diseño de la compañía también permitió que los compradores de anuncios impidieran que los afroamericanos vieran anuncios de viviendas. [82]
Si bien los algoritmos se utilizan para rastrear y bloquear el discurso de odio, se descubrió que algunos tienen 1,5 veces más probabilidades de marcar información publicada por usuarios negros y 2,2 veces más probable de marcar información como discurso de odio si está escrito en Ebonics. [83] Sin contexto para los insultos y los epítetos, incluso cuando los utilizan las comunidades que los han reapropiado, se marcaron. [84]
Vigilancia
El software de las cámaras de vigilancia puede considerarse intrínsecamente político porque requiere algoritmos para distinguir los comportamientos normales de los anormales y para determinar quién pertenece a ciertos lugares en determinados momentos. [12] : 572 Se ha demostrado que la capacidad de tales algoritmos para reconocer rostros en un espectro racial está limitada por la diversidad racial de imágenes en su base de datos de entrenamiento; si la mayoría de las fotos pertenecen a una raza o género, el software reconoce mejor a otros miembros de esa raza o género. [85] Sin embargo, incluso las auditorías de estos sistemas de reconocimiento de imágenes son éticamente tensas, y algunos académicos han sugerido que el contexto de la tecnología siempre tendrá un impacto desproporcionado en las comunidades cuyas acciones están sobrevigiladas. [86] Por ejemplo, un análisis de 2002 del software utilizado para identificar a las personas en imágenes de CCTV encontró varios ejemplos de sesgo cuando se ejecuta en bases de datos criminales. Se evaluó que el software identificaba a los hombres con más frecuencia que a las mujeres, a las personas mayores con más frecuencia que a los jóvenes e identificaba a los asiáticos, afroamericanos y otras razas con más frecuencia que a los blancos. [26] : 190 Estudios adicionales de software de reconocimiento facial han encontrado que ocurre lo contrario cuando se entrena en bases de datos no criminales, siendo el software el menos preciso para identificar mujeres de piel oscura. [87]
Discriminación sexual
En 2011, los usuarios de la aplicación de conexión gay Grindr informaron que el algoritmo de recomendación de la tienda de Android estaba vinculando a Grindr con aplicaciones diseñadas para encontrar delincuentes sexuales, que según los críticos relacionaban incorrectamente la homosexualidad con la pedofilia. El escritor Mike Ananny criticó esta asociación en The Atlantic , argumentando que tales asociaciones estigmatizan aún más a los hombres homosexuales . [88] En 2009, el minorista en línea Amazon eliminó 57.000 libros después de un cambio algorítmico que amplió su lista negra de "contenido para adultos" para incluir cualquier libro que aborde la sexualidad o temas gay, como la novela aclamada por la crítica Brokeback Mountain . [89] [16] : 5 [90]
En 2019, se descubrió que en Facebook, las búsquedas de "fotos de mis amigas" arrojaban sugerencias como "en bikini" o "en la playa". Por el contrario, las búsquedas de "fotos de mis amigos varones" no arrojaron resultados. [91]
Se ha visto que la tecnología de reconocimiento facial causa problemas a las personas transgénero. En 2018, hubo informes de conductores uber que eran transgénero o en transición y experimentaron dificultades con el software de reconocimiento facial que Uber implementa como una medida de seguridad incorporada. Como resultado de esto, se suspendieron algunas de las cuentas de los conductores de transbordo, lo que les costó tarifas y potencialmente les costó un trabajo, todo debido a que el software de reconocimiento facial experimentó dificultades para reconocer el rostro de un conductor trans que estaba en transición. [92] Aunque la solución a este problema parecería incluir a personas trans en conjuntos de entrenamiento para modelos de aprendizaje automático, una instancia de videos trans de YouTube que se recopilaron para usarse en datos de entrenamiento no recibió el consentimiento de las personas trans que se incluyeron en los videos, lo que generó un problema de violación de la privacidad. [93]
También se realizó un estudio en la Universidad de Stanford en 2017 que probó algoritmos en un sistema de aprendizaje automático que se decía que podía detectar la orientación sexual de una persona en función de sus imágenes faciales. [94] El modelo del estudio predijo una distinción correcta entre hombres homosexuales y heterosexuales el 81% del tiempo, y una distinción correcta entre mujeres homosexuales y heterosexuales el 74% del tiempo. Este estudio resultó en una reacción violenta de la comunidad LGBTQIA, que temía las posibles repercusiones negativas que este sistema de inteligencia artificial podría tener en las personas de la comunidad LGBTQIA al poner a las personas en riesgo de ser "expuestas" en contra de su voluntad. [95]
Búsqueda de Google
Si bien los usuarios generan resultados que se "completan" automáticamente, Google no ha podido eliminar el texto de autocompletado sexista y racista. Por ejemplo, Algoritmos de opresión: cómo los motores de búsqueda refuerzan el racismo Safiya Noble señala un ejemplo de la búsqueda de "chicas negras", que se informó que resultó en imágenes pornográficas. Google afirmó que no podía borrar esas páginas a menos que se consideraran ilegales. [96]
Obstáculos para la investigación
Varios problemas impiden el estudio de sesgos algorítmicos a gran escala, lo que dificulta la aplicación de estudios académicamente rigurosos y la comprensión pública. [11] : 5
Definición de equidad
La literatura sobre el sesgo algorítmico se ha centrado en el remedio de la equidad, pero las definiciones de equidad a menudo son incompatibles entre sí y con las realidades de la optimización del aprendizaje automático. Por ejemplo, definir la equidad como una "igualdad de resultados" puede referirse simplemente a un sistema que produce el mismo resultado para todas las personas, mientras que la equidad definida como "igualdad de trato" podría considerar explícitamente las diferencias entre los individuos. [97] : 2 Como resultado, la justicia a veces se describe como un conflicto con la precisión de un modelo, lo que sugiere tensiones innatas entre las prioridades del bienestar social y las prioridades de los proveedores que diseñan estos sistemas. [98] : 2 En respuesta a esta tensión, los investigadores han sugerido más cuidado en el diseño y uso de sistemas que se basan en algoritmos potencialmente sesgados, con "justicia" definida para aplicaciones y contextos específicos. [99]
Complejidad
Los procesos algorítmicos son complejos , a menudo superan la comprensión de las personas que los utilizan. [11] : 2 [100] : 7 Las operaciones a gran escala pueden no ser entendidas incluso por aquellos involucrados en su creación. [101] Los métodos y procesos de los programas contemporáneos a menudo se ven oscurecidos por la incapacidad de conocer cada permutación de la entrada o salida de un código. [26] : 183 El científico social Bruno Latour ha identificado este proceso como blackboxing , un proceso en el que "el trabajo científico y técnico se hace invisible por su propio éxito. Cuando una máquina funciona de manera eficiente, cuando se resuelve una cuestión de hecho, uno necesita enfocarse sólo en sus entradas y salidas y no en su complejidad interna. Así, paradójicamente, cuanto más éxito tienen la ciencia y la tecnología, más opacas y oscuras se vuelven ". [102] Otros han criticado la metáfora de la caja negra, sugiriendo que los algoritmos actuales no son una caja negra, sino una red interconectada. [103] : 92
Un ejemplo de esta complejidad se puede encontrar en la gama de entradas para personalizar la retroalimentación. El sitio de redes sociales Facebook tuvo en cuenta al menos 100.000 puntos de datos para determinar el diseño de las redes sociales de un usuario en 2013. [104] Además, los grandes equipos de programadores pueden operar en relativo aislamiento entre sí y no ser conscientes de los efectos acumulativos. de pequeñas decisiones dentro de elaborados algoritmos conectados. [24] : 118 No todo el código es original y puede tomarse prestado de otras bibliotecas, creando un complicado conjunto de relaciones entre el procesamiento de datos y los sistemas de entrada de datos. [105] : 22
La complejidad adicional se produce a través del aprendizaje automático y la personalización de algoritmos basados en las interacciones del usuario, como los clics, el tiempo que se pasa en el sitio y otras métricas. Estos ajustes personales pueden confundir los intentos generales de comprender los algoritmos. [106] : 367 [100] : 7 Un servicio de transmisión de radio no identificado informó que utilizó cinco algoritmos únicos de selección de música que seleccionó para sus usuarios, en función de su comportamiento. Esto crea diferentes experiencias de los mismos servicios de transmisión entre diferentes usuarios, lo que dificulta la comprensión de lo que hacen estos algoritmos. [11] : 5 Las empresas también realizan pruebas A / B frecuentes para ajustar los algoritmos en función de la respuesta del usuario. Por ejemplo, el motor de búsqueda Bing puede ejecutar hasta diez millones de variaciones sutiles de su servicio por día, creando diferentes experiencias del servicio entre cada uso y / o usuario. [11] : 5
Falta de transparencia
Los algoritmos comerciales son propietarios y pueden tratarse como secretos comerciales . [11] : 2 [100] : 7 [26] : 183 Tratar los algoritmos como secretos comerciales protege a las empresas, como los motores de búsqueda , donde un algoritmo transparente podría revelar tácticas para manipular las clasificaciones de búsqueda. [106] : 366 Esto dificulta que los investigadores realicen entrevistas o análisis para descubrir cómo funcionan los algoritmos. [105] : 20 Los críticos sugieren que tal secreto también puede ocultar posibles métodos poco éticos utilizados para producir o procesar resultados algorítmicos. [106] : 369 Otros críticos, como la abogada y activista Katarzyna Szymielewicz, han sugerido que la falta de transparencia a menudo se disfraza como resultado de la complejidad algorítmica, protegiendo a las empresas de revelar o investigar sus propios procesos algorítmicos. [107]
Falta de datos sobre categorías sensibles
Una barrera importante para comprender cómo se aborda el sesgo en la práctica es que las categorías, como la demografía de las personas protegidas por la ley contra la discriminación , a menudo no se consideran explícitamente al recopilar y procesar datos. [108] En algunos casos, hay pocas oportunidades de recopilar estos datos de forma explícita, como en la toma de huellas dactilares de dispositivos , la informática ubicua y el Internet de las cosas . En otros casos, es posible que el responsable del tratamiento no desee recopilar dichos datos por motivos de reputación o porque representan un mayor riesgo de responsabilidad y seguridad. También puede darse el caso de que, al menos en relación con el Reglamento general de protección de datos de la Unión Europea , dichos datos se incluyan en las disposiciones de 'categoría especial' (artículo 9) y, por lo tanto, tengan más restricciones sobre la posible recopilación y procesamiento.
Algunos profesionales han intentado estimar e imputar estas categorizaciones sensibles faltantes para permitir la mitigación de sesgos, por ejemplo, construir sistemas para inferir la etnicidad a partir de nombres, [109] sin embargo, esto puede introducir otras formas de sesgo si no se realiza con cuidado. [110] Los investigadores de aprendizaje automático se han basado en tecnologías criptográficas que mejoran la privacidad , como la computación segura de múltiples partes, para proponer métodos mediante los cuales el sesgo algorítmico puede evaluarse o mitigarse sin que estos datos estén disponibles para los modeladores en texto sin cifrar . [111]
El sesgo algorítmico no solo incluye categorías protegidas, sino que también puede afectar a características menos fácilmente observables o codificables, como los puntos de vista políticos. En estos casos, rara vez hay una verdad fundamental fácilmente accesible o no controvertida , y eliminar el sesgo de dicho sistema es más difícil. [112] Además, las correlaciones falsas y accidentales pueden surgir de una falta de comprensión de las categorías protegidas, por ejemplo, las tasas de seguro basadas en datos históricos de accidentes automovilísticos que pueden superponerse, estrictamente por coincidencia, con grupos residenciales de minorías étnicas. [113]
Soluciones
Un estudio de 84 directrices de política sobre IA ética encontró que la equidad y la "mitigación de sesgos no deseados" eran un punto de preocupación común, y se abordaron mediante una combinación de soluciones técnicas, transparencia y monitoreo, derecho a reparación y mayor supervisión, y diversidad y esfuerzos de inclusión. [114]
Técnico
Ha habido varios intentos de crear métodos y herramientas que puedan detectar y observar sesgos dentro de un algoritmo. Estos campos emergentes se centran en herramientas que normalmente se aplican a los datos (de entrenamiento) utilizados por el programa en lugar de a los procesos internos del algoritmo. Estos métodos también pueden analizar el resultado de un programa y su utilidad y, por lo tanto, pueden involucrar el análisis de su matriz de confusión (o tabla de confusión). [115] [116] [117] [118] [119] [120] [121] [122] [123] IA explicable para detectar el algoritmo El sesgo es una forma sugerida de detectar la existencia de sesgo en un algoritmo o modelo de aprendizaje. [124] El uso del aprendizaje automático para detectar sesgos se denomina "realizar una auditoría de IA", donde el "auditor" es un algoritmo que pasa por el modelo de IA y los datos de entrenamiento para identificar sesgos. [125]
Actualmente, se está redactando un nuevo estándar IEEE que tiene como objetivo especificar metodologías que ayuden a los creadores de algoritmos a eliminar problemas de sesgo y articular transparencia (es decir, a las autoridades o usuarios finales ) sobre la función y los posibles efectos de sus algoritmos. El proyecto fue aprobado en febrero de 2017 y está patrocinado por el Comité de Normas de Ingeniería de Sistemas y Software , un comité constituido por la IEEE Computer Society . Se espera que se someta a votación un borrador de la norma en junio de 2019. [126] [127]
Transparencia y seguimiento
Las directrices éticas sobre IA apuntan a la necesidad de rendición de cuentas y recomiendan que se tomen medidas para mejorar la interpretabilidad de los resultados. [128] Estas soluciones incluyen la consideración del "derecho a la comprensión" en los algoritmos de aprendizaje automático y la resistencia al despliegue del aprendizaje automático en situaciones en las que las decisiones no se pueden explicar o revisar. [129] Con este fin, ya está en marcha un movimiento a favor de la " IA explicable " dentro de organizaciones como DARPA , por razones que van más allá del remedio de los prejuicios. [130] Price Waterhouse Coopers , por ejemplo, también sugiere que monitorear la producción significa diseñar sistemas de tal manera que se asegure que los componentes solitarios del sistema puedan aislarse y apagarse si sesgan los resultados. [131]
Un enfoque inicial hacia la transparencia incluyó el código abierto de algoritmos . [132] Se puede examinar el código de software y se pueden proponer mejoras mediante instalaciones de alojamiento de código fuente . Sin embargo, este enfoque no produce necesariamente los efectos deseados. Las empresas y organizaciones pueden compartir toda la documentación y el código posibles, pero esto no establece transparencia si la audiencia no comprende la información proporcionada. Por lo tanto, vale la pena explorar el papel de una audiencia crítica interesada en relación con la transparencia. Los algoritmos no pueden rendir cuentas sin una audiencia crítica. [133]
Derecho a reparación
Desde una perspectiva regulatoria, la Declaración de Toronto pide aplicar un marco de derechos humanos a los daños causados por sesgos algorítmicos. [134] Esto incluye legislar las expectativas de diligencia debida en nombre de los diseñadores de estos algoritmos, y generar responsabilidad cuando los actores privados no protegen el interés público, señalando que tales derechos pueden verse oscurecidos por la complejidad de determinar la responsabilidad dentro de una red de complejos, procesos entrelazados. [135] Otros proponen la necesidad de mecanismos claros de seguro de responsabilidad. [136]
Diversidad e inclusión
En medio de las preocupaciones de que el diseño de sistemas de IA es principalmente el dominio de ingenieros varones blancos, [137] varios estudiosos han sugerido que el sesgo algorítmico puede minimizarse ampliando la inclusión en las filas de quienes diseñan sistemas de IA. [129] [114] Por ejemplo, solo el 12% de los ingenieros de aprendizaje automático son mujeres, [138] y los líderes de inteligencia artificial negros apuntan a una "crisis de diversidad" en el campo. [139] Las críticas a los simples esfuerzos de inclusión sugieren que los programas de diversidad no pueden abordar formas superpuestas de desigualdad, y han pedido que se aplique una lente más deliberada de interseccionalidad al diseño de algoritmos. [140] [141] : 4 Investigadores de la Universidad de Cambridge han argumentado que abordar la diversidad racial se ve obstaculizado por la "blancura" de la cultura de la IA. [142]
Regulación
Europa
El Reglamento general de protección de datos (RGPD), el régimen de protección de datos revisado de la Unión Europea que se implementó en 2018, aborda la "Toma de decisiones individual automatizada, incluida la elaboración de perfiles" en el artículo 22. Estas reglas prohíben "únicamente" las decisiones automatizadas que tienen un efecto "significativo" o "legal" en un individuo, a menos que estén explícitamente autorizados por consentimiento, contrato o ley del estado miembro . Donde estén permitidos, deben existir salvaguardas, como el derecho a un ser humano en el circuito , y un derecho no vinculante a una explicación de las decisiones tomadas. Si bien estas regulaciones se consideran comúnmente nuevas, existen disposiciones casi idénticas en toda Europa desde 1995, en el artículo 15 de la Directiva de protección de datos . Las reglas de decisión automatizadas originales y las garantías que se encuentran en la ley francesa desde finales de la década de 1970. [143]
El RGPD aborda el sesgo algorítmico en los sistemas de elaboración de perfiles, así como los enfoques estadísticos posibles para limpiarlo, directamente en el considerando 71, [144] y señala que
... el responsable del tratamiento debe utilizar procedimientos matemáticos o estadísticos adecuados para la elaboración de perfiles, aplicar las medidas técnicas y organizativas adecuadas ... que eviten, entre otras cosas, efectos discriminatorios sobre las personas físicas por motivos de origen racial o étnico, opinión política, religión o creencias, afiliación sindical, estado genético o de salud u orientación sexual, o que den lugar a medidas que tengan tal efecto.
Al igual que el derecho no vinculante a una explicación del considerando 71, el problema es el carácter no vinculante de los considerandos . [145] Si bien el Grupo de Trabajo del artículo 29 lo consideró como un requisito que asesoraba sobre la aplicación de la ley de protección de datos, [144] sus dimensiones prácticas no están claras. Se ha argumentado que las evaluaciones de impacto de la protección de datos para la elaboración de perfiles de datos de alto riesgo (junto con otras medidas preventivas dentro de la protección de datos) pueden ser una mejor manera de abordar los problemas de discriminación algorítmica, ya que restringe las acciones de quienes implementan algoritmos, en lugar de exigir a los consumidores que presenten quejas o soliciten cambios. [146]
Estados Unidos
Estados Unidos no tiene una legislación general que controle el sesgo algorítmico, abordando el problema a través de varias leyes estatales y federales que pueden variar según la industria, el sector y la forma en que se utiliza un algoritmo. [147] Muchas políticas son autoaplicadas o controladas por la Comisión Federal de Comercio . [147] En 2016, la administración Obama publicó el Plan Estratégico Nacional de Investigación y Desarrollo de Inteligencia Artificial , [148] que tenía la intención de guiar a los responsables de la formulación de políticas hacia una evaluación crítica de los algoritmos. Recomendó a los investigadores que "diseñen estos sistemas para que sus acciones y toma de decisiones sean transparentes y fácilmente interpretables por los humanos, y así puedan ser examinados por cualquier sesgo que puedan contener, en lugar de simplemente aprender y repetir estos sesgos". El informe, que se diseñó únicamente como orientación, no sentó ningún precedente legal. [149] : 26
En 2017, la ciudad de Nueva York aprobó el primer proyecto de ley de responsabilidad algorítmica en los Estados Unidos. [150] El proyecto de ley, que entró en vigor el 1 de enero de 2018, requería "la creación de un grupo de trabajo que brinde recomendaciones sobre cómo se puede compartir con el público la información sobre los sistemas de decisión automatizados de las agencias, y cómo las agencias pueden abordar los casos en los que las personas se ven perjudicados por los sistemas de decisión automatizados de la agencia ". [151] El equipo de tareas debe presentar conclusiones y recomendaciones para nuevas medidas reglamentarias en 2019. [152]
India
El 31 de julio de 2018 se presentó un borrador de la Ley de Datos Personales. [153] El proyecto propone normas para el almacenamiento, procesamiento y transmisión de datos. Si bien no utiliza el término algoritmo, prevé disposiciones para "... daño resultante de cualquier procesamiento o cualquier tipo de procesamiento realizado por el fiduciario". Define "cualquier denegación o retirada de un servicio, beneficio o bien resultante de una decisión evaluativa sobre el titular de los datos" o "cualquier trato discriminatorio" como una fuente de daño que podría derivarse del uso indebido de los datos. También establece disposiciones especiales para las personas en "condición de intersexual". [154]
Ver también
- Ética de la inteligencia artificial
Otras lecturas
- Baer, Tobias (2019). Comprender, administrar y prevenir sesgos algorítmicos: una guía para usuarios comerciales y científicos de datos . Nueva York: Apress. ISBN 9781484248843.
- Noble, Safiya Umoja (2018). Algoritmos de opresión: cómo los motores de búsqueda refuerzan el racismo . Nueva York: New York University Press. ISBN 9781479837243.
- Equidad (aprendizaje automático)
Referencias
- ^ Jacobi, Jennifer (13 de septiembre de 2001). "Patente # US2001021914" . Espacenet . Consultado el 4 de julio de 2018 .
- ^ Striphas, Ted. "¿Qué es un algoritmo? - Cultura digital" . culturedigitally.org . Consultado el 20 de noviembre de 2017 .
- ^ Cormen, Thomas H .; Leiserson, Charles E .; Rivest, Ronald L .; Stein, Clifford (2009). Introducción a los algoritmos (3ª ed.). Cambridge, Mass .: MIT Press. pag. 5 . ISBN 978-0-262-03384-8.
- ^ Kitchin, Rob (25 de febrero de 2016). "Pensar críticamente e investigar algoritmos" (PDF) . Información, comunicación y sociedad . 20 (1): 14-29. doi : 10.1080 / 1369118X.2016.1154087 . S2CID 13798875 . Consultado el 19 de noviembre de 2017 .
- ^ Google. "Cómo funciona la búsqueda de Google" . Consultado el 19 de noviembre de 2017 .
- ^ Luckerson, Víctor. "Así es como funciona realmente tu feed de noticias de Facebook" . TIME.com . Consultado el 19 de noviembre de 2017 .
- ^ Vanderbilt, Tom (7 de agosto de 2013). "La ciencia detrás de los algoritmos de Netflix que deciden lo que verá a continuación" . Cableado . Consultado el 19 de noviembre de 2017 .
- ^ Angwin, Julia; Mattu, Surya (20 de septiembre de 2016). "Amazon dice que pone a los clientes primero. Pero su algoritmo de precios no lo hace: ProPublica" . ProPublica . Consultado el 19 de noviembre de 2017 .
- ^ Livingstone, Rob. "El futuro de la publicidad online son los macrodatos y los algoritmos" . La conversación . Consultado el 19 de noviembre de 2017 .
- ^ Hickman, Leo (1 de julio de 2013). "Cómo los algoritmos gobiernan el mundo" . The Guardian . Consultado el 19 de noviembre de 2017 .
- ^ a b c d e f Seaver, Nick. "Conocer algoritmos" (PDF) . Media in Transition 8, Cambridge, MA, abril de 2013 . Consultado el 18 de noviembre de 2017 .
- ^ a b c Graham, Stephen DN (julio de 2016). "Geografías ordenadas por software" (PDF) . Progress in Human Geography (manuscrito enviado). 29 (5): 562–580. doi : 10.1191 / 0309132505ph568oa . S2CID 19119278 .
- ^ a b c Tewell, Eamon (4 de abril de 2016). "Hacia la lectura resistente de la información: Google, espectador resistente y alfabetización informativa crítica" . Portal: Bibliotecas y Academia . 16 (2): 289–310. doi : 10.1353 / pla.2016.0017 . ISSN 1530-7131 . S2CID 55749077 . Consultado el 19 de noviembre de 2017 .
- ^ Crawford, Kate (1 de abril de 2013). "Los sesgos ocultos en Big Data" . Harvard Business Review .
- ^ a b c d e f g h i j k l m n o p q Friedman, Batya; Nissenbaum, Helen (julio de 1996). "Sesgo en los sistemas informáticos" (PDF) . Transacciones ACM sobre sistemas de información . 14 (3): 330–347. doi : 10.1145 / 230538.230561 . S2CID 207195759 . Consultado el 10 de marzo de 2019 .
- ^ a b c d e f Gillespie, Tarleton; Boczkowski, Pablo; Pie, Kristin (2014). Tecnologías de medios . Cambridge: MIT Press. págs. 1-30. ISBN 9780262525374.
- ^ a b Diakopoulos, Nicolás. "Responsabilidad algorítmica: sobre la investigación de las cajas negras" | . towcenter.org . Consultado el 19 de noviembre de 2017 .
- ^ Lipartito, Kenneth (6 de enero de 2011). "La narrativa y el algoritmo: géneros de informes crediticios desde el siglo XIX hasta la actualidad" (PDF) (manuscrito enviado). doi : 10.2139 / ssrn.1736283 . S2CID 166742927 . Cite journal requiere
|journal=
( ayuda ) - ^ a b Goodman, Bryce; Flaxman, Seth (2017). "Normativa de la UE sobre la toma de decisiones algorítmicas y el" derecho a la explicación " ". Revista AI . 38 (3): 50. arXiv : 1606.08813 . doi : 10.1609 / aimag.v38i3.2741 . S2CID 7373959 .
- ^ a b c d e f g Weizenbaum, Joseph (1976). El poder de la computadora y la razón humana: del juicio al cálculo . San Francisco: WH Freeman. ISBN 978-0-7167-0464-5.
- ^ a b Goffrey, Andrew (2008). "Algoritmo". En Fuller, Matthew (ed.). Estudios de software: un léxico . Cambridge, Mass .: MIT Press. pp. 15 -20. ISBN 978-1-4356-4787-9.
- ^ Lowry, Stella; Macpherson, Gordon (5 de marzo de 1988). "Una mancha en la profesión" . Revista médica británica . 296 (6623): 657–8. doi : 10.1136 / bmj.296.6623.657 . PMC 2545288 . PMID 3128356 . Consultado el 17 de noviembre de 2017 .
- ^ Miller, Alex P. (26 de julio de 2018). "¿Quiere decisiones menos sesgadas? Utilice algoritmos" . Harvard Business Review . Consultado el 31 de julio de 2018 .
- ^ a b c Introna, Lucas D. (2 de diciembre de 2011). "El Enframing of Code". Teoría, cultura y sociedad . 28 (6): 113–141. doi : 10.1177 / 0263276411418131 . S2CID 145190381 .
- ^ Bogost, Ian (15 de enero de 2015). "La Catedral de la Computación" . El Atlántico . Consultado el 19 de noviembre de 2017 .
- ^ a b c d e f g Introna, Lucas; Madera, David (2004). "Representación de la vigilancia algorítmica: la política de los sistemas de reconocimiento facial" . Vigilancia y Sociedad . 2 : 177-198 . Consultado el 19 de noviembre de 2017 .
- ^ a b c d Introna, Lucas D. (21 de diciembre de 2006). "Mantener la reversibilidad de los pliegues: Visibilizar la ética (política) de la tecnología de la información". Ética y Tecnología de la Información . 9 (1): 11-25. CiteSeerX 10.1.1.154.1313 . doi : 10.1007 / s10676-006-9133-z . S2CID 17355392 .
- ^ a b Escurridizo, Clay. "Un post especulativo sobre la idea de autoridad algorítmica Clay Shirky" . www.shirky.com . Consultado el 20 de noviembre de 2017 .
- ^ a b Ziewitz, Malte (1 de enero de 2016). "Algoritmos de gobierno: mito, desorden y métodos" . Ciencia, tecnología y valores humanos . 41 (1): 3-16. doi : 10.1177 / 0162243915608948 . ISSN 0162-2439 . S2CID 148023125 .
- ^ Lash, Scott (30 de junio de 2016). "Poder después de la hegemonía". Teoría, cultura y sociedad . 24 (3): 55–78. doi : 10.1177 / 0263276407075956 . S2CID 145639801 .
- ^ a b García, Megan (1 de enero de 2016). "Racista en la máquina". Revista de política mundial . 33 (4): 111-117. doi : 10.1215 / 07402775-3813015 . S2CID 151595343 .
- ^ "ACM FAT * - 2018 Información para prensa" . fatconference.org . Consultado el 26 de febrero de 2019 .
- ^ Ochigame, Rodrigo (20 de diciembre de 2019). "La invención de la" IA ética ": cómo las grandes tecnologías manipulan la academia para evitar la regulación" . La intercepción . Consultado el 11 de febrero de 2020 .
- ^ Sergot, MJ; Sadri, F; Kowalski, RA; Kriwaczek, F; Hammond, P; Cory, HT (mayo de 1986). "La ley de nacionalidad británica como programa lógico" (PDF) . Comunicaciones de la ACM . 29 (5): 370–386. doi : 10.1145 / 5689.5920 . S2CID 5665107 . Consultado el 18 de noviembre de 2017 .
- ^ Gillespie, Tarleton. "Algoritmo [borrador] [#digitalkeywords] - Cultura digital" . culturedigitally.org . Consultado el 20 de noviembre de 2017 .
- ^ Roth, AE 1524-1528. (14 de diciembre de 1990). "Nuevos médicos: un experimento natural en la organización del mercado" . Ciencia . 250 (4987): 1524-1528. Código Bibliográfico : 1990Sci ... 250.1524R . doi : 10.1126 / science.2274783 . PMID 2274783 . S2CID 23259274 . Consultado el 18 de noviembre de 2017 .
- ^ Kuang, Cliff (21 de noviembre de 2017). "¿Se puede enseñar a la IA a explicarse por sí misma?" . The New York Times . Consultado el 26 de noviembre de 2017 .
- ^ a b Jouvenal, Justin (17 de noviembre de 2016). "La policía está usando software para predecir el crimen. ¿Es un 'santo grial' o está predispuesto contra las minorías?" . Washington Post . Consultado el 25 de noviembre de 2017 .
- ^ a b Chamma, Maurice (3 de febrero de 2016). "Vigilar el futuro" . El Proyecto Marshall . Consultado el 25 de noviembre de 2017 .
- ^ Lum, Kristian; Isaac, William (octubre de 2016). "¿Para predecir y servir?" . Importancia . 13 (5): 14-19. doi : 10.1111 / j.1740-9713.2016.00960.x .
- ^ Smith, Jack. "La vigilancia predictiva sólo amplifica los prejuicios raciales, muestra un estudio" . Mic . Consultado el 25 de noviembre de 2017 .
- ^ Lum, Kristian; Isaac, William (1 de octubre de 2016). "Preguntas frecuentes sobre políticas predictivas y sesgos" . HRDAG . Consultado el 25 de noviembre de 2017 .
- ^ Sun, Wenlong; Nasraoui, Olfa; Shafto, Patrick (2018). "Sesgo algorítmico iterado en el proceso de aprendizaje automático interactivo de filtrado de información" . Actas de la X Conferencia Internacional Conjunta sobre Descubrimiento del Conocimiento, Ingeniería del Conocimiento y Gestión del Conocimiento . Sevilla, España: SCITEPRESS - Publicaciones de ciencia y tecnología: 110–118. doi : 10.5220 / 0006938301100118 . ISBN 9789897583308.
- ^ Sinha, Ayan; Gleich, David F .; Ramani, Karthik (9 de agosto de 2018). "La ley de Gauss para las redes revela directamente los límites de la comunidad" . Informes científicos . 8 (1): 11909. Código Bibliográfico : 2018NatSR ... 811909S . doi : 10.1038 / s41598-018-30401-0 . ISSN 2045-2322 . PMC 6085300 . PMID 30093660 .
- ^ Hao, Karen. "Google finalmente está admitiendo que tiene un problema de burbuja de filtro" . Cuarzo . Consultado el 26 de febrero de 2019 .
- ^ "Facebook está probando esta nueva función para combatir las 'burbujas de filtro ' " . Fortuna . Consultado el 26 de febrero de 2019 .
- ^ a b Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie ; Langbort, Cedric (22 de mayo de 2014). "Algoritmos de auditoría: métodos de investigación para detectar la discriminación en las plataformas de Internet" (PDF) . 64ª Reunión Anual de la Asociación Internacional de Comunicación . Consultado el 18 de noviembre de 2017 .
- ^ Brin, Sergey; Page, Lawrence. "La anatomía de un motor de búsqueda" . www7.scu.edu.au . Archivado desde el original el 2 de julio de 2019 . Consultado el 18 de noviembre de 2017 .
- ^ Epstein, Robert; Robertson, Ronald E. (18 de agosto de 2015). "El efecto de manipulación de los buscadores (SEME) y su posible impacto en los resultados de las elecciones" . Actas de la Academia Nacional de Ciencias . 112 (33): E4512 – E4521. Código Bibliográfico : 2015PNAS..112E4512E . doi : 10.1073 / pnas.1419828112 . PMC 4547273 . PMID 26243876 .
- ^ Bond, Robert M .; Fariss, Christopher J .; Jones, Jason J .; Kramer, Adam DI; Marlow, Cameron; Settle, Jaime E .; Fowler, James H. (13 de septiembre de 2012). "Un experimento de 61 millones de personas en influencia social y movilización política" . Naturaleza . 489 (7415): 295–8. Código bibliográfico : 2012Natur.489..295B . doi : 10.1038 / nature11421 . ISSN 0028-0836 . PMC 3834737 . PMID 22972300 .
- ^ Zittrain, Jonathan (2014). "Ingeniería de una elección" (PDF) . Foro de Harvard Law Review . 127 : 335–341 . Consultado el 19 de noviembre de 2017 .
- ^ Day, Matt (31 de agosto de 2016). "Cómo el motor de búsqueda de LinkedIn puede reflejar un sesgo de género" . El Seattle Times . Consultado el 25 de noviembre de 2017 .
- ^ a b Crawford, Kate; Schultz, Jason (2014). "Big Data y debido proceso: hacia un marco para reparar los daños predictivos a la privacidad" . Revisión de derecho de Boston College . 55 (1): 93-128 . Consultado el 18 de noviembre de 2017 .
- ^ Duhigg, Charles (16 de febrero de 2012). "Cómo las empresas aprenden sus secretos" . The New York Times . Consultado el 18 de noviembre de 2017 .
- ^ Noble, Safiya (2012). "Conexiones perdidas: lo que dicen los motores de búsqueda sobre las mujeres" (PDF) . Revista Perra . 12 (4): 37–41.
- ^ Guynn, Jessica (16 de marzo de 2017). "Google comienza a marcar contenido ofensivo en los resultados de búsqueda" . USA HOY . USA Today . Consultado el 19 de noviembre de 2017 .
- ^ Simonita, Tom. "Estudio sugiere que el sistema de orientación de anuncios de Google puede discriminar" . Revisión de tecnología del MIT . Instituto de Tecnología de Massachusetts . Consultado el 17 de noviembre de 2017 .
- ^ Prates, Marcelo OR; Avelar, Pedro HC; Cordero, Luis (2018). "Evaluación del sesgo de género en la traducción automática: un estudio de caso con el traductor de Google". arXiv : 1809.02208 [ cs.CY ]. Parámetro desconocido
|url=
ignorado ( ayuda ) - ^ Prates, Marcelo OR; Avelar, Pedro H .; Cordero, Luís C. (2019). "Evaluación del sesgo de género en la traducción automática: un estudio de caso con Google Translate". Computación neuronal y aplicaciones . 32 (10): 6363–6381. arXiv : 1809.02208 . doi : 10.1007 / s00521-019-04144-6 . S2CID 52179151 .
- ^ Dastin, Jeffrey (9 de octubre de 2018). "Amazon elimina la herramienta secreta de reclutamiento de inteligencia artificial que mostraba prejuicios contra las mujeres" . Reuters .
- ^ Vincent, James (10 de octubre de 2018). "Según se informa, Amazon desecha la herramienta interna de reclutamiento de IA que estaba sesgada en contra de las mujeres" . The Verge .
- ^ "Reflexionando sobre el sistema de recomendación de Spotify - SongData" . Consultado el 7 de agosto de 2020 .
- ^ Buolamwini, Joy; Gebru, Timnit. "Buolamwini, Joy y Timnit Gebru". Tonos de género: disparidades de precisión interseccional en la clasificación comercial de género. "FAT (2018)" . Actas de la investigación sobre aprendizaje automático . 81 (2018): 1–15 . Consultado el 27 de septiembre de 2020 .
- ^ Noble, Safiya Umoja (20 de febrero de 2018). Algoritmos de opresión: cómo los motores de búsqueda refuerzan el racismo . Nueva York: NYU Press. ISBN 978-1479837243.
- ^ a b Nakamura, Lisa (2009). Imán, Shoshana; Gates, Kelly (eds.). Los nuevos medios de vigilancia . Londres: Routledge. págs. 149-162. ISBN 978-0-415-56812-8.
- ^ Alexander, Rudolph; Gyamerah, Jacquelyn (septiembre de 1997). "Castigo diferencial de afroamericanos y blancos que poseen drogas: ¿una política justa o una continuación del pasado?". Revista de estudios negros . 28 (1): 97-111. doi : 10.1177 / 002193479702800106 . ISSN 0021-9347 . S2CID 152043501 .
- ^ Petersilia, Joan (enero de 1985). "Disparidades raciales en el sistema de justicia penal: un resumen". Crimen y delincuencia . 31 (1): 15–34. doi : 10.1177 / 0011128785031001002 . ISSN 0011-1287 . S2CID 146588630 .
- ^ a b Guynn, Jessica (1 de julio de 2015). "Google Photos etiquetó a los negros como 'gorilas ' " . USA HOY . EE.UU. Hoy en día. USA Today . Consultado el 18 de noviembre de 2017 .
- ^ Rose, Adam (22 de enero de 2010). "¿Son racistas las cámaras de detección de rostros?" . Tiempo . Consultado el 18 de noviembre de 2017 .
- ^ "Alexa no entiende tu acento" . Washington Post .
- ^ Sweeney, Latanya (28 de enero de 2013). "Discriminación en la entrega de anuncios online". arXiv : 1301.6822 .
- ^ Braun, Lundy (2015). "Raza, etnia y función pulmonar: una breve historia" . Revista canadiense de terapia respiratoria . 51 (4): 99–101. ISSN 1205-9838 . PMC 4631137 . PMID 26566381 .
- ^ Robinson, Whitney R; Renson, Audrey; Naimi, Ashley I (1 de abril de 2020). "Aprenderte a ti mismo sobre el racismo estructural mejorará tu aprendizaje automático" . Bioestadística . 21 (2): 339–344. doi : 10.1093 / bioestadística / kxz040 . ISSN 1465-4644 . PMC 7868043 . PMID 31742353 .
- ^ Johnson, Carolyn Y. (24 de octubre de 2019). "El sesgo racial en un algoritmo médico favorece a los pacientes blancos sobre los pacientes negros más enfermos" . Washington Post . Consultado el 28 de octubre de 2019 .
- ^ Bartlett, Robert; Morse, Adair; Stanton, Richard; Wallace, Nancy (junio de 2019). "Discriminación de préstamos al consumidor en la era FinTech" . Documento de trabajo NBER No. 25943 . doi : 10.3386 / w25943 .
- ^ Jeff Larson, Julia Angwin (23 de mayo de 2016). "Cómo analizamos el algoritmo de reincidencia COMPAS" . ProPublica . Archivado desde el original el 29 de abril de 2019 . Consultado el 19 de junio de 2020 .
- ^ "Comentario: Malas noticias. La inteligencia artificial está sesgada" . CNA . 2019-01-12. Archivado desde el original el 12 de enero de 2019 . Consultado el 19 de junio de 2020 .
- ^ a b Angwin, Julia; Larson, Jeff; Mattu, Surya; Kirchner, Lauren (23 de mayo de 2016). "Machine Bias - ProPublica" . ProPublica . Consultado el 18 de noviembre de 2017 .
- ^ Harcourt, Bernard (16 de septiembre de 2010). "Riesgo como representante de la raza". Criminología y políticas públicas, de próxima publicación . SSRN 1677654 .
- ^ Skeem J, Lowenkamp C, Riesgo, raza y reincidencia: sesgo predictivo e impacto desigual (14 de junio de 2016). Disponible en SSRN: https://ssrn.com/abstract=2687339 o https://doi.org/10.2139/ssrn.2687339
- ^ a b Angwin, Julia; Grassegger, Hannes (28 de junio de 2017). "Las reglas secretas de censura de Facebook protegen a los hombres blancos del discurso de odio, pero no a los niños negros - ProPublica" . ProPublica . Consultado el 20 de noviembre de 2017 .
- ^ Angwin, Julia; Varner, Madeleine; Tobin, Ariana (14 de septiembre de 2017). "Facebook habilitó a los anunciantes para llegar a 'enemigos de los judíos' - ProPublica" . ProPublica . Consultado el 20 de noviembre de 2017 .
- ^ Sap, Maarten. "El riesgo de sesgo racial en la detección del discurso de odio" (PDF) .
- ^ Ghaffary, Shirin. "Los algoritmos que detectan el discurso de odio en línea están predispuestos contra los negros" . Vox . Consultado el 19 de febrero de 2020 .
- ^ Furl, N (diciembre de 2002). "Algoritmos de reconocimiento facial y el efecto de otra raza: mecanismos computacionales para una hipótesis de contacto de desarrollo" . Ciencia cognitiva . 26 (6): 797–815. doi : 10.1207 / s15516709cog2606_4 .
- ^ Raji, Inioluwa Deborah; Gebru, Timnit; Mitchell, Margaret; Buolamwini, Joy; Lee, Joonseok; Denton, Emily (7 de febrero de 2020). "Salvar la cara: investigar las preocupaciones éticas de la auditoría de reconocimiento facial" . Actas de la conferencia AAAI / ACM sobre inteligencia artificial, ética y sociedad . Asociación de Maquinaria de Computación: 145-151. arXiv : 2001.00964 . doi : 10.1145 / 3375627.3375820 . S2CID 209862419 .
- ^ Buolamwini, Joy; Gebru, Timnit (2018). "Tonos de género: disparidades de precisión interseccional en la clasificación comercial de género" (PDF) . Actas de la investigación sobre aprendizaje automático . 81 : 1 - vía MLR Press.
- ^ Ananny, Mike (14 de abril de 2011). "La curiosa conexión entre aplicaciones para hombres homosexuales y delincuentes sexuales" . El Atlántico . Consultado el 18 de noviembre de 2017 .
- ^ Kafka, Peter. "¿Amazon realmente fracasó este fin de semana? Twittersphere dice 'Sí', minorista en línea dice 'Glitch ' " . AllThingsD . Consultado el 22 de noviembre de 2017 .
- ^ Kafka, Peter. "Amazon se disculpa por 'error de catalogación torpe ' " . AllThingsD . AllThingsD . Consultado el 22 de noviembre de 2017 .
- ^ Matsakis, Louise (22 de febrero de 2019). "Un error de búsqueda 'sexista' dice más sobre nosotros que Facebook" . Cableado . ISSN 1059-1028 . Consultado el 26 de febrero de 2019 .
- ^ "Alguna IA simplemente no debería existir" . 2019-04-19.
- ^ Samuel, Sigal (19 de abril de 2019). "Alguna IA simplemente no debería existir" . Vox . Consultado el 12 de diciembre de 2019 .
- ^ Wang, Yilun; Kosinski, Michal (15 de febrero de 2017). "Las redes neuronales profundas son más precisas que los humanos para detectar la orientación sexual a partir de imágenes faciales" . OSF .
- ^ Levin, Sam (9 de septiembre de 2017). "Los grupos LGBT denuncian una IA 'peligrosa' que usa tu rostro para adivinar la sexualidad" . The Guardian . ISSN 0261-3077 . Consultado el 12 de diciembre de 2019 .
- ^ Noble, Safiya Umoja (20 de febrero de 2018). Algoritmos de opresión: cómo los motores de búsqueda refuerzan el racismo . Nueva York. ISBN 9781479837243. OCLC 987591529 .
- ^ Friedler, Sorelle A .; Scheidegger, Carlos; Venkatasubramanian, Suresh (2016). "Sobre la (im) posibilidad de la justicia". arXiv : 1609.07236 . Cite journal requiere
|journal=
( ayuda ) - ^ Hu, Lily; Chen, Yiling (2018). "Impactos distributivos y de bienestar de la clasificación justa". arXiv : 1807.01134 . Cite journal requiere
|journal=
( ayuda ) - ^ Dwork, Cynthia; Hardt, Moritz; Pitassi, Toniann; Reingold, Omer; Zemel, Rich (28 de noviembre de 2011). "Equidad a través de la conciencia". arXiv : 1104.3913 . Cite journal requiere
|journal=
( ayuda ) - ^ a b c Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie; Langbort, Cedric (2014). Gangadharan, Seeta Pena; Eubanks, Virginia; Barocas, Solon (eds.). "Una auditoría de algoritmo" (PDF) . Datos y discriminación: ensayos recopilados .
- ^ LaFrance, Adrienne (18 de septiembre de 2015). "Los algoritmos que impulsan la Web son cada vez más misteriosos" . El Atlántico . Consultado el 19 de noviembre de 2017 .
- ^ Bruno Latour (1999). La esperanza de Pandora: ensayos sobre la realidad de los estudios científicos . Cambridge, Massachusetts : Harvard University Press .
- ^ Kubitschko, Sebastián; Kaun, Anne (2016). Métodos innovadores en investigación de medios y comunicación . Saltador. ISBN 978-3-319-40700-5. Consultado el 19 de noviembre de 2017 .
- ^ McGee, Matt (16 de agosto de 2013). "EdgeRank está muerto: el algoritmo de alimentación de noticias de Facebook ahora tiene cerca de 100.000 factores de peso" . Comercialización de tierras . Consultado el 18 de noviembre de 2017 .
- ^ a b Kitchin, Rob (25 de febrero de 2016). "Pensar críticamente e investigar algoritmos" (PDF) . Información, comunicación y sociedad . 20 (1): 14-29. doi : 10.1080 / 1369118X.2016.1154087 . S2CID 13798875 .
- ^ a b c Granka, Laura A. (27 de septiembre de 2010). "La política de la búsqueda: una década retrospectiva" (PDF) . Sociedad de la información . 26 (5): 364–374. doi : 10.1080 / 01972243.2010.511560 . S2CID 16306443 . Consultado el 18 de noviembre de 2017 .
- ^ Szymielewicz, Katarzyna (20 de enero de 2020). "Política de caja negra" . Medio . Consultado el 11 de febrero de 2020 .
- ^ Veale, Michael; Binns, Reuben (2017). "Aprendizaje automático más justo en el mundo real: mitigar la discriminación sin recopilar datos sensibles" . Big Data y Sociedad . 4 (2): 205395171774353. doi : 10.1177 / 2053951717743530 . SSRN 3060763 .
- ^ Elliott, Marc N .; Morrison, Peter A .; Fremont, Allen; McCaffrey, Daniel F .; Pantoja, Philip; Lurie, Nicole (junio de 2009). "Utilizando la lista de apellidos de la Oficina del Censo para mejorar las estimaciones de raza / etnia y disparidades asociadas". Metodología de investigación de resultados y servicios de salud . 9 (2): 69–83. doi : 10.1007 / s10742-009-0047-1 . ISSN 1387-3741 . S2CID 43293144 .
- ^ Chen, Jiahao; Kallus, Nathan; Mao, Xiaojie; Svacha, Geoffry; Udell, Madeleine (2019). "Equidad bajo desconocimiento: evaluación de la disparidad cuando no se observa la clase protegida" . Actas de la Conferencia sobre Equidad, Responsabilidad y Transparencia - FAT * '19 . Atlanta, GA, EE.UU .: ACM Press: 339–348. arXiv : 1811.11154 . doi : 10.1145 / 3287560.3287594 . ISBN 9781450361255. S2CID 58006233 .
- ^ Kilbertus, Niki; Gascón, Adria; Kusner, Matt; Veale, Michael; Gummadi, Krishna; Weller, Adrian (2018). "Justicia ciega: equidad con atributos sensibles cifrados" . Conferencia internacional sobre aprendizaje automático : 2630–2639. arXiv : 1806.03281 . Código bibliográfico : 2018arXiv180603281K .
- ^ Binns, Reuben; Veale, Michael; Kleek, Max Van; Shadbolt, Nigel (13 de septiembre de 2017). ¿Como entrenador, como bot? Herencia del sesgo en la moderación algorítmica de contenido . Informática social . Apuntes de conferencias en Ciencias de la Computación. 10540 . págs. 405–415. arXiv : 1707.01477 . doi : 10.1007 / 978-3-319-67256-4_32 . ISBN 978-3-319-67255-7. S2CID 2814848 .
- ^ Claburn, Thomas. "La ley de protección de datos de la UE puede poner fin al algoritmo incognoscible - InformationWeek" . InformationWeek . Consultado el 25 de noviembre de 2017 .
- ^ a b Jobin, Anna; Ienca, Marcello; Vayena, Effy (2 de septiembre de 2019). "El panorama global de las directrices éticas de la IA". Inteligencia de la máquina de la naturaleza . 1 (9): 389–399. arXiv : 1906.11668 . doi : 10.1038 / s42256-019-0088-2 . S2CID 201827642 .
- ^ https://research.google.com/bigpicture/attacking-discrimination-in-ml/ Atacar la discriminación con aprendizaje automático más inteligente
- ^ Hardt, Moritz; Price, Eric; Srebro, Nathan (2016). "Igualdad de oportunidades en el aprendizaje supervisado". arXiv : 1610.02413 [ cs.LG ].
- ^ https://venturebeat.com/2018/05/25/microsoft-is-developing-a-tool-to-help-engineers-catch-bias-in-algorithms/ Microsoft está desarrollando una herramienta para ayudar a los ingenieros a detectar sesgos en algoritmos
- ^ https://qz.com/1268520/facebook-says-it-has-a-tool-to-detect-bias-in-its-artificial-intelligence/ Facebook dice que tiene una herramienta para detectar sesgos en su inteligencia artificial
- ^ auditoría de Pymetrics de código abierto -ai
- ^ https://venturebeat-com.cdn.ampproject.org/c/s/venturebeat.com/2018/05/31/pymetrics-open-sources-audit-ai-an-algorithm-bias-detection-tool/amp / Pymetrics de código abierto Audit AI, una herramienta de detección de sesgos de algoritmos
- ^ https://github.com/dssg/aequitas de código abierto Aequitas: Kit de herramientas de auditoría de sesgo y equidad
- ^ https://dsapp.uchicago.edu/aequitas/ AI de auditoría de fuentes abiertas, Aequitas en la Universidad de Chicago
- ^ https://www.ibm.com/blogs/research/2018/02/mitigating-bias-ai-models/ Mitigación del sesgo en modelos de IA
- ^ S. Sen, D. Dasgupta y KD Gupta, "An Empirical Study on Algorithmic Bias", 44a Conferencia Anual de Computadoras, Software y Aplicaciones de la IEEE 2020 (COMPSAC), Madrid, España, 2020, págs. 1189-1194, doi : 10.1109 / COMPSAC48688.2020.00-95 .
- ^ Zou, James; Schiebinger, Londa (julio de 2018). "La IA puede ser sexista y racista, es hora de hacerlo justo" . Naturaleza . 559 (7714): 324–326. Código Bib : 2018Natur.559..324Z . doi : 10.1038 / d41586-018-05707-8 . PMID 30018439 .
- ^ Koene, Ansgar (junio de 2017). "Sesgo algorítmico: abordar las preocupaciones crecientes [vanguardia]" (PDF) . Revista IEEE Technology and Society . 36 (2): 31–32. doi : 10.1109 / mts.2017.2697080 . ISSN 0278-0097 .
- ^ "P7003 - Consideraciones de sesgo algorítmico" . Standards.ieee.org . Consultado el 3 de diciembre de 2018 .
- ^ The Internet Society (18 de abril de 2017). "Inteligencia artificial y aprendizaje automático: documento de política" . Sociedad de Internet . Consultado el 11 de febrero de 2020 .
- ^ a b "Libro blanco: cómo prevenir resultados discriminatorios en el aprendizaje automático" . Foro Económico Mundial . 12 de marzo de 2018 . Consultado el 11 de febrero de 2020 .
- ^ "Inteligencia artificial explicable" . www.darpa.mil . Consultado el 11 de febrero de 2020 .
- ^ PricewaterhouseCoopers. "El marco de la IA responsable" . PwC . Consultado el 11 de febrero de 2020 .
- ^ Heald, David (7 de septiembre de 2006). Transparencia: ¿la clave para una mejor gobernanza? . Academia Británica. doi : 10.5871 / bacad / 9780197263839.003.0002 . ISBN 978-0-19-726383-9.
- ^ Kemper, Jakko; Kolkman, Daan (6 de diciembre de 2019). "¿Transparente para quién? No hay responsabilidad algorítmica sin una audiencia crítica" . Información, comunicación y sociedad . 22 (14): 2081-2096. doi : 10.1080 / 1369118X.2018.1477967 . ISSN 1369-118X .
- ^ "La Declaración de Toronto: Protección de los derechos a la igualdad y la no discriminación en los sistemas de aprendizaje automático" . Human Rights Watch . 2018-07-03 . Consultado el 11 de febrero de 2020 .
- ^ Human Rights Watch (2018). La Declaración de Toronto: Protección del derecho a la igualdad y la no discriminación en los sistemas de aprendizaje automático (PDF) . Observador de derechos humanos. pag. 15.
- ^ Floridi, Luciano; Capuchas, Josh; Beltrametti, Monica; Chatila, Raja; Chazerand, Patrice; Dignum, Virginia; Luetge, Christoph; Madelin, Robert; Pagallo, Ugo; Rossi, Francesca; Schafer, Burkhard (1 de diciembre de 2018). "AI4People: un marco ético para una buena sociedad de IA: oportunidades, riesgos, principios y recomendaciones" . Mentes y Máquinas . 28 (4): 703. doi : 10.1007 / s11023-018-9482-5 . ISSN 1572-8641 . PMC 6404626 . PMID 30930541 .
- ^ Crawford, Kate (25 de junio de 2016). "Opinión | Problema del hombre blanco de la inteligencia artificial" . The New York Times . ISSN 0362-4331 . Consultado el 11 de febrero de 2020 .
- ^ "La IA es el futuro, pero ¿dónde están las mujeres?" . Cableado . ISSN 1059-1028 . Consultado el 11 de febrero de 2020 .
- ^ Nieve, Jackie. " " Estamos en una crisis de la diversidad ": cofundador de Negro en la IA en lo que está envenenando algoritmos en nuestras vidas" . Revisión de tecnología del MIT . Consultado el 11 de febrero de 2020 .
- ^ Ciston, Sarah (29 de diciembre de 2019). "La IA interseccional es esencial" . Revista de Ciencia y Tecnología de las Artes . 11 (2): 3–8. doi : 10.7559 / citarj.v11i2.665 . ISSN 2183-0088 .
- ^ D'Ignazio, Catherine; Klein, Lauren F. (2020). Feminismo de datos . Prensa del MIT. ISBN 978-0262044004.
- ^ Cave, Stephen; Dihal, Kanta (6 de agosto de 2020). "La blancura de la IA" . Filosofía y Tecnología . 33 (4): 685–703. doi : 10.1007 / s13347-020-00415-6 . ISSN 2210-5441 .
- ^ Bygrave, Lee A (2001). "Perfilado automatizado". Revisión de seguridad y derecho informático . 17 (1): 17-24. doi : 10.1016 / s0267-3649 (01) 00104-2 .
- ^ a b Veale, Michael; Edwards, Lilian (2018). "Claridad, sorpresas y más preguntas en el proyecto de orientación del Grupo de trabajo del artículo 29 sobre la toma de decisiones automatizada y la elaboración de perfiles" (PDF) . Revisión de seguridad y derecho informático . doi : 10.2139 / ssrn.3071679 . SSRN 3071679 .
- ^ Wachter, Sandra; Mittelstadt, Brent; Floridi, Luciano (1 de mayo de 2017). "Por qué no existe un derecho a la explicación de la toma de decisiones automatizada en el Reglamento General de Protección de Datos" . Ley internacional de privacidad de datos . 7 (2): 76–99. doi : 10.1093 / idpl / ipx005 . ISSN 2044-3994 .
- ^ Edwards, Lilian; Veale, Michael (23 de mayo de 2017). "¿Esclavo del algoritmo? ¿Por qué un derecho a una explicación probablemente no es el remedio que está buscando". Revisión de la ley y la tecnología de Duke . 16 : 18–84. doi : 10.2139 / ssrn.2972855 . SSRN 2972855 .
- ^ a b Cantante, Natasha (2 de febrero de 2013). "Leyes de protección de datos del consumidor, un océano aparte" . The New York Times . Consultado el 26 de noviembre de 2017 .
- ^ Obama, Barack (12 de octubre de 2016). "Informe de la Administración sobre el futuro de la inteligencia artificial" . whitehouse.gov . Archivos Nacionales . Consultado el 26 de noviembre de 2017 .
- ^ y Consejo de Tecnología, Ciencia Nacional (2016). Plan Estratégico Nacional de Investigación y Desarrollo en Inteligencia Artificial (PDF) . Gobierno de Estados Unidos . Consultado el 26 de noviembre de 2017 .
- ^ Kirchner, Lauren (18 de diciembre de 2017). "La ciudad de Nueva York se mueve para crear responsabilidad para los algoritmos - ProPublica" . ProPublica . ProPublica . Consultado el 28 de julio de 2018 .
- ^ "El Consejo de la ciudad de Nueva York - Archivo #: Int 1696-2017" . legistar.council.nyc.gov . Ayuntamiento de Nueva York . Consultado el 28 de julio de 2018 .
- ^ Powles, Julia. "Intento audaz y defectuoso de la ciudad de Nueva York para hacer que los algoritmos sean responsables" . The New Yorker . Consultado el 28 de julio de 2018 .
- ^ "India pesa proyecto de ley de privacidad de datos integral, similar al RGPD de la UE" . Diario de seguros . 2018-07-31 . Consultado el 26 de febrero de 2019 .
- ^ https://meity.gov.in/writereaddata/files/Personal_Data_Protection_Bill,2018.pdf