En el aprendizaje automático , se dice que un algoritmo determinado es justo o imparcial si sus resultados son independientes de las variables dadas , especialmente las que se consideran sensibles, como los rasgos de los individuos que no deben correlacionarse con el resultado (es decir, género, etnia, orientación sexual, discapacidad, etc.).
Contexto
La investigación sobre la equidad en el aprendizaje automático es un tema relativamente reciente. De hecho, la mayoría de los artículos al respecto se han escrito en los últimos tres años. [1] Algunos de los hechos más importantes en este tema son los siguientes:
- En 2018, IBM presentó AI Fairness 360, una biblioteca de Python con varios algoritmos para reducir el sesgo del software y aumentar su equidad. [2] [3]
- En 2018, Facebook hizo público el uso de una herramienta, Fairness Flow, para detectar sesgos en su IA. Sin embargo, el código fuente de la herramienta no es accesible y no se sabe si de hecho corrige el sesgo. [4]
- En 2019, Google publicó un conjunto de herramientas en GitHub para estudiar los efectos de la equidad a largo plazo. [5]
Controversias
Los algoritmos utilizados para garantizar la equidad aún se están mejorando. Sin embargo, el principal avance en esta área es que algunas grandes corporaciones se están dando cuenta del impacto que la reducción del sesgo algorítmico podría tener en la sociedad.
Un ejemplo del controvertido uso de un algoritmo es la forma en que Facebook asigna artículos de noticias a los usuarios, que algunas personas se han quejado puede introducir sesgos políticos . Antes de las elecciones , algunos candidatos han intentado utilizar Facebook con fines de campaña, lo que puede convertirse en un área de disputa masiva.
Transparencia de algoritmos
Muchas personas se han quejado de que los algoritmos a menudo no se pueden inspeccionar como una forma de garantizar que funcionen de manera justa, lo que puede perjudicar a algunos usuarios.
Pero muchas empresas comerciales prefieren no revelar los detalles de los algoritmos que utilizan, ya que con frecuencia afirman que podría ayudar a las empresas rivales a beneficiarse de sus tecnologías.
Trascendencia
Si un algoritmo no funciona correctamente, los efectos en las personas pueden ser importantes y duraderos, por ejemplo, en lo que respecta a oportunidades de educación o empleo y acceso a servicios de crédito financiero.
Estándares internacionales
Debido a que los algoritmos cambian constantemente y a menudo son propietarios , existen pocos estándares reconocidos para su construcción u operación.
Eventualmente, los algoritmos pueden volverse más altamente regulados, pero actualmente, hay poca supervisión pública para ellos.
Criterios de equidad en problemas de clasificación
En los problemas de clasificación , un algoritmo aprende una función para predecir una característica discreta, la variable objetivo, a partir de características conocidas . Modelamoscomo una variable aleatoria discreta que codifica algunas características contenidas o codificadas implícitamente enque consideramos como características sensibles (género, etnia, orientación sexual, etc.). Finalmente denotamos porla predicción del clasificador . Ahora definamos tres criterios principales para evaluar si un clasificador dado es justo, es decir, si sus predicciones no están influenciadas por algunas de estas variables sensibles. [6]
Independencia
Decimos las variables aleatorias satisfacer la independencia si las características sensiblesson estadísticamente independientes de la prediccióny escribimos .
También podemos expresar esta noción con la siguiente fórmula:
Se puede dar otra expresión equivalente para la independencia utilizando el concepto de información mutua entre variables aleatorias , definida como
Una posible relajación de la definición de independencia nce incluye introducir una holgura positiva y viene dada por la fórmula:
Finalmente, otra posible relajación es requerir.
Separación
Decimos las variables aleatorias satisfacer la separación si las características sensiblesson estadísticamente independientes de la predicción dado el valor objetivo y escribimos .
También podemos expresar esta noción con la siguiente fórmula:
Otra expresión equivalente, en el caso de una tasa objetivo binaria, es que la tasa de verdaderos positivos y la tasa de falsos positivos son iguales (y por lo tanto la tasa de falsos negativos y la tasa de verdaderos negativos son iguales) para cada valor de las características sensibles:
Finalmente, otra posible relajación de las definiciones dadas es permitir que el valor de la diferencia entre tasas sea un número positivo menor que una holgura dada. , en lugar de igual a cero.
Suficiencia
Decimos las variables aleatorias satisfacer la suficiencia si las características sensiblesson estadísticamente independientes del valor objetivo dada la predicción y escribimos .
También podemos expresar esta noción con la siguiente fórmula:
Relaciones entre definiciones
Finalmente, resumimos algunos de los principales resultados que relacionan las tres definiciones dadas anteriormente:
- Si y no son estadísticamente independientes , entonces la suficiencia y la independencia no pueden sostenerse a la vez.
- Asumiendo es binario, si y no son estadísticamente independientes , y y tampoco son estadísticamente independientes , entonces la independencia y la separación no pueden sostenerse a la vez.
- Si como una distribución conjunta tiene probabilidad positiva para todos sus valores posibles y y no son estadísticamente independientes , entonces la separación y la suficiencia no pueden sostenerse a la vez.
Métrica
La mayoría de las medidas estadísticas de equidad se basan en diferentes métricas, por lo que comenzaremos por definirlas. Cuando se trabaja con un clasificador binario , tanto la clase pronosticada como la real pueden tomar dos valores: positivo y negativo. Ahora comencemos a explicar las diferentes relaciones posibles entre el resultado predicho y el resultado real: [7]
- Verdadero positivo (TP) : el caso en el que tanto el resultado predicho como el real están en una clase positiva.
- Verdadero negativo (TN) : el caso en el que tanto el resultado previsto como el resultado real se asignan a la clase negativa.
- Falso positivo (FP) : un caso que se predice que caerá en una clase positiva asignada en el resultado real es negativo.
- Falso negativo (FN) : un caso que se predice que estará en la clase negativa con un resultado real está en la clase positiva.
Estas relaciones se pueden representar fácilmente con una matriz de confusión , una tabla que describe la precisión de un modelo de clasificación. En esta matriz, las columnas y filas representan instancias de los casos predichos y reales, respectivamente.
Al usar estas relaciones, podemos definir múltiples métricas que luego se pueden usar para medir la equidad de un algoritmo:
- Valor predicho positivo (VPP) : la fracción de casos positivos que se predijeron correctamente de todas las predicciones positivas. Por lo general, se denomina precisión y representa la probabilidad de una predicción positiva correcta. Viene dada por la siguiente fórmula:
- Tasa de descubrimiento falso (FDR) : la fracción de predicciones positivas que fueron realmente negativas de todas las predicciones positivas. Representa la probabilidad de una predicción positiva errónea y viene dada por la siguiente fórmula:
- Valor predicho negativo (VPN) : la fracción de casos negativos que se predijeron correctamente de todas las predicciones negativas. Representa la probabilidad de una predicción negativa correcta y viene dada por la siguiente fórmula:
- Tasa de omisiones falsas (FOR) : la fracción de predicciones negativas que fueron realmente positivas de todas las predicciones negativas. Representa la probabilidad de una predicción negativa errónea y viene dada por la siguiente fórmula:
- Tasa de verdaderos positivos (TPR) : la fracción de casos positivos que se predijeron correctamente de todos los casos positivos. Suele denominarse sensibilidad o recuerdo, y representa la probabilidad de que los sujetos positivos se clasifiquen correctamente como tales. Está dado por la fórmula:
- Tasa de falsos negativos (FNR) : la fracción de casos positivos que se predijo incorrectamente que serían negativos de todos los casos positivos. Representa la probabilidad de que los sujetos positivos sean clasificados incorrectamente como negativos, y viene dada por la fórmula:
- Tasa de verdaderos negativos (TNR) : la fracción de casos negativos que se predijeron correctamente de todos los casos negativos. Representa la probabilidad de que los sujetos negativos se clasifiquen correctamente como tales, y viene dada por la fórmula:
- Tasa de falsos positivos (FPR) : la fracción de casos negativos que se predijo incorrectamente que serían positivos de todos los casos negativos. Representa la probabilidad de que los sujetos negativos se clasifiquen incorrectamente como positivos, y viene dada por la fórmula:
Otros criterios de equidad
Los siguientes criterios pueden entenderse como medidas de las tres definiciones dadas en la primera sección, o como relajación de las mismas. En la tabla [6] de la derecha, podemos ver las relaciones entre ellos.
Para definir estas medidas específicamente, las dividiremos en tres grandes grupos como se hizo en Verma et al .: [7] definiciones basadas en un resultado predicho, en resultados pronosticados y reales, y definiciones basadas en probabilidades pronosticadas y el resultado real.
Trabajaremos con un clasificador binario y la siguiente notación: se refiere a la puntuación dada por el clasificador, que es la probabilidad de que un determinado sujeto esté en la clase positiva o negativa. representa la clasificación final predicha por el algoritmo, y su valor generalmente se deriva de , por ejemplo, será positivo cuando está por encima de un cierto umbral. representa el resultado real, es decir, la clasificación real del individuo y, finalmente, denota los atributos sensibles de los sujetos.
Definiciones basadas en el resultado previsto
Las definiciones de esta sección se centran en un resultado previsto para diversas distribuciones de temas. Son las nociones de justicia más simples e intuitivas.
- Equidad de grupo , también conocida como paridad estadística , paridad demográfica , tasa de aceptación y evaluación comparativa . Un clasificador satisface esta definición si los sujetos de los grupos protegidos y desprotegidos tienen la misma probabilidad de ser asignados a la clase de predicción positiva. Esto es, si se cumple la siguiente fórmula:
- Paridad estadística condicional . Básicamente consiste en la definición anterior, pero restringida solo a un subconjunto de instancias. En notación matemática esto sería:
Definiciones basadas en resultados pronosticados y reales
Estas definiciones no solo consideran el resultado previsto pero también compárelo con el resultado real .
- Paridad predictiva , también conocida como prueba de resultado . Un clasificador satisface esta definición si los sujetos de los grupos protegidos y desprotegidos tienen el mismo PPV. Esto es, si se cumple la siguiente fórmula:
- Matemáticamente, si un clasificador tiene el mismo PPV para ambos grupos, también tendrá el mismo FDR, satisfaciendo la fórmula:
- Equilibrio de la tasa de error falso positivo , también denominado igualdad predictiva . Un clasificador satisface esta definición si los sujetos de los grupos protegidos y desprotegidos tienen un FPR único. Esto es, si se cumple la siguiente fórmula:
- Matemáticamente, si un clasificador tiene FPR igual para ambos grupos, también tendrá TNR igual, satisfaciendo la fórmula:
- Saldo de la tasa de error falso negativo , también conocido como igualdad de oportunidades . Un clasificador satisface esta definición si los sujetos de los grupos protegidos y desprotegidos tienen FNR iguales. Esto es, si se cumple la siguiente fórmula:
- Matemáticamente, si un clasificador tiene FNR igual para ambos grupos, también tendrá TPR igual, satisfaciendo la fórmula:
- Probabilidades igualadas , también conocidas como igualdad de precisión de procedimiento condicional y maltrato desigual . Un clasificador satisface esta definición si los sujetos en los grupos protegidos y no protegidos tienen TPR igual y FPR igual, satisfaciendo la fórmula:
- Igualdad de precisión de uso condicional . Un clasificador satisface esta definición si los sujetos en los grupos protegidos y desprotegidos tienen el mismo VPP y el mismo VAN, satisfaciendo la fórmula:
- Igualdad de precisión global . Un clasificador satisface esta definición si el sujeto de los grupos protegido y desprotegido tiene la misma precisión de predicción, es decir, la probabilidad de que se le asigne un sujeto de una clase. Esto es, si satisface la siguiente fórmula:
- Igualdad de trato . Un clasificador satisface esta definición si los sujetos en los grupos protegidos y desprotegidos tienen una proporción igual de FN y FP, satisfaciendo la fórmula:
Definiciones basadas en probabilidades pronosticadas y resultado real
Estas definiciones se basan en el resultado real y la puntuación de probabilidad predicha .
- Prueba de equidad , también conocida como calibración o coincidencia de frecuencias condicionales . Un clasificador satisface esta definición si los individuos con el mismo puntaje de probabilidad predicho tienen la misma probabilidad de ser clasificados en la clase positiva cuando pertenecen al grupo protegido o no protegido:
- La calibración del pozo es una extensión de la definición anterior. Establece que cuando los individuos dentro o fuera del grupo protegido tienen el mismo puntaje de probabilidad predicho deben tener la misma probabilidad de ser clasificados en la clase positiva, y esta probabilidad debe ser igual a :
- Equilibrio de clase positiva . Un clasificador satisface esta definición si los sujetos que constituyen la clase positiva de los grupos protegidos y desprotegidos tienen el mismo puntaje promedio de probabilidad pronosticada.. Esto significa que el valor esperado de la puntuación de probabilidad para los grupos protegidos y desprotegidos con resultado real positivo es lo mismo, satisfaciendo la fórmula:
- Saldo por clase negativa . Un clasificador satisface esta definición si los sujetos que constituyen la clase negativa de los grupos protegidos y desprotegidos tienen el mismo puntaje promedio de probabilidad pronosticada.. Esto significa que el valor esperado de la puntuación de probabilidad para los grupos protegidos y desprotegidos con resultado real negativo es lo mismo, satisfaciendo la fórmula:
Algoritmos
La equidad se puede aplicar a los algoritmos de aprendizaje automático de tres formas diferentes: preprocesamiento de datos , optimización durante el entrenamiento del software o resultados de posprocesamiento del algoritmo.
Preprocesamiento
Por lo general, el clasificador no es el único problema; el conjunto de datos también está sesgado. La discriminación de un conjunto de datos con respecto al grupo se puede definir de la siguiente manera:
Es decir, una aproximación a la diferencia entre las probabilidades de pertenencia a la clase positiva dado que el sujeto tiene una característica protegida diferente de e igual a .
Los algoritmos que corrigen el sesgo en el preprocesamiento eliminan información sobre las variables del conjunto de datos que pueden resultar en decisiones injustas, mientras intentan alterar lo menos posible. Esto no es tan simple como eliminar la variable sensible, porque otros atributos pueden correlacionarse con la protegida.
Una forma de hacer esto es mapear a cada individuo en el conjunto de datos inicial a una representación intermedia en la que es imposible identificar si pertenece a un grupo protegido en particular mientras se mantiene la mayor cantidad de información posible. Luego, la nueva representación de los datos se ajusta para obtener la máxima precisión en el algoritmo.
De esta manera, los individuos se mapean en una nueva representación multivariable donde la probabilidad de que cualquier miembro de un grupo protegido sea mapeado a un cierto valor en la nueva representación es la misma que la probabilidad de un individuo que no pertenece al grupo protegido. . Luego, esta representación se usa para obtener la predicción para el individuo, en lugar de los datos iniciales. Como la representación intermedia se construye dando la misma probabilidad a los individuos dentro o fuera del grupo protegido, este atributo queda oculto al clasificador.
Un ejemplo se explica en Zemel et al. [8] donde se utiliza una variable aleatoria multinomial como representación intermedia. En el proceso, se alienta al sistema a preservar toda la información, excepto la que pueda llevar a decisiones sesgadas, y a obtener una predicción lo más precisa posible.
Por un lado, este procedimiento tiene la ventaja de que los datos preprocesados se pueden utilizar para cualquier tarea de aprendizaje automático. Además, no es necesario modificar el clasificador, ya que la corrección se aplica al conjunto de datos antes del procesamiento. Por otro lado, los otros métodos obtienen mejores resultados en precisión y equidad. [9]
Volver a pesar
Volver a pesar es un ejemplo de un algoritmo de preprocesamiento. La idea es asignar un peso a cada punto del conjunto de datos de manera que la discriminación ponderada sea 0 con respecto al grupo designado. [10]
Si el conjunto de datos fue imparcial la variable sensible y la variable objetivo sería estadísticamente independiente y la probabilidad de la distribución conjunta sería el producto de las probabilidades como sigue:
Sin embargo, en realidad, el conjunto de datos no es insesgado y las variables no son estadísticamente independientes, por lo que la probabilidad observada es:
Para compensar el sesgo, el software agrega un peso , más bajo para los objetos favorecidos y más alto para los objetos desfavorecidos. Para cada obtenemos:
Cuando tenemos para cada un peso asociado calculamos la discriminación ponderada con respecto al grupo como sigue:
Se puede demostrar que después de volver a ponderar esta discriminación ponderada es 0.
Optimización en tiempo de entrenamiento
Otro enfoque es corregir el sesgo en el momento del entrenamiento. Esto se puede hacer agregando restricciones al objetivo de optimización del algoritmo. [11] Estas restricciones obligan al algoritmo a mejorar la equidad, manteniendo las mismas tasas de ciertas medidas para el grupo protegido y el resto de individuos. Por ejemplo, podemos agregar al objetivo del algoritmo la condición de que la tasa de falsos positivos sea la misma para los individuos del grupo protegido y los que están fuera del grupo protegido.
Las principales medidas utilizadas en este enfoque son la tasa de falsos positivos, la tasa de falsos negativos y la tasa general de clasificación errónea. Es posible agregar solo una o varias de estas restricciones al objetivo del algoritmo. Tenga en cuenta que la igualdad de tasas de falsos negativos implica la igualdad de tasas de verdaderos positivos, por lo que esto implica la igualdad de oportunidades. Después de agregar las restricciones al problema, puede volverse intratable, por lo que puede ser necesario relajarlas.
Esta técnica obtiene buenos resultados en la mejora de la equidad manteniendo una alta precisión y permite al programador elegir las medidas de equidad para mejorar. Sin embargo, cada tarea de aprendizaje automático puede necesitar que se aplique un método diferente y el código en el clasificador debe modificarse, lo que no siempre es posible. [9]
Debiasing adversario
Entrenamos dos clasificadores al mismo tiempo a través de algún método basado en gradientes (fe: descenso de gradientes ). El primero, el predictor intenta realizar la tarea de predecir, la variable objetivo, dada , la entrada, modificando sus pesos para minimizar alguna función de pérdida . El segundo, el adversario intenta realizar la tarea de predecir, la variable sensible, dada modificando sus pesos para minimizar alguna función de pérdida . [12] [13]
Un punto importante aquí es que, para propagarse correctamente, arriba debe referirse a la salida sin procesar del clasificador, no a la predicción discreta; por ejemplo, con una red neuronal artificial y un problema de clasificación,podría referirse a la salida de la capa softmax .
Entonces actualizamos minimizar en cada paso de entrenamiento según el gradiente y modificamos según la expresión:
La idea intuitiva es que queremos que el predictor intente minimizar (por lo tanto, el término ) mientras que, al mismo tiempo, maximiza (por lo tanto, el término ), de modo que el adversario no pueda predecir la variable sensible de.
El termino evita que el predictor se mueva en una dirección que ayude al adversario a disminuir su función de pérdida.
Se puede demostrar que entrenar un modelo de clasificación de predictores con este algoritmo mejora la paridad demográfica con respecto a entrenarlo sin el adversario .
Postprocesamiento
El método final intenta corregir los resultados de un clasificador para lograr la equidad. En este método, tenemos un clasificador que devuelve una puntuación para cada individuo y necesitamos hacer una predicción binaria para ellos. Es probable que los puntajes altos obtengan un resultado positivo, mientras que los puntajes bajos probablemente obtengan uno negativo, pero podemos ajustar el umbral para determinar cuándo responder afirmativamente como se desee. Tenga en cuenta que las variaciones en el valor umbral afectan la compensación entre las tasas de verdaderos positivos y verdaderos negativos.
Si la función de puntuación es justa en el sentido de que es independiente del atributo protegido, entonces cualquier elección del umbral también será justa, pero los clasificadores de este tipo tienden a estar sesgados, por lo que puede ser necesario un umbral diferente para cada grupo protegido. para lograr la equidad. [14] Una forma de hacer esto es trazar la tasa de verdaderos positivos contra la tasa de falsos negativos en varias configuraciones de umbral (esto se llama curva ROC) y encontrar un umbral donde las tasas para el grupo protegido y otros individuos sean iguales. [14]
Las ventajas del posprocesamiento incluyen que la técnica se puede aplicar después de cualquier clasificador, sin modificarlo, y tiene un buen desempeño en medidas de equidad. Las desventajas son la necesidad de acceder al atributo protegido en el tiempo de prueba y la falta de elección en el equilibrio entre precisión y equidad. [9]
Clasificación basada en opciones de rechazo
Dado un clasificador dejeser la probabilidad calculada por los clasificadores como la probabilidad de que la instanciapertenece a la clase positiva +. Cuándo está cerca de 1 o de 0, la instancia se especifica con un alto grado de certeza para pertenecer a la clase + o - respectivamente. Sin embargo cuandoestá más cerca de 0,5 la clasificación es menos clara. [15]
Decimos es una "instancia rechazada" si con un cierto tal que .
El algoritmo de "ROC" consiste en clasificar las instancias no rechazadas siguiendo la regla anterior y las instancias rechazadas de la siguiente manera: si la instancia es un ejemplo de grupo privado () luego etiquételo como positivo; de lo contrario, etiquételo como negativo.
Podemos optimizar diferentes medidas de discriminación (enlace) como funciones de para encontrar el óptimo para cada problema y evitar convertirse en discriminatorio contra el grupo privilegiado. [15]
Ver también
- Sesgo algorítmico
- Aprendizaje automático
Referencias
- ^ Moritz Hardt, Berkeley . Consultado el 18 de diciembre de 2019.
- ^ "El kit de herramientas de código abierto IBM AI Fairness 360 agrega nuevas funcionalidades" . Tech Republic.
- ^ IBM AI Fairness 360 . Consultado el 18 de diciembre de 2019.
- ^ Fairness Flow el detector de sesgos de Facebook . Consultado el 28 de diciembre de 2019.
- ^ Gimnasio ML-Fairness . Consultado el 18 de diciembre de 2019.
- ^ a b c Solon Barocas; Moritz Hardt; Arvind Narayanan, Equidad y aprendizaje automático . Consultado el 15 de diciembre de 2019.
- ^ a b Sahil Verma; Julia Rubin, Explicación de las definiciones de equidad . Consultado el 15 de diciembre de 2019.
- ^ Richard Zemel; Yu (Ledell) Wu; Kevin Swersky; Toniann Pitassi; Cyntia Dwork, Learning Fair Representations . Consultado el 1 de diciembre de 2019.
- ^ a b c Ziyuan Zhong, Tutorial sobre equidad en el aprendizaje automático . Consultado el 1 de diciembre de 2019.
- ^ Faisal Kamiran; Toon Calders, Técnicas de preprocesamiento de datos para clasificación sin discriminación . Consultado el 17 de diciembre de 2019.
- ^ Muhammad Bilal Zafar; Isabel Valera; Manuel Gómez Rodríguez; Krishna P. Gummadi, Equidad más allá del trato desigual y el impacto desigual : clasificación de aprendizaje sin maltrato desigual . Consultado el 1 de diciembre de 2019.
- ^ a b Brian Hu Zhang; Blake Lemoine; Margaret Mitchell, Mitigación de sesgos no deseados con aprendizaje adversario . Consultado el 17 de diciembre de 2019.
- ^ Joyce Xu, Soluciones algorítmicas para sesgo algorítmico: una guía técnica . Consultado el 17 de diciembre de 2019.
- ^ a b Moritz Hardt; Eric Price; Nathan Srebro, Igualdad de oportunidades en el aprendizaje supervisado . Consultado el 1 de diciembre de 2019.
- ^ a b Faisal Kamiran; Asim Karim; Xiangliang Zhang, Teoría de la decisión para la clasificación consciente de la discriminación . Consultado el 17 de diciembre de 2019.