En la regulación de algoritmos , en particular la inteligencia artificial y su subcampo de aprendizaje automático , el derecho a una explicación (o el derecho a una explicación ) es un derecho a recibir una explicación de un resultado del algoritmo. Dichos derechos se refieren principalmente a los derechos individuales a los que se les debe dar una explicación de las decisiones que afectan significativamente a un individuo, en particular legal o financieramente. Por ejemplo, una persona que solicita un préstamo y se le niega puede pedir una explicación, que podría ser " Oficina de créditoX informa que se declaró en quiebra el año pasado; este es el factor principal para considerar que es demasiado probable que incurra en incumplimiento y, por lo tanto, no le daremos el préstamo que solicitó ".
Algunos de esos derechos legales ya existen, mientras que el alcance de un "derecho a la explicación" general es un tema de debate continuo.
Ejemplos de
Puntaje de crédito en los Estados Unidos
El puntaje crediticio en los Estados Unidos , más generalmente, las acciones crediticias, tiene un derecho bien establecido a una explicación. Según la Ley de Igualdad de Oportunidades de Crédito (Regulación B del Código de Regulaciones Federales ), Título 12, Capítulo X, Parte 1002, §1002.9 , se requiere que los acreedores notifiquen a los solicitantes de las acciones tomadas en ciertas circunstancias, y dichas notificaciones deben proporcionar razones específicas, como se detalla en §1002.9 (b) (2): [1]
(2) Declaración de motivos específicos. La declaración de razones para la acción adversa requerida por el párrafo (a) (2) (i) de esta sección debe ser específica e indicar la (s) razón (es) principal (es) de la acción adversa. Las declaraciones de que la acción adversa se basó en las normas o políticas internas del acreedor o que el solicitante, el solicitante conjunto o una parte similar no logró una calificación en el sistema de calificación crediticia del acreedor son insuficientes.
La interpretación oficial de esta sección detalla qué tipos de declaraciones son aceptables.
Las agencias de crédito y las firmas de análisis de datos como FICO cumplen con este reglamento al proporcionar una lista de razones (generalmente 4 como máximo, según la interpretación de los reglamentos), que consta de un númerocódigo de motivo (como identificador) y una explicación asociada, identificando los principales factores que afectan una calificación crediticia. [2] Un ejemplo podría ser: [3]
- 32: Saldos en tarjetas bancarias o cuentas rotativas demasiado altos en comparación con los límites de crédito
Unión Europea
El Reglamento general de protección de datos de la Unión Europea (promulgado en 2016, que entrará en vigor en 2018) amplía los derechos de toma de decisiones automatizada en la Directiva de protección de datos de 1995 para proporcionar una forma legalmente disputada de un derecho a una explicación, establecido como tal en el considerando 71 : "[ el interesado debe tener] derecho ... a obtener una explicación de la decisión adoptada ". En su totalidad:
El interesado debe tener derecho a no ser objeto de una decisión, que puede incluir una medida, que evalúe aspectos personales que le conciernen, que se base únicamente en un tratamiento automatizado y que produzca efectos jurídicos en él o que le afecte de forma similar y significativa. o ella, como el rechazo automático de una solicitud de crédito en línea o prácticas de contratación electrónica sin ninguna intervención humana.
...
En cualquier caso, dicho tratamiento debe estar sujeto a las debidas garantías, que deben incluir información específica al interesado y el derecho a obtener la intervención humana, a expresar su punto de vista, a obtener una explicación de la decisión tomada tras dicha evaluación. y desafiar la decisión.
Sin embargo, la medida en que las propias reglamentaciones proporcionan un "derecho a una explicación" es objeto de un intenso debate. [4] [5] [6] Hay dos líneas principales de crítica. Existen importantes problemas legales con el derecho que se encuentra en el artículo 22, ya que los considerandos no son vinculantes y el derecho a una explicación no se menciona en los artículos vinculantes del texto, ya que se eliminó durante el proceso legislativo. [5] Además, existen restricciones significativas sobre los tipos de decisiones automatizadas que están cubiertas, que deben basarse "exclusivamente" en el procesamiento automatizado y tener efectos legales o de importancia similar, lo que limita significativamente la gama de sistemas y decisiones automatizados. a los que se aplicaría el derecho. [5] En particular, es poco probable que el derecho se aplique en muchos de los casos de controversia algorítmica que se han recogido en los medios de comunicación. [7]
En el artículo 15 se ha señalado una segunda fuente potencial de tal derecho, el "derecho de acceso del interesado". Esto reafirma una disposición similar de la Directiva de protección de datos de 1995, que permite al interesado acceder a "información significativa sobre la lógica involucrada" en la misma toma de decisiones significativa, únicamente automatizada, que se encuentra en el artículo 22. Sin embargo, esto también adolece de supuestos desafíos que se relacionan con el momento en que se puede hacer uso de este derecho, así como con los desafíos prácticos que significan que puede no ser vinculante en muchos casos de interés público. [5]
Francia
En Francia, la Loi pour une République numérique de 2016 (Ley de la República Digital o loi numérique ) modifica el código administrativo del país para introducir una nueva disposición para la explicación de las decisiones tomadas por los organismos del sector público sobre las personas. [8] Señala que cuando existe "una decisión tomada en base a un tratamiento algorítmico", las reglas que definen ese tratamiento y sus "características principales" deben ser comunicadas al ciudadano que lo solicite, donde no exista una exclusión ( por ejemplo, para la seguridad o la defensa nacional). Estos deben incluir lo siguiente:
- el grado y el modo de contribución del procesamiento algorítmico a la toma de decisiones;
- los datos tratados y su fuente;
- los parámetros de tratamiento y, en su caso, su ponderación, aplicados a la situación del interesado;
- las operaciones realizadas por el tratamiento.
Los académicos han señalado que este derecho, aunque se limita a las decisiones administrativas, va más allá del derecho del RGPD de aplicarse explícitamente al apoyo a las decisiones en lugar de a las decisiones "únicamente" basadas en el procesamiento automatizado, y también proporciona un marco para explicar decisiones específicas. [8] De hecho, los derechos de toma de decisiones automatizados del RGPD en la Unión Europea, uno de los lugares en los que se ha buscado un "derecho a una explicación", encuentran sus orígenes en la ley francesa a finales de la década de 1970. [9]
Crítica
Algunos argumentan que un "derecho a la explicación" es, en el mejor de los casos, innecesario, en el peor, perjudicial y amenaza con sofocar la innovación. Las críticas específicas incluyen: favorecer las decisiones humanas sobre las decisiones de las máquinas; ser redundante con las leyes existentes; y centrarse en el proceso sobre el resultado. [10]
Más fundamentalmente, muchos algoritmos utilizados en el aprendizaje automático no se pueden explicar fácilmente. Por ejemplo, la salida de una red neuronal profunda depende de muchas capas de cálculos, conectados de manera compleja, y ninguna entrada o cálculo puede ser un factor dominante. El campo de la IA explicable busca proporcionar mejores explicaciones de los algoritmos existentes y los algoritmos que son más fácilmente explicables, pero es un campo joven y activo. [11] [12]
De manera similar, las decisiones humanas a menudo no se pueden explicar fácilmente: pueden basarse en la intuición o en un " presentimiento " que es difícil de expresar con palabras. Algunos [ ¿quién? ] argumentaría que no se debería exigir que las máquinas cumplan con un estándar más alto que los humanos.
Ver también
Referencias
- ^ Oficina de protección financiera del consumidor , §1002.9 (b) (2)
- ^ Códigos de motivo de la puntuación de riesgo crediticio de FICO de EE. UU .: documento fundamental de FICO que enumera todas las razones de la puntuación de crédito FICO por las que una puntuación no es más alta , 31 de marzo de 2010, por Greg Fisher
- ^ "ReasonCode.org | VantageScore Solutions" . www.reasoncode.org .
- ^ Goodman, Bryce; Flaxman, Seth (2017). "Regulaciones de la Unión Europea sobre la toma de decisiones algorítmicas y un 'derecho a la explicación ' ". Revista AI . 38 (3): 50–57. arXiv : 1606.08813 . doi : 10.1609 / aimag.v38i3.2741 . S2CID 7373959 .
- ^ a b c d Wachter, Sandra; Mittelstadt, Brent; Floridi, Luciano (28 de diciembre de 2016). "Por qué no existe un derecho a la explicación de la toma de decisiones automatizada en el Reglamento General de Protección de Datos". Ley internacional de privacidad de datos . SSRN 2903469 .
- ^ ¿Existe un 'derecho a explicación' para el aprendizaje automático en el RGPD? , 1 de junio de 2017, Andrew Burt
- ^ Edwards, Lilian; Veale, Michael (2017). "¿Esclavo del algoritmo? Por qué un" derecho a una explicación "probablemente no sea el remedio que está buscando". Revisión de la ley y la tecnología de Duke . SSRN 2972855 .
- ^ a b Edwards, Lilian; Veale, Michael (2018). "Esclavizar el algoritmo: ¿de un 'derecho a una explicación' a un 'derecho a tomar mejores decisiones'?" (PDF) . Seguridad y privacidad de IEEE . 16 (3): 46–54. doi : 10.1109 / MSP.2018.2701152 . S2CID 4049746 . SSRN 3052831 .
- ^ Bygrave, LA (2001). "Cuidado de la máquina: artículo 15 de la Directiva de protección de datos de la CE y creación de perfiles automatizada" (PDF) . Revisión de seguridad y derecho informático . 17 (1). doi : 10.1016 / S0267-3649 (01) 00104-2 .
- ^ Derecho de explicación de la UE: una restricción dañina sobre la inteligencia artificial , Nick Wallace, Centro de innovación de datos, 25 de enero de 2017
- ^ Miller, Tim (22 de junio de 2017). "Explicación en Inteligencia Artificial: Insights de las Ciencias Sociales". arXiv : 1706.07269 [ cs.AI ].
- ^ Mittelstadt, Brent; Russell, Chris; Wachter, Sandra (2019). "Explicaciones en AI" (PDF) . Actas de la Conferencia sobre Equidad, Responsabilidad y Transparencia - FAT * '19 . Nueva York, Nueva York, EE. UU.: ACM Press: 279–288. doi : 10.1145 / 3287560.3287574 . ISBN 978-1-4503-6125-5. S2CID 53214940 .
enlaces externos
- La inteligencia artificial le debe una explicación , por John Frank Weaver, Slate , 8 de mayo de 2017