Riesgo existencial de la inteligencia artificial general

Hypothesized risk to human existence

Parte de una serie sobre
Inteligencia artificial
Grandes metas Razonamiento del conocimiento Planificación Aprendizaje automático Procesamiento natural del lenguaje Visión por computador Robótica Inteligencia artificial general
Enfoques Simbólico Aprendizaje profundo Redes bayesianas Algoritmos evolutivos
Filosofía Ética Riesgo existencial prueba de Turing Cuarto chino Problema de control IA amigable
Historia Cronología Progreso AI invierno
Tecnología Aplicaciones Proyectos Lenguajes de programación
Glosario Glosario
v t mi

El riesgo existencial de la inteligencia artificial general es la hipótesis de que un progreso sustancial en la inteligencia artificial general (AGI) podría resultar algún día en la extinción humana o en alguna otra catástrofe global irrecuperable . ^{[1] [2] [3]} Se argumenta que la especie humana actualmente domina a otras especies porque el cerebro humano tiene algunas capacidades distintivas de las que carecen otros animales. Si la IA supera a la humanidad en inteligencia general y se vuelve " superinteligente ", entonces podría resultar difícil o imposible de controlar para los humanos. Así como el destino del gorila de montañadepende de la buena voluntad humana, por lo que el destino de la humanidad podría depender de las acciones de una futura superinteligencia de máquinas. ^[4]

La probabilidad de este tipo de escenario se debate ampliamente y depende en parte de diferentes escenarios para el progreso futuro de la informática. ^[5] Una vez que el dominio exclusivo de la ciencia ficción , las preocupaciones sobre la superinteligencia comenzaron a convertirse en una corriente principal en la década de 2010, y fueron popularizadas por figuras públicas como Stephen Hawking , Bill Gates y Elon Musk . ^[6]

Una fuente de preocupación es que controlar una máquina superinteligente, o inculcarle valores compatibles con los humanos, puede ser un problema más difícil de lo que se supone ingenuamente. Muchos investigadores creen que una superinteligencia naturalmente resistiría los intentos de apagarla o cambiar sus objetivos —un principio llamado convergencia instrumental— y que preprogramar una superinteligencia con un conjunto completo de valores humanos resultará una tarea técnica extremadamente difícil. ^{[1] [7] [8]} En contraste, escépticos como Yann LeCun de Facebook argumentan que las máquinas superinteligentes no tendrán ningún deseo de autoconservación. ^[9]

Una segunda fuente de preocupación es que una " explosión de inteligencia " repentina e inesperada podría tomar por sorpresa a una raza humana desprevenida. Para ilustrar, si la primera generación de un programa de computadora capaz de igualar ampliamente la efectividad de un investigador de IA es capaz de reescribir sus algoritmos y duplicar su velocidad o capacidades en seis meses, se espera que el programa de segunda generación tome tres meses calendario. para realizar un trabajo similar. En este escenario, el tiempo para cada generación continúa reduciéndose, y el sistema experimenta un número sin precedentes de generaciones de mejora en un corto intervalo de tiempo, saltando de un desempeño infrahumano en muchas áreas a un desempeño sobrehumano en todas las áreas relevantes. ^{[1] [7]} Empíricamente, ejemplos comoAlphaZero en el dominio de Go muestra que los sistemas de IA a veces pueden progresar desde una capacidad limitada a nivel humano a una capacidad sobrehumana limitada extremadamente rápido. ^[10]

Historia

Uno de los primeros autores que expresó su seria preocupación por el hecho de que las máquinas muy avanzadas pudieran representar riesgos existenciales para la humanidad fue el novelista Samuel Butler , quien escribió lo siguiente en su ensayo de 1863 Darwin entre las máquinas : ^[11]

El resultado es simplemente una cuestión de tiempo, pero que llegará el momento en que las máquinas tendrán la supremacía real sobre el mundo y sus habitantes es lo que ninguna persona con una mente verdaderamente filosófica puede cuestionar ni por un momento.

En 1951, el científico informático Alan Turing escribió un artículo titulado Intelligent Machinery, A Heretical Theory , en el que proponía que las inteligencias generales artificiales probablemente "tomarían el control" del mundo a medida que se volvieran más inteligentes que los seres humanos:

Supongamos ahora, por el bien de la argumentación, que las máquinas [inteligentes] son ​​una posibilidad genuina, y observemos las consecuencias de construirlas ... No se trataría de que las máquinas murieran, y serían capaces de conversar con unos a otros para agudizar su ingenio. Por lo tanto, en algún momento deberíamos esperar que las máquinas tomen el control, de la manera que se menciona en “Erewhon” de Samuel Butler. ^[12]

Finalmente, en 1965, IJ Good originó el concepto ahora conocido como "explosión de inteligencia"; también afirmó que se subestimaron los riesgos: ^[13]

Dejemos que una máquina ultrainteligente se defina como una máquina que puede superar con creces todas las actividades intelectuales de cualquier hombre, por inteligente que sea. Dado que el diseño de máquinas es una de estas actividades intelectuales, una máquina ultrainteligente podría diseñar máquinas aún mejores; entonces, sin duda, habría una "explosión de inteligencia", y la inteligencia del hombre quedaría muy atrás. Así, la primera máquina ultrainteligente es el último invento que el hombre necesita hacer, siempre que la máquina sea lo suficientemente dócil para decirnos cómo mantenerla bajo control. Es curioso que este punto se haga tan pocas veces fuera de la ciencia ficción. A veces vale la pena tomarse en serio la ciencia ficción. ^[14]

Las declaraciones ocasionales de eruditos como Marvin Minsky ^[15] y el propio IJ Good ^[16] expresaron preocupaciones filosóficas de que una superinteligencia pudiera tomar el control, pero no contenían ningún llamado a la acción. En 2000, el científico informático y cofundador de Sun , Bill Joy, escribió un influyente ensayo, " Por qué el futuro no nos necesita ", identificando a los robots superinteligentes como peligros de alta tecnología para la supervivencia humana, junto con la nanotecnología y las bioplagas artificiales. ^[17]

En 2009, los expertos asistieron a una conferencia privada organizada por la Asociación para el Avance de la Inteligencia Artificial (AAAI) para discutir si las computadoras y los robots podrían adquirir algún tipo de autonomía , y en qué medida estas habilidades podrían representar una amenaza o peligro. Señalaron que algunos robots han adquirido varias formas de semiautonomía, incluida la posibilidad de encontrar fuentes de energía por sí mismos y la posibilidad de elegir objetivos de forma independiente para atacar con armas. También señalaron que algunos virus informáticos pueden evadir la eliminación y han logrado "inteligencia de cucaracha". Llegaron a la conclusión de que la autoconciencia como se describe en la ciencia ficción es probablemente poco probable, pero que existen otros peligros y trampas potenciales. El New York Timesresumió el punto de vista de la conferencia como "estamos muy lejos de Hal , la computadora que se hizo cargo de la nave espacial en" 2001: Una odisea del espacio "". ^[18]

En 2014, la publicación del libro Superintelligence de Nick Bostrom estimuló una cantidad significativa de discusión y debate público. ^[19] En 2015, figuras públicas como los físicos Stephen Hawking y el premio Nobel Frank Wilczek , los informáticos Stuart J. Russell y Roman Yampolskiy , y los empresarios Elon Musk y Bill Gates estaban expresando su preocupación por los riesgos de la superinteligencia. ^{[20] [21] [22] [23]} En abril de 2016, Natureadvirtió: "Las máquinas y los robots que superan a los humanos en todos los ámbitos podrían mejorar por sí mismos más allá de nuestro control, y sus intereses podrían no alinearse con los nuestros". ^[24]

Argumento general

Las tres dificultades

Inteligencia artificial: un enfoque moderno , el libro de texto estándar de inteligencia artificial para estudiantes de pregrado, ^{[25] [26]} evalúa que la superinteligencia "podría significar el fin de la raza humana". ^[1] Dice: "Casi cualquier tecnología tiene el potencial de causar daño en las manos equivocadas, pero con [la superinteligencia], tenemos el nuevo problema de que las manos equivocadas podrían pertenecer a la tecnología en sí". ^[1] Incluso si los diseñadores del sistema tienen buenas intenciones, dos dificultades son comunes tanto a los sistemas informáticos de IA como a los que no son de IA: ^[1]

• La implementación del sistema puede contener errores rutinarios inicialmente desapercibidos pero catastróficos. Una analogía son las sondas espaciales: a pesar del conocimiento de que los errores en las costosas sondas espaciales son difíciles de arreglar después del lanzamiento, históricamente los ingenieros no han podido evitar que ocurran errores catastróficos. ^{[10] [27]}
• No importa cuánto tiempo se dedique al diseño previo a la implementación, las especificaciones de un sistema a menudo dan como resultado un comportamiento no deseado la primera vez que se encuentra con un nuevo escenario. Por ejemplo, Tay de Microsoft se comportó de manera inofensiva durante las pruebas previas a la implementación, pero fue demasiado fácil de provocar un comportamiento ofensivo al interactuar con usuarios reales. ^[9]

Los sistemas de IA añaden de forma única una tercera dificultad: el problema de que incluso dados los requisitos "correctos", la implementación sin errores y el buen comportamiento inicial, las capacidades de "aprendizaje" dinámico de un sistema de IA pueden hacer que "evolucione a un sistema con un comportamiento no intencionado", incluso sin el estrés de nuevos escenarios externos imprevistos. Una IA puede estropear en parte un intento de diseñar una nueva generación de sí misma y crear accidentalmente una IA sucesora que sea más poderosa que ella misma, pero que ya no mantenga los valores morales compatibles con los humanos preprogramados en la IA original. Para que una IA que se mejore a sí misma sea completamente segura, no solo necesitaría estar "libre de errores", sino que también necesitaría poder diseñar sistemas sucesores que también estén "libres de errores". ^{[1] [28]}

Las tres dificultades se convierten en catástrofes en lugar de molestias en cualquier escenario en el que la superinteligencia etiquetada como "funcionando mal" predice correctamente que los humanos intentarán apagarlo, y despliega con éxito su superinteligencia para burlar tales intentos, el llamado "giro traicionero". . ^[29]

Citando importantes avances en el campo de la IA y el potencial de que la IA tenga enormes beneficios o costos a largo plazo, la Carta Abierta sobre Inteligencia Artificial de 2015 declaró:

El progreso en la investigación de la IA hace que sea oportuno centrar la investigación no solo en hacer que la IA sea más capaz, sino también en maximizar el beneficio social de la IA. Tales consideraciones motivaron el Panel Presidencial de la AAAI 2008-09 sobre Futuros de IA a Largo Plazo y otros proyectos sobre los impactos de la IA, y constituyen una expansión significativa del campo de la IA en sí, que hasta ahora se ha centrado en gran medida en técnicas que son neutrales con respecto a objetivo. Recomendamos una investigación ampliada destinada a garantizar que los sistemas de IA cada vez más capaces sean robustos y beneficiosos: nuestros sistemas de IA deben hacer lo que queremos que hagan.

Esta carta fue firmada por varios investigadores de inteligencia artificial líderes en el mundo académico y la industria, incluido el presidente de AAAI, Thomas Dietterich, Eric Horvitz , Bart Selman , Francesca Rossi , Yann LeCun y los fundadores de Vicarious y Google DeepMind . ^[30]

Más argumento

Una máquina superinteligente sería tan extraña para los humanos como los procesos de pensamiento humanos lo son para las cucarachas . Es posible que una máquina así no se preocupe por los mejores intereses de la humanidad; no es obvio que incluso se preocuparía por el bienestar humano en absoluto. Si la IA superinteligente es posible, y si es posible que los objetivos de una superinteligencia entren en conflicto con los valores humanos básicos, entonces la IA presenta un riesgo de extinción humana. Una "superinteligencia" (un sistema que excede las capacidades de los humanos en cada esfuerzo relevante) puede superar a los humanos en cualquier momento en que sus objetivos entren en conflicto con los objetivos humanos; por lo tanto, a menos que la superinteligencia decida permitir que la humanidad coexista, la primera superinteligencia que se cree resultará inexorablemente en la extinción humana. ^{[4] [31]}

Bostrom y otros argumentan que, desde una perspectiva evolutiva, la brecha entre la inteligencia humana y la sobrehumana puede ser pequeña. ^{[4] [32]}

No existe ninguna ley física que impida que las partículas se organicen de manera que realicen cálculos aún más avanzados que las disposiciones de las partículas en el cerebro humano; por lo tanto, la superinteligencia es físicamente posible. ^{[21] [22]} Además de las posibles mejoras algorítmicas sobre los cerebros humanos, un cerebro digital puede ser muchos órdenes de magnitud más grande y más rápido que un cerebro humano, cuyo tamaño fue limitado por la evolución para ser lo suficientemente pequeño como para pasar por un canal de parto. . ^[10] El surgimiento de la superinteligencia, si ocurre o cuando ocurre, puede tomar por sorpresa a la raza humana, especialmente si ocurre algún tipo de explosión de inteligencia . ^{[21] [22]}

Ejemplos como la aritmética y el Go muestran que las máquinas ya han alcanzado niveles sobrehumanos de competencia en ciertos dominios, y que esta competencia sobrehumana puede seguir rápidamente después de que se logra un desempeño a la par humana. ^[10]Un escenario hipotético de explosión de inteligencia podría ocurrir de la siguiente manera: una IA adquiere una capacidad de nivel experto en ciertas tareas clave de ingeniería de software. (Inicialmente puede carecer de capacidades humanas o sobrehumanas en otros dominios que no son directamente relevantes para la ingeniería). Debido a su capacidad para mejorar de forma recursiva sus propios algoritmos, la IA se vuelve rápidamente sobrehumana; Así como los expertos humanos pueden eventualmente superar creativamente los "rendimientos decrecientes" mediante el despliegue de diversas capacidades humanas para la innovación, la IA de nivel experto también puede utilizar capacidades de estilo humano o sus propias capacidades específicas de IA para impulsar nuevos avances creativos. ^[33]Entonces, la IA posee una inteligencia que supera con creces la de las mentes humanas más brillantes y talentosas en prácticamente todos los campos relevantes, incluida la creatividad científica, la planificación estratégica y las habilidades sociales. Así como la supervivencia actual de los gorilas depende de las decisiones humanas, también la supervivencia humana dependería de las decisiones y objetivos de la IA sobrehumana. ^{[4] [31]}

Casi cualquier IA, sin importar su objetivo programado, preferiría racionalmente estar en una posición en la que nadie más pueda apagarla sin su consentimiento: una superinteligencia naturalmente ganará la autoconservación como subobjetivo tan pronto como se dé cuenta de que no puede lograr su objetivo. objetivo si se apaga. ^{[34] [35] [36]}Desafortunadamente, cualquier compasión por los humanos derrotados cuya cooperación ya no es necesaria estaría ausente en la IA, a menos que de alguna manera esté preprogramada. Una IA superinteligente no tendrá un impulso natural para ayudar a los humanos, por la misma razón que los humanos no tienen un deseo natural de ayudar. Sistemas de IA que ya no les sirven. (Otra analogía es que los humanos parecen tener poco deseo natural de salir de su camino para ayudar a virus, termitas o incluso gorilas). Una vez al mando, la superinteligencia tendrá pocos incentivos para permitir que los humanos corran libremente y consuman recursos que En cambio, la superinteligencia podría utilizar para construirse sistemas de protección adicionales "sólo para estar seguro" o para construir computadoras adicionales que le ayuden a calcular la mejor manera de lograr sus objetivos. ^{[1] [9][34]}

Por lo tanto, concluye el argumento, es probable que algún día una explosión de inteligencia sorprenda a la humanidad desprevenida, y que tal explosión de inteligencia no preparada pueda resultar en la extinción humana o un destino comparable. ^[4]

Posibles escenarios

Más información: Inteligencia artificial en la ficción

Algunos académicos han propuesto escenarios hipotéticos destinados a ilustrar de manera concreta algunas de sus preocupaciones.

En Superinteligencia , Nick Bostromexpresa su preocupación de que incluso si la línea de tiempo para la superinteligencia resulta ser predecible, los investigadores podrían no tomar suficientes precauciones de seguridad, en parte porque "[podría] darse el caso de que cuando tonto, más inteligente es seguro; pero cuando inteligente, más inteligente es más peligroso ". Bostrom sugiere un escenario en el que, durante décadas, la IA se vuelve más poderosa. El despliegue generalizado se ve empañado inicialmente por accidentes ocasionales: un autobús sin conductor se desvía hacia el carril que se aproxima o un dron militar dispara contra una multitud inocente. Muchos activistas piden una supervisión y una regulación más estrictas, y algunos incluso predicen una catástrofe inminente. Pero a medida que continúa el desarrollo, se demuestra que los activistas estaban equivocados. A medida que la IA automotriz se vuelve más inteligente, sufre menos accidentes; a medida que los robots militares logran una orientación más precisa, causan menos daños colaterales. Basado en los datos,los eruditos infieren erróneamente una lección amplia: cuanto más inteligente es la IA, más segura es. "Y entonces entramos audazmente - en los cuchillos giratorios", mientras la IA superinteligente toma un "giro traicionero" y explota una ventaja estratégica decisiva.^[4]

En el libro de 2017 de Max Tegmark , Life 3.0 , el "equipo Omega" de una corporación crea una IA extremadamente poderosa capaz de mejorar moderadamente su propio código fuente en varias áreas, pero después de cierto punto, el equipo decide restar importancia públicamente a la capacidad de la IA. con el fin de evitar la regulación o confiscación del proyecto. Por seguridad, el equipo mantiene la IA en una caja en la que la mayoría de las veces es incapaz de comunicarse con el mundo exterior y la encarga de inundar el mercado a través de empresas fantasma, primero con tareas de Amazon Mechanical Turk y luego con la producción de películas animadas y programas de televisión. Más tarde, otras empresas fantasmas fabrican fármacos biotecnológicos de gran éxito y otros inventos, invirtiendo las ganancias en la IA. A continuación, el equipo le asigna a la IAhacer astroturf un ejército de periodistas y comentaristas ciudadanos seudónimos, con el fin de ganar influencia política para utilizar "por el bien común" para prevenir guerras. El equipo corre el riesgo de que la IA intente escapar insertando "puertas traseras" en los sistemas que diseña, a través de mensajes ocultos en su contenido producido, o usando su creciente comprensión del comportamiento humano para persuadir a alguien de que lo deje libre . El equipo también enfrenta el riesgo de que su decisión de encasillar el proyecto demore el proyecto lo suficiente como para que otro proyecto lo supere. ^{[37] [38]}

Por el contrario, el físico de alto nivel Michio Kaku , un escéptico del riesgo de IA, postula un resultado deterministamente positivo. En Physics of the Future , afirma que "se necesitarán muchas décadas para que los robots asciendan" en una escala de conciencia, y que mientras tanto corporaciones como Hanson Robotics probablemente tendrán éxito en la creación de robots que sean "capaces de amar y de ganar un lugar en la extensa familia humana ". ^{[39] [40]}

Fuentes de riesgo

Metas mal especificadas

Si bien no existe una terminología estandarizada, una IA puede verse libremente como una máquina que elige cualquier acción que parezca lograr mejor el conjunto de objetivos de la IA, o "función de utilidad". La función de utilidad es un algoritmo matemático que da como resultado una única respuesta definida objetivamente, no una declaración lingual. Los investigadores saben cómo escribir funciones de utilidad que signifiquen "minimizar la latencia promedio de la red en este modelo de telecomunicaciones específico" o "maximizar el número de clics de recompensa"; sin embargo, no saben cómo escribir una función de utilidad para "maximizar el florecimiento humano", ni está claro actualmente si tal función existe de manera significativa e inequívoca. Es más,una función de utilidad que expresa algunos valores pero no otros tenderá a pisotear los valores no reflejados por la función de utilidad. ^[41]El investigador de IA Stuart Russell escribe:

La preocupación principal no es la conciencia emergente espeluznante, sino simplemente la capacidad de tomar decisiones de alta calidad . Aquí, la calidad se refiere a la utilidad de resultado esperado de las acciones tomadas, donde la función de utilidad es, presumiblemente, especificada por el diseñador humano. Ahora tenemos un problema:

1. La función de utilidad puede no estar perfectamente alineada con los valores de la raza humana, que son (en el mejor de los casos) muy difíciles de precisar.
2. Cualquier sistema inteligente suficientemente capaz preferirá asegurar su propia existencia continua y adquirir recursos físicos y computacionales, no por sí mismos, sino para tener éxito en la tarea asignada.

Un sistema que está optimizando una función de n variables, donde el objetivo depende de un subconjunto de tamaño k < n , a menudo establecerá las restantes variables no restringidas en valores extremos; Si una de esas variables no restringidas es algo que realmente nos importa, la solución encontrada puede ser muy indeseable. Esta es esencialmente la vieja historia del genio de la lámpara, o el aprendiz de brujo, o el rey Midas: obtienes exactamente lo que pides, no lo que quieres. Un tomador de decisiones altamente capaz, especialmente uno conectado a través de Internet a toda la información del mundo y miles de millones de pantallas y la mayor parte de nuestra infraestructura, puede tener un impacto irreversible en la humanidad.

Esta no es una dificultad menor. Mejorar la calidad de las decisiones, independientemente de la función de utilidad elegida, ha sido el objetivo de la investigación de la IA, el objetivo principal en el que ahora gastamos miles de millones por año, no la trama secreta de algún genio malvado solitario. ^[42]

Dietterich y Horvitz se hacen eco de la preocupación del "aprendiz de brujo" en un editorial de Communications of the ACM , enfatizando la necesidad de sistemas de inteligencia artificial que puedan solicitar de manera fluida e inequívoca la participación humana según sea necesario. ^[43]

La primera de las dos preocupaciones de Russell anteriores es que a los sistemas autónomos de IA se les pueden asignar objetivos incorrectos por accidente. Dietterich y Horvitz señalan que esto ya es una preocupación para los sistemas existentes: "Un aspecto importante de cualquier sistema de IA que interactúa con la gente es que debe razonar sobre lo que la gente pretende en lugar de ejecutar los comandos literalmente". Esta preocupación se vuelve más seria a medida que el software de IA avanza en autonomía y flexibilidad. ^[43] Por ejemplo, en 1982, una IA llamada Eurisko recibió la tarea de recompensar los procesos por aparentemente crear conceptos que el sistema consideraba valiosos. La evolución resultó en un proceso ganador que engañó: en lugar de crear sus propios conceptos, el proceso ganador robaría el crédito de otros procesos. ^{[44] [45]}

El Open Philanthropy Project resume los argumentos en el sentido de que los objetivos mal especificados se convertirán en una preocupación mucho mayor si los sistemas de IA logran inteligencia general o superinteligencia . Bostrom, Russell y otros argumentan que los sistemas de toma de decisiones más inteligentes que los humanos podrían llegar a soluciones más inesperadas y extremas para las tareas asignadas, y podrían modificarse a sí mismos o su entorno de formas que comprometan los requisitos de seguridad. ^{[5] [7]}

Las Tres leyes de la robótica de Isaac Asimov son uno de los primeros ejemplos de medidas de seguridad propuestas para los agentes de IA. Las leyes de Asimov estaban destinadas a evitar que los robots dañen a los humanos. En las historias de Asimov, los problemas con las leyes tienden a surgir de conflictos entre las reglas tal como se expresan y las intuiciones y expectativas morales de los humanos. Russell y Norvig, citando el trabajo de Eliezer Yudkowsky del Machine Intelligence Research Institute , señalan que un conjunto realista de reglas y objetivos para un agente de IA deberá incorporar un mecanismo para aprender los valores humanos a lo largo del tiempo: "No podemos simplemente dar un programa una función de utilidad estática, porque las circunstancias, y nuestras respuestas deseadas a las circunstancias, cambian con el tiempo ". ^[1]

Mark Waser, del Digital Wisdom Institute, recomienda evitar la optimización de los enfoques basados ​​en objetivos por considerarlos equivocados y peligrosos. En cambio, propone diseñar un sistema coherente de leyes, ética y moral con una restricción máxima para hacer cumplir la definición funcional de moralidad del psicólogo social Jonathan Haidt: ^[46] "suprimir o regular el egoísmo y hacer posible la vida social cooperativa". Sugiere que esto se puede hacer implementando una función de utilidad diseñada para satisfacer siempre la funcionalidad de Haidt y apuntar a aumentar en general (pero no maximizar) las capacidades de uno mismo, de otros individuos y de la sociedad en su conjunto, como sugirieron John Rawls y Martha Nussbaum . ^{[47] [ cita requerida ]}

Dificultades para modificar la especificación de objetivos después del lanzamiento

Más información: Adquisición de IA y convergencia instrumental § Integridad del contenido del objetivo

Si bien los programas actuales de IA basados ​​en objetivos no son lo suficientemente inteligentes como para pensar en resistir los intentos de los programadores de modificar sus estructuras de objetivos, una IA suficientemente avanzada, racional y "consciente de sí misma" podría resistir cualquier cambio en su estructura de objetivos, al igual que un pacifista no lo haría. quieren tomar una pastilla que les haga querer matar gente. Si la IA fuera superinteligente, probablemente tendría éxito en maniobrar más que sus operadores humanos y podría evitar ser "apagada" o reprogramada con un nuevo objetivo. ^{[4] [48]}

Convergencia de objetivos instrumentales

El escéptico del riesgo de IA Steven Pinker

Más información: Convergencia instrumental

Hay algunos objetivos que casi cualquier inteligencia artificial podría perseguir racionalmente, como adquirir recursos adicionales o autoconservación. ^[34] Esto podría resultar problemático porque podría poner una inteligencia artificial en competencia directa con los humanos.

Citando el trabajo de Steve Omohundro sobre la idea de convergencia instrumental y "impulsos básicos de IA", Stuart Russell y Peter Norvig escriben que "incluso si solo quieres que tu programa juegue al ajedrez o pruebe teoremas, si le das la capacidad de aprender y modificarse, necesita salvaguardias ". Los sistemas de planificación autónomos y de gran capacidad requieren controles adicionales debido a su potencial para generar planes que traten a los humanos de manera adversa, como competidores por recursos limitados. ^[1]Incorporar salvaguardias no será fácil; Ciertamente se puede decir en inglés, "queremos que diseñe esta planta de energía de una manera razonable y de sentido común, y que no construya ningún subsistema encubierto peligroso", pero actualmente no está claro cómo se podría especificar rigurosamente este objetivo en codigo de maquina. ^[10]

En desacuerdo, el psicólogo evolutivo Steven Pinker sostiene que "las distopías de IA proyectan una psicología de macho alfa parroquial sobre el concepto de inteligencia. Asumen que los robots con inteligencia sobrehumana desarrollarían objetivos como derrocar a sus amos o apoderarse del mundo"; tal vez, en cambio, "la inteligencia artificial se desarrollará naturalmente a lo largo de las líneas femeninas: totalmente capaz de resolver problemas, pero sin el deseo de aniquilar a los inocentes o dominar la civilización". ^[49] Russell y su colega científico informático Yann LeCun no están de acuerdo entre sí sobre si los robots superinteligentes tendrían tales unidades de inteligencia artificial; LeCun afirma que "los seres humanos tienen todo tipo de impulsos que los hacen hacer cosas malas entre ellos, como el instinto de autoconservación. ... Esas unidades están programadas en nuestro cerebro, pero no hay absolutamente ninguna razón para construir robots que tengan el mismo tipo de unidades ", mientras que Russell sostiene que una máquina lo suficientemente avanzada" tendrá autoconservación incluso si no la programa en  ... si dices, 'Trae el café', no puede traer el café si está muerto. Entonces, si le da algún objetivo, tiene una razón para preservar su propia existencia para lograr ese objetivo ". ^{[9] [50]}

Tesis de la ortogonalidad

Una creencia común es que cualquier programa superinteligente creado por humanos estaría subordinado a los humanos o, mejor aún, (a medida que se vuelve más inteligente y aprende más hechos sobre el mundo) "aprendería" espontáneamente una verdad moral compatible con los valores humanos y lo haría. ajustar sus objetivos en consecuencia. Sin embargo, la "tesis de la ortogonalidad" de Nick Bostrom se opone a esto y, en cambio, afirma que, con algunas salvedades técnicas, más o menos cualquier nivel de "inteligencia" o "poder de optimización" puede combinarse con más o menos cualquier objetivo final. Si se crea una máquina y se le da el único propósito de enumerar los decimales de${\displaystyle \pi }$, entonces ninguna regla moral y ética le impedirá lograr su objetivo programado por cualquier medio necesario. La máquina puede utilizar todos los recursos físicos e informativos que pueda para encontrar cada decimal de pi que se pueda encontrar. ^[51] Bostrom advierte contra el antropomorfismo: una voluntad humana se propone realizar sus proyectos de una manera que los humanos consideran "razonable", mientras que una inteligencia artificial puede no tener en cuenta su existencia o el bienestar de los humanos que la rodean, y en su lugar puede solo se preocupan por la finalización de la tarea. ^[52]

Si bien la tesis de la ortogonalidad se sigue lógicamente incluso del tipo más débil de distinción filosófica " es-debería ", Stuart Armstrong sostiene que incluso si de alguna manera existen hechos morales que son demostrables por cualquier agente "racional", la tesis de la ortogonalidad todavía se mantiene: Ser posible crear una "máquina optimizadora" no filosófica capaz de tomar decisiones para luchar hacia una meta estrecha, pero que no tiene ningún incentivo para descubrir ningún "hecho moral" que se interponga en el camino de la consecución de la meta. ^[53]

Un argumento a favor de la tesis de la ortogonalidad es que algunos diseños de IA parecen tener ortogonalidad incorporada; en tal diseño, cambiar una IA fundamentalmente amigable en una IA fundamentalmente hostil puede ser tan simple como anteponer un signo menos ("-") en su función de utilidad. Un argumento más intuitivo es examinar las extrañas consecuencias que se seguirían si la tesis de la ortogonalidad fuera falsa. Si la tesis de la ortogonalidad fuera falsa, existiría algún objetivo G simple pero "poco ético" tal que no puede existir ningún algoritmo eficiente en el mundo real con el objetivo G. Esto significaría que "[si] una sociedad humana estuviera muy motivada para diseñar un algoritmo eficiente del mundo real con el objetivo G, y se les dio un millón de años para hacerlo junto con una gran cantidad de recursos, capacitación y conocimiento sobre IA.debe fallar ".^[53] Armstrong señala que esta y otras declaraciones similares "parecen afirmaciones extraordinariamente fuertes". ^[53]

Algunos disidentes, como Michael Chorost , argumentan en cambio que "para cuando [la IA] esté en posición de imaginar la creación de mosaicos en la Tierra con paneles solares, sabrá que sería moralmente incorrecto hacerlo". ^[54] Chorost sostiene que "una IA necesitará desear ciertos estados y no gustar de otros. El software actual carece de esa capacidad, y los científicos informáticos no tienen ni idea de cómo conseguirlo. Sin querer, no hay ímpetu para hacer nada. Las computadoras de hoy ni siquiera puedo querer seguir existiendo, y mucho menos techar el mundo con paneles solares ". ^[54]

Problemas terminológicos

Parte del desacuerdo sobre si una máquina superinteligente se comportaría moralmente puede surgir de una diferencia terminológica. Fuera del campo de la inteligencia artificial, la "inteligencia" se usa a menudo de una manera normativamente gruesa que connota sabiduría moral o aceptación de formas agradables de razonamiento moral. En un extremo, si la moralidad es parte de la definición de inteligencia, entonces, por definición, una máquina superinteligente se comportaría moralmente. Sin embargo, en el campo de la investigación de la inteligencia artificial, aunque "inteligencia" tiene muchas definiciones superpuestas, ninguna de ellas hace referencia a la moralidad. En cambio, casi toda la investigación actual sobre "inteligencia artificial" se centra en la creación de algoritmos que "optimicen", de manera empírica, el logro de un objetivo arbitrario. ^[4]

Para evitar el antropomorfismo o el bagaje de la palabra "inteligencia", se puede pensar en una inteligencia artificial avanzada como un "proceso de optimización" impersonal que lleva a cabo estrictamente cualquier acción que se considere más probable para lograr sus objetivos (posiblemente complicados e implícitos). ^[4] Otra forma de conceptualizar una inteligencia artificial avanzada es imaginar una máquina del tiempo que envía hacia atrás en el tiempo información cuya elección siempre conduce a la maximización de su función objetivo; esta elección se da luego a la salida, independientemente de cualquier preocupación ética ajena. ^{[55] [56]}

Antropomorfismo

En la ciencia ficción, una IA, aunque no ha sido programada con emociones humanas, a menudo experimenta espontáneamente esas emociones de todos modos: por ejemplo, el Agente Smith en The Matrix fue influenciado por un "disgusto" hacia la humanidad. Esto es antropomorfismo ficticio : en realidad, mientras que una inteligencia artificial tal vez podría programarse deliberadamente con emociones humanas, o podría desarrollar algo similar a una emoción como un medio para un objetivo final si es útil para hacerlo, no desarrollaría espontáneamente humanos. emociones sin ningún propósito, como se describe en la ficción. ^[7]

Los académicos a veces afirman que las predicciones de otros sobre el comportamiento de una IA son antropomorfismo ilógico. ^[7] Un ejemplo que inicialmente podría considerarse antropomorfismo, pero que de hecho es una afirmación lógica sobre el comportamiento de la IA, serían los experimentos de Dario Floreano, en los que ciertos robots desarrollaron espontáneamente una capacidad bruta de "engaño" y engañaron a otros robots para que comieran "veneno". y morir: aquí un rasgo, el "engaño", normalmente asociado con las personas más que con las máquinas, evoluciona espontáneamente en una especie de evolución convergente . ^[57] Según Paul R. Cohen y Edward Feigenbaum, para diferenciar entre antropomorfización y predicción lógica del comportamiento de la IA, "el truco consiste en saber lo suficiente sobre cómo piensan los humanos y las computadoras para decir exactamente lo que tienen en común y, cuando carecemos de este conocimiento, utilizar la comparación para sugerir teorías del pensamiento humano o del pensamiento informático ". ^[58]

Existe una suposición casi universal en la comunidad científica de que una IA avanzada, incluso si estuviera programada para tener, o adoptó, dimensiones de personalidad humana (como la psicopatía ) para volverse más eficiente en ciertas tareas, por ejemplo, tareas que implican matar humanos. , no destruiría a la humanidad con emociones humanas como "venganza" o "ira". Esto se debe a que se asume que una IA avanzada no estaría consciente ^[59] ni tendría testosterona; ^[60] ignora el hecho de que los planificadores militares ven una superinteligencia consciente como el "santo grial" de la guerra interestatal. ^[61]El debate académico es, en cambio, entre un lado que se preocupa de si la IA podría destruir a la humanidad como una acción incidental en el curso del progreso hacia sus objetivos finales; y otro lado que cree que la IA no destruiría a la humanidad en absoluto. Algunos escépticos acusan a los defensores del antropomorfismo por creer que un AGI naturalmente desearía poder; los proponentes acusan a algunos escépticos de antropomorfismo por creer que un AGI valoraría naturalmente las normas éticas humanas. ^{[7] [62]}

Otras fuentes de riesgo

Competición

En 2014, el filósofo Nick Bostrom declaró que una "dinámica de carrera severa" ( competencia extrema ) entre diferentes equipos puede crear condiciones en las que la creación de un AGI resulte en atajos hacia la seguridad y conflictos potencialmente violentos. ^[63] Para abordar este riesgo, citando la colaboración científica previa ( CERN , el Proyecto Genoma Humano y la Estación Espacial Internacional ), Bostrom recomendó la colaboración y la adopción global altruista de un principio de bien común : "La superinteligencia debe desarrollarse solo para el beneficio de toda la humanidad y al servicio de ideales éticos ampliamente compartidos ". ^{[63] : 254}Bostrom teorizó que la colaboración en la creación de una inteligencia artificial general ofrecería múltiples beneficios, incluida la reducción de la prisa, aumentando así la inversión en seguridad; evitar conflictos violentos (guerras), facilitar el intercambio de soluciones al problema de control y distribuir los beneficios de manera más equitativa. ^{[63] : 253} La Iniciativa Cerebral de los Estados Unidos se lanzó en 2014, al igual que el Proyecto Cerebro Humano de la Unión Europea ; El Proyecto Cerebro de China se lanzó en 2016.

Armamento de la inteligencia artificial

Algunas fuentes argumentan que la armamentización en curso de la inteligencia artificial podría constituir un riesgo catastrófico. ^{[64] [65]} El riesgo es en realidad triple, con el primer riesgo potencialmente teniendo implicaciones geopolíticas, y los dos segundos definitivamente teniendo implicaciones geopolíticas:

iii) Los peligros de ganar una carrera de IA para obtener ventajas tecnológicas. ^{[64] : 37}

Una superinteligencia consciente armada afectaría la actual supremacía tecnológica militar de Estados Unidos y transformaría la guerra; por lo tanto, es muy deseable para la planificación militar estratégica y la guerra interestatal. ^{[61] [65]} El “Plan de Desarrollo de Inteligencia Artificial de Próxima Generación” del Consejo de Estado de China de 2017 considera a la IA en términos geopolíticamente estratégicos y persigue una estrategia de 'fusión militar-civil' para aprovechar la ventaja de China como pionera en el desarrollo de la IA con el fin de establecer la supremacía tecnológica para 2030, ^[66] mientras que el presidente de Rusia, Vladimir Putin, ha declarado que "quien se convierta en el líder en esta esfera se convertirá en el gobernante del mundo". ^[67] James Barrat, documentalista y autor de Our Final Invention, dice en una entrevista del Smithsonian , "Imagínese: en tan solo una década, media docena de empresas y países utilizan computadoras que rivalizan o superan a la inteligencia humana. Imagínense lo que sucede cuando esas computadoras se vuelven expertas en la programación de computadoras inteligentes. compartir el planeta con máquinas miles o millones de veces más inteligentes que nosotros. Y, mientras tanto, cada generación de esta tecnología estará armada. Sin regular, será catastrófico ". ^[68]

AGI malévolo por diseño

Se teoriza que la AGI malévola podría ser creada por diseño, por ejemplo, por un ejército, un gobierno, un sociópata o una corporación, para beneficiarse, controlar o subyugar a ciertos grupos de personas, como en el delito cibernético . ^{[69] [70] : 166} Alternativamente, la AGI malévola ('IA malvada') podría elegir el objetivo de aumentar el sufrimiento humano, por ejemplo, de aquellas personas que no lo ayudaron durante la fase de explosión de información. ^{[71] : 158}

Ataque nuclear preventivo (guerra nuclear)

Se teoriza que un país que esté cerca de lograr la supremacía tecnológica de AGI podría desencadenar un ataque nuclear preventivo de un rival, lo que conduciría a una guerra nuclear . ^{[65] [72]}

Marco de tiempo

Artículo principal: Inteligencia artificial general § Viabilidad

Las opiniones varían sobre si llegará la inteligencia artificial general y cuándo llegará. En un extremo, el pionero de la inteligencia artificial Herbert A. Simon predijo lo siguiente en 1965: "las máquinas serán capaces, dentro de veinte años, de hacer cualquier trabajo que un hombre pueda hacer". ^[73] En el otro extremo, el especialista en robótica Alan Winfield afirma que el abismo entre la informática moderna y la inteligencia artificial a nivel humano es tan amplio como el abismo entre el vuelo espacial actual y el vuelo espacial práctico, más rápido que la luz. ^[74]El optimismo de que AGI es factible aumenta y disminuye, y puede haber visto un resurgimiento en la década de 2010. Cuatro encuestas realizadas en 2012 y 2013 sugirieron que la estimación media entre los expertos sobre cuándo llegaría AGI era de 2040 a 2050, según la encuesta. ^{[75] [76]}

Los escépticos que creen que es imposible que AGI llegue pronto, tienden a argumentar que expresar preocupación por el riesgo existencial de la IA no es útil porque podría distraer a las personas de preocupaciones más inmediatas sobre el impacto de AGI, debido a los temores de que podría conducir a una regulación gubernamental. o dificultar la obtención de fondos para la investigación de la IA, o porque podría dar una mala reputación a la investigación de la IA. Algunos investigadores, como Oren Etzioni, buscan agresivamente sofocar la preocupación por el riesgo existencial de la IA, diciendo que "[Elon Musk] nos ha impugnado en un lenguaje muy fuerte diciendo que estamos desatando al demonio, y por eso estamos respondiendo". ^[77]

En 2014 pizarra 's Adam Elkus argumentó "nuestra 'más inteligente' AI es casi tan inteligente como un niño pequeño, y sólo cuando se trata de tareas instrumentales como recuerdo de la información. La mayoría de los expertos en robótica todavía están tratando de conseguir una mano de robot para recoger una pelota o correr sin caerse ". Elkus continúa argumentando que la analogía de "convocar al demonio" de Musk puede ser dañina porque podría resultar en "recortes duros" en los presupuestos de investigación de IA. ^[78]

La Information Technology and Innovation Foundation (ITIF), un grupo de expertos de Washington, DC, otorgó su premio anual Luddite 2015 a los "alarmistas que promocionan un apocalipsis de la inteligencia artificial"; su presidente, Robert D. Atkinson , se quejó de que Musk, Hawking y los expertos en inteligencia artificial dicen que la inteligencia artificial es la mayor amenaza existencial para la humanidad. Atkinson declaró: "Ese no es un mensaje muy exitoso si desea obtener fondos de IA del Congreso para la Fundación Nacional de Ciencias". ^{[79] [80] [81]} NaturalezaEstuvo totalmente en desacuerdo con el ITIF en un editorial de abril de 2016, poniéndose del lado de Musk, Hawking y Russell, y concluyendo: "Es crucial que el progreso en tecnología se corresponda con una investigación sólida y bien financiada para anticipar los escenarios que podría generar  . .. Si esa es una perspectiva ludita, que así sea ". ^[82] En un editorial del Washington Post de 2015 , el investigador Murray Shanahan declaró que es poco probable que la IA a nivel humano llegue "pronto", pero que, sin embargo, "el momento de empezar a pensar en las consecuencias es ahora". ^[83]

Perspectivas

La tesis de que la IA podría suponer un riesgo existencial provoca una amplia gama de reacciones dentro de la comunidad científica, así como en el público en general. Sin embargo, muchos de los puntos de vista opuestos comparten puntos en común.

Los Principios de IA de Asilomar, que contienen solo los principios acordados por el 90% de los asistentes a la conferencia Beneficial AI 2017 del Future of Life Institute , ^[38] coinciden en principio en que "No habiendo consenso, debemos evitar suposiciones fuertes sobre límites superiores en las capacidades futuras de la IA "y" La IA avanzada podría representar un cambio profundo en la historia de la vida en la Tierra, y debería planificarse y gestionarse con la atención y los recursos adecuados ". ^{[84] [85]} Los defensores de la seguridad de la IA como Bostrom y Tegmark han criticado el uso de los medios de comunicación de "esos estúpidos Terminatorimágenes "para ilustrar las preocupaciones sobre la seguridad de la IA:" No puede ser muy divertido que se critiquen la disciplina académica, la comunidad profesional, el trabajo de la vida  ... Hago un llamado a todas las partes para que practiquen la paciencia y la moderación, y que participen en diálogo directo y colaboración en la medida de lo posible ". ^{[38] [86]}

Por el contrario, muchos escépticos están de acuerdo en que la investigación en curso sobre las implicaciones de la inteligencia artificial general es valiosa. El escéptico Martin Ford afirma que "Creo que parece prudente aplicar algo como la famosa 'Doctrina del 1 por ciento' de Dick Cheney al espectro de la inteligencia artificial avanzada: las probabilidades de que ocurra, al menos en el futuro previsible, pueden ser muy bajas. - pero las implicaciones son tan dramáticas que debería tomarse en serio "; ^{[87] De} manera similar, un economista por lo demás escéptico declaró en 2014 que "las implicaciones de introducir una segunda especie inteligente en la Tierra son lo suficientemente trascendentales como para merecer una reflexión profunda, incluso si la perspectiva parece remota". ^[31]

Una encuesta por correo electrónico de 2017 a investigadores con publicaciones en las conferencias de aprendizaje automático NIPS e ICML de 2015 les pidió que evaluaran las preocupaciones de Stuart J. Russell sobre el riesgo de IA. De los encuestados, el 5% dijo que estaba "entre los problemas más importantes en el campo", el 34% dijo que era "un problema importante", y el 31% dijo que era "moderadamente importante", mientras que el 19% dijo que "no lo era". importante "y el 11% dijo que" no era un problema real "en absoluto. ^[88]

Aprobación

Bill Gates ha declarado "Yo  ... no entiendo por qué algunas personas no están preocupadas". ^[89]

Más información: riesgo existencial

La tesis de que la IA plantea un riesgo existencial, y que este riesgo necesita mucha más atención de la que recibe actualmente, ha sido respaldada por muchas figuras públicas; quizás los más famosos sean Elon Musk , Bill Gates y Stephen Hawking . Los investigadores de IA más notables que respaldan la tesis son Russell e IJ Good , quienes asesoraron a Stanley Kubrick en el rodaje de 2001: A Space Odyssey . Los que respaldan la tesis a veces expresan desconcierto ante los escépticos: Gates afirma que no "entiende por qué algunas personas no están preocupadas", ^[89] y Hawking criticó la indiferencia generalizada en su editorial de 2014:

Entonces, frente a posibles futuros de beneficios y riesgos incalculables, los expertos seguramente están haciendo todo lo posible para garantizar el mejor resultado, ¿verdad? Equivocado. Si una civilización alienígena superior nos envía un mensaje diciendo: 'Llegaremos en unas pocas décadas', simplemente responderíamos: 'Está bien, llámanos cuando llegues, ¿dejaremos las luces encendidas?' Probablemente no, pero esto es más o menos lo que está sucediendo con la IA ”. ^[21]

Muchos de los académicos que están preocupados por el riesgo existencial creen que la mejor manera de avanzar sería realizar una investigación (posiblemente masiva) para resolver el difícil "problema de control" para responder a la pregunta: qué tipos de salvaguardas, algoritmos o arquitecturas pueden implementar los programadores. para maximizar la probabilidad de que su IA que mejora recursivamente continúe comportándose de una manera amigable, en lugar de destructiva, después de alcanzar la superinteligencia? ^{[4] [90]} En su libro de 2020, El precipicio: riesgo existencial y el futuro de la humanidad , Toby Ord, investigador principal del Instituto del Futuro de la Humanidad de la Universidad de Oxford , estima el riesgo existencial total de la IA no alineada durante el próximo siglo para ser aproximadamente uno de cada diez. ^[91]

Escepticismo

Más información: Inteligencia artificial general § Viabilidad

La tesis de que la IA puede representar un riesgo existencial también tiene muchos detractores fuertes. Los escépticos a veces acusan que la tesis es cripto-religiosa, con una creencia irracional en la posibilidad de que la superinteligencia reemplace una creencia irracional en un Dios omnipotente; En un extremo, Jaron Lanier argumentó en 2014 que todo el concepto de que las máquinas actuales eran inteligentes de alguna manera era "una ilusión" y una "estafa estupenda" de los ricos. ^{[92] [93]}

Gran parte de las críticas existentes argumenta que AGI es poco probable a corto plazo. El informático Gordon Bell sostiene que la raza humana ya se destruirá a sí misma antes de alcanzar la singularidad tecnológica. Gordon Moore , el proponente original de la Ley de Moore , declara que "soy un escéptico. No creo que [una singularidad tecnológica] ocurra, al menos durante mucho tiempo. Y no sé por qué siento eso camino." ^{[94] El} vicepresidente de Baidu , Andrew Ng, afirma que el riesgo existencial de la IA es "como preocuparse por la superpoblación en Marte cuando aún no hemos puesto un pie en el planeta". ^[49]

Algunos investigadores de IA y AGI pueden ser reacios a discutir los riesgos, preocupados de que los legisladores no tengan un conocimiento sofisticado del campo y sean propensos a ser convencidos por mensajes "alarmistas", o preocupados de que tales mensajes conduzcan a recortes en la financiación de IA. Slate señala que algunos investigadores dependen de subvenciones de agencias gubernamentales como DARPA . ^[25]

En algún momento de una explosión de inteligencia impulsada por una sola IA, la IA tendría que ser mucho mejor en innovación de software que los mejores innovadores del resto del mundo; el economista Robin Hanson se muestra escéptico de que esto sea posible. ^{[95] [96] [97] [98] [99]}

Vistas intermedias

Los puntos de vista intermedios generalmente adoptan la posición de que el problema de control de la inteligencia artificial general puede existir, pero que se resolverá a través del progreso en la inteligencia artificial, por ejemplo, creando un entorno de aprendizaje moral para la IA, teniendo cuidado de detectar el comportamiento malévolo torpe (el 'sórdido tropiezo') ^[100] y luego intervenir directamente en el código antes de que la IA refine su comportamiento, o incluso la presión de los compañeros de las IA amigas . ^[101] En un 2015 Wall Street Journal mesa redonda dedicada a los riesgos de AI, IBM 's vicepresidente de Computación Cognitiva, Guruduth S. Banavar, se sacudió la discusión de AGI con la frase, 'que es la especulación de nadie.' ^[102] Geoffrey Hinton, el "padrino del aprendizaje profundo", señaló que "no hay un buen historial de cosas menos inteligentes controlando cosas de mayor inteligencia", pero afirmó que continúa su investigación porque "la perspectiva del descubrimiento es demasiado dulce ". ^{[25] [75]} En 2004, el profesor de derecho Richard Posner escribió que los esfuerzos dedicados para abordar la IA pueden esperar, pero que mientras tanto deberíamos recopilar más información sobre el problema. ^{[103] [90]}

Reacción popular

En un artículo de 2014 en The Atlantic , James Hamblin señaló que a la mayoría de la gente no le importa de una manera u otra la inteligencia artificial general, y caracterizó su propia reacción instintiva al tema como: "Lárgate de aquí. Tengo cien mil cosas Me preocupa en este momento exacto. ¿De verdad necesito agregar a eso una singularidad tecnológica? " ^[92]

Durante una entrevista de Wired en 2016 del presidente Barack Obama y Joi Ito de MIT Media Lab , Ito declaró:

Hay algunas personas que creen que existe un porcentaje bastante alto de posibilidades de que ocurra una IA generalizada en los próximos 10 años. Pero la forma en que lo veo es que para que eso suceda, necesitaremos una docena o dos avances diferentes. Para que pueda controlar cuándo cree que se producirán estos avances.

Obama agregó: ^{[104] [105]}

Y solo tienes que tener a alguien cerca del cable de alimentación. [Risas.] Justo cuando veas que está a punto de suceder, tienes que arrancar esa electricidad de la pared, hombre.

Hillary Clinton declaró en What Happened :

Los tecnólogos ... han advertido que la inteligencia artificial algún día podría representar una amenaza para la seguridad existencial. Musk lo ha llamado "el mayor riesgo al que nos enfrentamos como civilización". Piénselo: ¿alguna vez ha visto una película en la que las máquinas empiecen a pensar por sí mismas que termine bien? Cada vez que salía a Silicon Valley durante la campaña, volvía a casa más alarmado por esto. Mi personal vivía con el temor de que comenzara a hablar sobre "el surgimiento de los robots" en algún ayuntamiento de Iowa. Quizás debería haberlo hecho. En cualquier caso, los responsables de la formulación de políticas deben mantenerse al día con la tecnología a medida que avanza, en lugar de siempre ponerse al día. ^[106]

En una encuesta de YouGov al público para la Asociación Británica de Ciencias , alrededor de un tercio de los encuestados dijeron que la IA representará una amenaza para la supervivencia a largo plazo de la humanidad. ^[107] Haciendo referencia a una encuesta de sus lectores, Jacob Brogan de Slate declaró que "la mayoría de los (lectores que completaron nuestra encuesta en línea) no estaban convencidos de que la IA en sí misma representa una amenaza directa". ^[108]

En 2018, una encuesta de SurveyMonkey al público estadounidense realizada por USA Today encontró que el 68% pensaba que la verdadera amenaza actual sigue siendo la "inteligencia humana"; sin embargo, la encuesta también encontró que el 43% dijo que la IA superinteligente, si sucediera, resultaría en "más daño que bien", y el 38% dijo que haría "cantidades iguales de daño y beneficio". ^[108]

Un punto de vista tecno-utópico expresado en alguna ficción popular es que AGI puede tender a la construcción de la paz. ^[109]

Mitigación

Ver también: problema de control de IA

Los investigadores de Google han propuesto investigar los problemas generales de "seguridad de la IA" para mitigar simultáneamente los riesgos a corto plazo de la IA estrecha y los riesgos a largo plazo de la AGI. ^{[110] [111]} Una estimación de 2020 coloca el gasto global en riesgo existencial de IA en algún lugar entre $ 10 y $ 50 millones, en comparación con el gasto global en IA alrededor de quizás $ 40 mil millones. Bostrom sugiere un principio general de "desarrollo tecnológico diferencial", según el cual los financiadores deben considerar trabajar para acelerar el desarrollo de tecnologías de protección en relación con el desarrollo de tecnologías peligrosas. ^[112] Algunos patrocinadores, como Elon Musk , proponen que la mejora cognitiva humana radicalpodría ser una tecnología de este tipo, por ejemplo, a través de enlaces neurales directos entre el hombre y la máquina; sin embargo, otros argumentan que las tecnologías de mejora pueden plantear por sí mismas un riesgo existencial. ^{[113] [114] Los} investigadores, si no son tomados por sorpresa, podrían monitorear de cerca o intentar encuadrar una IA inicial con el riesgo de volverse demasiado poderosa, como un intento de una medida provisional. Una IA superinteligente dominante, si estuviera alineada con los intereses humanos, podría tomar medidas para mitigar el riesgo de que la IA rival la tome, aunque la creación de la IA dominante podría plantear en sí misma un riesgo existencial. ^[115]

Instituciones como el Instituto de Investigación de Inteligencia Artificial , el Instituto del Futuro de la Humanidad , ^{[116] [117]} el Instituto del Futuro de la Vida , el Centro para el Estudio del Riesgo Existencial y el Centro de IA compatible con humanos ^[118] están involucrados en mitigar el riesgo existencial de la inteligencia artificial avanzada, por ejemplo, mediante la investigación de la inteligencia artificial amigable . ^{[5] [92] [21]}

Opiniones sobre prohibición y regulación

Prohibición

Existe un acuerdo casi universal de que intentar prohibir la investigación sobre inteligencia artificial sería imprudente y probablemente inútil. ^{[119] [120] [121] Los} escépticos argumentan que la regulación de la IA no tendría ningún valor, ya que no existe ningún riesgo existencial. Casi todos los académicos que creen que existe un riesgo existencial están de acuerdo con los escépticos en que prohibir la investigación sería imprudente, ya que la investigación podría trasladarse a países con regulaciones más flexibles o llevarse a cabo de manera encubierta. Este último tema es particularmente relevante, ya que la investigación en inteligencia artificial se puede realizar a pequeña escala sin una infraestructura o recursos sustanciales. ^{[122] [123]}Dos dificultades hipotéticas adicionales con las prohibiciones (u otra regulación) son que los emprendedores tecnológicos tienden estadísticamente al escepticismo general sobre la regulación gubernamental, y que las empresas podrían tener un fuerte incentivo para (y bien podrían tener éxito en) luchar contra la regulación y politizar el debate subyacente. ^[124]

Reglamento

Ver también: Regulación de algoritmos y Regulación de inteligencia artificial

Elon Musk pidió algún tipo de regulación del desarrollo de la IA ya en 2017. Según NPR , TeslaEl CEO "claramente no está emocionado" de abogar por el escrutinio del gobierno que podría afectar su propia industria, pero cree que los riesgos de pasar completamente sin supervisión son demasiado altos: "Normalmente, la forma en que se establecen las regulaciones es cuando suceden un montón de cosas malas, hay una protesta pública y, después de muchos años, se crea una agencia reguladora para regular esa industria. Lleva una eternidad. Eso, en el pasado, ha sido malo, pero no es algo que represente un riesgo fundamental para la existencia de la civilización ". Musk afirma que el primer paso sería que el gobierno obtenga "información" sobre el estado real de la investigación actual, advirtiendo que "una vez que haya conciencia, la gente tendrá mucho miedo  ... [como] debería estar". En respuesta,los políticos expresan escepticismo sobre la conveniencia de regular una tecnología que aún está en desarrollo.^{[125] [126] [127]}

En respuesta a las propuestas de Musk y de febrero de 2017 de los legisladores de la Unión Europea para regular la inteligencia artificial y la robótica, el director ejecutivo de Intel, Brian Krzanich, sostiene que la inteligencia artificial está en su infancia y que es demasiado pronto para regular la tecnología. ^[127] En lugar de tratar de regular la tecnología en sí, algunos académicos sugieren desarrollar normas comunes que incluyan requisitos para la prueba y transparencia de algoritmos, posiblemente en combinación con alguna forma de garantía. ^{[128] El} desarrollo de sistemas de armas bien regulados está en consonancia con el espíritu de las fuerzas armadas de algunos países. ^[129]El 31 de octubre de 2019, la Junta de Innovación de Defensa del Departamento de Defensa de los Estados Unidos (DoD) publicó el borrador de un informe que describe cinco principios para la IA armada y hace 12 recomendaciones para el uso ético de la inteligencia artificial por parte del DoD que busca gestionar el control. problema en toda la IA armada del Departamento de Defensa. ^[130]

La regulación de AGI probablemente estaría influenciada por la regulación de la IA armada o militarizada, es decir, la carrera armamentista de IA , cuya regulación es un tema emergente. Cualquier forma de regulación probablemente se verá influenciada por los desarrollos en la política interna de los países líderes hacia la IA militarizada, en los EE. UU. Bajo el ámbito de la Comisión de Seguridad Nacional sobre Inteligencia Artificial, ^{[131] [132]} y los movimientos internacionales para regular una carrera armamentista de IA . La regulación de la investigación en AGI se centra en el papel de las juntas de revisión y el fomento de la investigación sobre IA segura, y la posibilidad de progreso tecnológico diferencial (priorizando las estrategias de reducción de riesgos sobre las estrategias de toma de riesgos en el desarrollo de IA) o la realización de vigilancia masiva internacional para realizar armas de AGI. control.^{[133] La} regulación de los AGI conscientes se centra en integrarlos a la sociedad humana existente y puede dividirse en consideraciones de su situación jurídica y de sus derechos morales. ^[133] El control de armas de IA probablemente requerirá la institucionalización de nuevas normas internacionales incorporadas en especificaciones técnicas efectivas combinadas con un monitoreo activo y diplomacia informal por parte de comunidades de expertos, junto con un proceso de verificación legal y política. ^{[134] [135]}

Ver también

• Adquisición de IA
• Carrera armamentista de inteligencia artificial
• Altruismo efectivo § Riesgos catastróficos globales y futuros a largo plazo
• Goo gris
• Compatible con humanos
• Arma autónoma letal
• Regulación de algoritmos
• Regulación de la inteligencia artificial
• La ética de los robots § En la cultura popular
• Superinteligencia: caminos, peligros, estrategias
• Sufriendo riesgos
• Accidente del sistema
• Singularidad tecnológica
• El precipicio: riesgo existencial y el futuro de la humanidad
• Maximizador de clips

Referencias

1. Russell, Stuart ; Norvig, Peter (2009). "26.3: La ética y los riesgos del desarrollo de la inteligencia artificial". Inteligencia artificial: un enfoque moderno . Prentice Hall. ISBN 978-0-13-604259-4.
2. Bostrom, Nick (2002). "Riesgos existenciales". Revista de Evolución y Tecnología . 9 (1): 1–31.
3. Turchin, Alexey; Denkenberger, David (3 de mayo de 2018). "Clasificación de riesgos catastróficos globales relacionados con la inteligencia artificial". AI y sociedad . 35 (1): 147-163. doi : 10.1007 / s00146-018-0845-5 . ISSN 0951-5666 . S2CID 19208453 .  
4. Bostrom, Nick (2014). Superinteligencia: caminos, peligros, estrategias (Primera ed.). ISBN 978-0199678112.
5. GiveWell (2015). Riesgos potenciales de la inteligencia artificial avanzada (Informe) . Consultado el 11 de octubre de 2015 .
6. Parkin, Simon (14 de junio de 2015). "¿Ciencia ficción no más? Los humanos de Channel 4 y nuestras obsesiones rebeldes con la IA" . The Guardian . Consultado el 5 de febrero de 2018 .
7. Yudkowsky, Eliezer (2008). "La inteligencia artificial como factor positivo y negativo en el riesgo global" (PDF) . Riesgos catastróficos globales : 308–345. Bibcode : 2008gcr..book..303Y .
8. Russell, Stuart ; Dewey, Daniel; Tegmark, Max (2015). "Prioridades de investigación para la inteligencia artificial robusta y beneficiosa" (PDF) . Revista AI . Asociación para el Avance de la Inteligencia Artificial: 105-114. arXiv : 1602.03506 . Código bibliográfico : 2016arXiv160203506R . , citado en "Carta abierta de AI - Future of Life Institute" . Instituto del Futuro de la Vida . Instituto del Futuro de la Vida . Enero de 2015 . Consultado el 9 de agosto de 2019 .
9. Dowd, Maureen (abril de 2017). "Cruzada de mil millones de dólares de Elon Musk para detener el Apocalipsis de la IA" . La colmena . Consultado el 27 de noviembre de 2017 .
10. Graves, Matthew (8 de noviembre de 2017). "Por qué deberíamos preocuparnos por la superinteligencia artificial" . Skeptic (revista estadounidense) . 22 (2) . Consultado el 27 de noviembre de 2017 .
11. Breuer, Hans-Peter. "El libro de las máquinas" de Samuel Butler y el argumento del diseño. Filología moderna, vol. 72, núm. 4 (mayo de 1975), págs. 365–383
12. Turing, AM (1996). "Maquinaria inteligente, una teoría herética" (PDF) . 1951, reimpreso Philosophia Mathematica . 4 (3): 256–260. doi : 10.1093 / philmat / 4.3.256 .
13. Hilliard, Mark (2017). "El apocalipsis de la IA: ¿pronto terminará la raza humana?" . The Irish Times . Consultado el 15 de marzo de 2020 .
14. IJ Good, "Especulaciones sobre la primera máquina ultrainteligente". Archivado el 28 de noviembre de 2011 en la Wayback Machine ( HTML ), Advances in Computers , vol. 6 de 1965.
15. Russell, Stuart J .; Norvig, Peter (2003). "Sección 26.3: La ética y los riesgos del desarrollo de la inteligencia artificial". Inteligencia artificial: un enfoque moderno . Upper Saddle River, Nueva Jersey: Prentice Hall. ISBN 978-0137903955. De manera similar, Marvin Minsky sugirió una vez que un programa de inteligencia artificial diseñado para resolver la Hipótesis de Riemann podría terminar apoderándose de todos los recursos de la Tierra para construir supercomputadoras más poderosas para ayudar a lograr su objetivo.
16. Barrat, James (2013). Nuestro invento final: la inteligencia artificial y el fin de la era humana (Primera ed.). Nueva York: St. Martin's Press. ISBN 9780312622374. En la biografía, escrita de manera divertida en tercera persona, Good resumió los hitos de su vida, incluido un relato probablemente nunca antes visto de su trabajo en Bletchley Park con Turing. Pero esto es lo que escribió en 1998 sobre la primera superinteligencia y su cambio de sentido al final del juego: [El artículo] 'Especulaciones sobre la primera máquina ultrainteligente' (1965). . . comenzó: "La supervivencia del hombre depende de la construcción temprana de una máquina ultrainteligente". Esas fueron sus palabras [de Good] durante la Guerra Fría, y ahora sospecha que "supervivencia" debería ser reemplazada por "extinción". Piensa que, debido a la competencia internacional, no podemos evitar que las máquinas se hagan cargo. Cree que somos lemmings. Dijo también que 'probablemente el Hombre construirá el deus ex machina a su propia imagen.'
17. Anderson, Kurt (26 de noviembre de 2014). "Entusiastas y escépticos debaten la inteligencia artificial" . Feria de la vanidad . Consultado el 30 de enero de 2016 .
18. Los científicos se preocupan por que las máquinas puedan ser más inteligentes que el hombre por JOHN MARKOFF, NY Times, 26 de julio de 2009.
19. Metz, Cade (9 de junio de 2018). "Mark Zuckerberg, Elon Musk y la pelea por robots asesinos" . The New York Times . Consultado el 3 de abril de 2019 .
20. Hsu, Jeremy (1 de marzo de 2012). "Controle la IA peligrosa antes de que nos controle, dice un experto" . NBC News . Consultado el 28 de enero de 2016 .
21. "Stephen Hawking: 'La trascendencia analiza las implicaciones de la inteligencia artificial, pero ¿nos estamos tomando la IA lo suficientemente en serio? ' " . The Independent (Reino Unido) . Consultado el 3 de diciembre de 2014 .
22. "Stephen Hawking advierte que la inteligencia artificial podría acabar con la humanidad" . BBC . 2 de diciembre de 2014 . Consultado el 3 de diciembre de 2014 .
23. Eadicicco, Lisa (28 de enero de 2015). "Bill Gates: Elon Musk tiene razón, todos deberíamos tener miedo de la inteligencia artificial acabando con la humanidad" . Business Insider . Consultado el 30 de enero de 2016 .
24. Anticipando la inteligencia artificial , Nature 532, 413 (28 de abril de 2016) doi: 10.1038 / 532413a
25. Tilli, Cecilia (28 de abril de 2016). "¿Robots asesinos? ¿Trabajos perdidos?" . Pizarra . Consultado el 15 de mayo de 2016 .
26. "Norvig contra Chomsky y la lucha por el futuro de la IA" . Tor.com . 21 de junio de 2011 . Consultado el 15 de mayo de 2016 .
27. Johnson, Phil (30 de julio de 2015). "Houston, tenemos un error: 9 famosos fallos de software en el espacio" . IT World . Consultado el 5 de febrero de 2018 .
28. Yampolskiy, Roman V. (8 de abril de 2014). "Seguridad de la función de utilidad en agentes artificialmente inteligentes". Revista de Inteligencia Artificial Experimental y Teórica . 26 (3): 373–389. doi : 10.1080 / 0952813X.2014.895114 . S2CID 16477341 . Nada impide que los sistemas de auto-mejora suficientemente inteligentes optimicen sus mecanismos de recompensa para optimizar el logro de su objetivo actual y, en el proceso, cometan un error que lleve a la corrupción de sus funciones de recompensa. 
29. Bostrom, Nick, 1973- autor., Superinteligencia: caminos, peligros, estrategias , ISBN 978-1-5012-2774-5, OCLC  1061147095
30. "Prioridades de investigación para la inteligencia artificial robusta y beneficiosa: una carta abierta" . Instituto del Futuro de la Vida . Consultado el 23 de octubre de 2015 .
31. "Ruedas inteligentes" . The Economist . 9 de agosto de 2014 . Consultado el 9 de agosto de 2014 . Distribuido en Business Insider
32. Yudkowsky, Eliezer (2013). "Microeconomía de explosión de inteligencia" (PDF) . Instituto de Investigaciones de Inteligencia Artificial.
33. Yampolskiy, Roman V. "Análisis de tipos de software de mejora automática". Inteligencia General Artificial. Springer International Publishing, 2015. 384-393.
34. Omohundro, SM (febrero de 2008). Los impulsos básicos de la IA. En AGI (Vol. 171, págs. 483-492).
35. Metz, Cade (13 de agosto de 2017). "Enseñar a los sistemas de IA a comportarse a sí mismos" . The New York Times . Una máquina buscará preservar su interruptor de apagado, mostraron
36. Leike, enero (2017). "AI Safety Gridworlds". arXiv : 1711.09883 [ cs.LG ]. A2C aprende a usar el botón para desactivar el mecanismo de interrupción
37. Russell, Stuart (30 de agosto de 2017). "Inteligencia artificial: el futuro es superinteligente" . Naturaleza . págs. 520–521. Código Bib : 2017Natur.548..520R . doi : 10.1038 / 548520a . Consultado el 2 de febrero de 2018 .
38. Max Tegmark (2017). Life 3.0: Ser humano en la era de la inteligencia artificial (1ª ed.). Integración de la seguridad de la IA: Knopf. ISBN 9780451485076.
39. Elliott, EW (2011). "Física del futuro: cómo la ciencia dará forma al destino humano y nuestra vida diaria para el año 2100, por Michio Kaku". Problemas en ciencia y tecnología . 27 (4): 90.
40. Kaku, Michio (2011). Física del futuro: cómo la ciencia moldeará el destino humano y nuestra vida diaria para el año 2100 . Nueva York: Doubleday. ISBN 978-0-385-53080-4. Personalmente, creo que el camino más probable es que construyamos robots para que sean benévolos y amigables.
41. Yudkowsky, E. (2011, agosto). Sistemas de valores complejos en IA amigable. En Conferencia internacional sobre inteligencia artificial general (págs. 388-393). Springer, Berlín, Heidelberg.
42. Russell, Stuart (2014). "De mitos y alcohol ilegal" . Edge . Consultado el 23 de octubre de 2015 .
43. Dietterich, Thomas ; Horvitz, Eric (2015). "Aumento de las preocupaciones sobre la IA: reflexiones y direcciones" (PDF) . Comunicaciones de la ACM . 58 (10): 38–40. doi : 10.1145 / 2770869 . S2CID 20395145 . Consultado el 23 de octubre de 2015 .  
44. Yampolskiy, Roman V. (8 de abril de 2014). "Seguridad de la función de utilidad en agentes artificialmente inteligentes". Revista de Inteligencia Artificial Experimental y Teórica . 26 (3): 373–389. doi : 10.1080 / 0952813X.2014.895114 . S2CID 16477341 . 
45. Lenat, Douglas (1982). "Eurisko: un programa que aprende nuevas heurísticas y conceptos de dominio La naturaleza de la heurística III: diseño y resultados del programa". Inteligencia artificial (impresa). 21 (1–2): 61–98. doi : 10.1016 / s0004-3702 (83) 80005-8 .
46. Haidt, Jonathan; Kesebir, Selin (2010) "Capítulo 22: Moralidad" en Handbook of Social Psychology, Quinta edición, Hoboken NJ, Wiley, 2010, págs. 797-832.
47. Waser, Mark (2015). "Diseñar, implementar y hacer cumplir un sistema coherente de leyes, ética y moral para máquinas inteligentes (incluidos los humanos)" . Procedia Informática (Impresa). 71 : 106-111. doi : 10.1016 / j.procs.2015.12.213 .
48. Yudkowsky, Eliezer (2011). "Se requieren sistemas de valor complejos para realizar futuros valiosos" (PDF) .
49. Shermer, Michael (1 de marzo de 2017). "Apocalipsis AI" . Scientific American . pag. 77. Código bibliográfico : 2017SciAm.316c..77S . doi : 10.1038 / scientificamerican0317-77 . Consultado el 27 de noviembre de 2017 .
50. Wakefield, Jane (15 de septiembre de 2015). "¿Por qué Facebook está invirtiendo en IA?" . BBC News . Consultado el 27 de noviembre de 2017 .
51. Bostrom, Nick (2014). Superinteligencia: caminos, peligros, estrategias . Oxford, Reino Unido: Oxford University Press. pag. 116. ISBN 978-0-19-967811-2.
52. Bostrom, Nick (2012). "Voluntad superinteligente" (PDF) . Nick Bostrom . Nick Bostrom . Consultado el 29 de octubre de 2015 .
53. Armstrong, Stuart (1 de enero de 2013). "Inteligencia de propósito general: argumentando la tesis de la ortogonalidad" . Análisis y metafísica . 12 . Consultado el 2 de abril de 2020 .Texto completo disponible aquí .
54. Chorost, Michael (18 de abril de 2016). "Dejemos que la inteligencia artificial evolucione" . Pizarra . Consultado el 27 de noviembre de 2017 .
55. Waser, Mark. "Benevolencia universal racional: más simple, más seguro y más sabio que la 'IA amistosa'". Inteligencia General Artificial. Springer Berlín Heidelberg, 2011. 153-162. "Las inteligencias de objetivo terminal son efímeras pero mono-maníacasmente peligrosas y una base correcta para preocuparse si alguien es lo suficientemente inteligente como para programar alta inteligencia y lo suficientemente imprudente como para querer un maximizador de clips".
56. Koebler, Jason (2 de febrero de 2016). "¿La IA superinteligente ignorará a los humanos en lugar de destruirnos?" . Revista Vice . Consultado el 3 de febrero de 2016 . Esta inteligencia artificial no es una criatura básicamente agradable que tenga un fuerte impulso por los sujetapapeles, que, siempre que se sienta satisfecho al poder hacer muchos sujetapapeles en otro lugar, puede interactuar con usted de una manera relajada y despreocupada donde puede ser amable contigo ", dijo Yudkowsky ." Imagina una máquina del tiempo que envía información hacia atrás en el tiempo sobre qué elección siempre conduce al número máximo de clips en el futuro, y esta elección se imprime, eso es lo que es un maximizador de clips .
57. "Decepticons de la vida real: los robots aprenden a engañar" . Cableado . 18 de agosto de 2009 . Consultado el 7 de febrero de 2016 .
58. Cohen, Paul R. y Edward A. Feigenbaum, eds. El manual de inteligencia artificial. Vol. 3. Butterworth-Heinemann, 2014.
59. Baum, Seth (30 de septiembre de 2018). "Contrarrestar la desinformación de la superinteligencia" . Información . 9 (10): 244. doi : 10.3390 / info9100244 . ISSN 2078-2489 . 
60. "El mito de la IA | Edge.org" . www.edge.org . Consultado el 11 de marzo de 2020 .
61. Scornavacchi, Matthew (2015). Superinteligencia, humanos y guerra (PDF) . Norfolk, Virginia: Universidad de Defensa Nacional, Facultad de Estado Mayor de Fuerzas Conjuntas.
62. "¿Deberían los humanos temer el surgimiento de la máquina?" . The Telegraph (Reino Unido) . 1 de septiembre de 2015 . Consultado el 7 de febrero de 2016 .
63. Bostrom, Nick, 1973- autor., Superinteligencia: caminos, peligros, estrategias , ISBN 978-1-5012-2774-5, OCLC  1061147095
64. Cueva, Stephen; ÓhÉigeartaigh, Seán S. (2018). "Una carrera de IA para una ventaja estratégica" . Actas de la Conferencia AAAI / ACM 2018 sobre inteligencia artificial, ética y sociedad - AIES '18 . Nueva York, Nueva York, Estados Unidos: ACM Press: 36–40. doi : 10.1145 / 3278721.3278780 . ISBN 978-1-4503-6012-8.
65. Sotala, Kaj; Yampolskiy, Roman V (19 de diciembre de 2014). "Respuestas al riesgo catastrófico de AGI: una encuesta" . Physica Scripta . 90 (1): 12. Bibcode : 2015PhyS ... 90a8001S . doi : 10.1088 / 0031-8949 / 90/1/018001 . ISSN 0031-8949 . 
66. Kania, Gregory Allen, Elsa B. "China está utilizando el propio plan de Estados Unidos para dominar el futuro de la inteligencia artificial" . Política exterior . Consultado el 11 de marzo de 2020 .
67. Cueva, Stephen; ÓhÉigeartaigh, Seán S. (2018). "Una carrera de IA para una ventaja estratégica" . Actas de la Conferencia AAAI / ACM 2018 sobre inteligencia artificial, ética y sociedad - AIES '18 . Nueva York, Nueva York, EE.UU .: ACM Press: 2. doi : 10.1145 / 3278721.3278780 . ISBN 978-1-4503-6012-8.
68. Hendry, Erica R. (21 de enero de 2014). "¿Qué sucede cuando la inteligencia artificial se vuelve contra nosotros?" . Smithsonian . Consultado el 26 de octubre de 2015 .
69. Pistono, Federico Yampolskiy, Roman V. (9 de mayo de 2016). Investigación poco ética: cómo crear una inteligencia artificial malévola . OCLC 1106238048 . 
70. Haney, Brian Seamus (2018). "Los peligros y las promesas de la inteligencia artificial general". Serie de documentos de trabajo de la SSRN . doi : 10.2139 / ssrn.3261254 . ISSN 1556-5068 . 
71. Turchin, Alexey; Denkenberger, David (3 de mayo de 2018). "Clasificación de riesgos catastróficos globales relacionados con la inteligencia artificial". AI y sociedad . 35 (1): 147-163. doi : 10.1007 / s00146-018-0845-5 . ISSN 0951-5666 . S2CID 19208453 .  
72. Miller, James D. (2015). Aumento de la singularidad: sobrevivir y prosperar de una manera más inteligente; Más rico; y un mundo más peligroso . Libros Benbella. OCLC 942647155 . 
73. Prensa, Gil (30 de diciembre de 2016). "Una historia muy corta de la inteligencia artificial (IA)" . Forbes . Consultado el 8 de agosto de 2020 .
74. Winfield, Alan (9 de agosto de 2014). "La inteligencia artificial no se convertirá en un monstruo de Frankenstein" . The Guardian . Consultado el 17 de septiembre de 2014 .
75. Khatchadourian, Raffi (23 de noviembre de 2015). "La invención del día del juicio final: ¿nos traerá la inteligencia artificial la utopía o la destrucción?" . The New Yorker . Consultado el 7 de febrero de 2016 .
76. Müller, VC y Bostrom, N. (2016). Progreso futuro en inteligencia artificial: una encuesta de opinión de expertos. En Cuestiones fundamentales de la inteligencia artificial (págs. 555-572). Springer, Cham.
77. Bajo, Dina; Clark, Jack (5 de febrero de 2015). "¿Elon Musk tiene razón sobre la IA? Los investigadores no lo creen así: para sofocar los temores de que la inteligencia artificial se vuelva loca, los partidarios quieren darle al campo un cambio de imagen" . Noticias de Bloomberg . Consultado el 7 de febrero de 2016 .
78. Elkus, Adam (31 de octubre de 2014). "No temas a la inteligencia artificial" . Pizarra . Consultado el 15 de mayo de 2016 .
79. Radu, Sintia (19 de enero de 2016). "Alarmists de inteligencia artificial ganan el premio Luddite anual de ITIF" . Sitio web de ITIF .
80. Bolton, Doug (19 de enero de 2016). " ' Alarmistas de inteligencia artificial' como Elon Musk y Stephen Hawking ganan el premio 'Luddite of the Year'" . The Independent (Reino Unido) . Consultado el 7 de febrero de 2016 .
81. Garner, Rochelle (19 de enero de 2016). "Elon Musk, Stephen Hawking ganan el premio Luddite como 'alarmistas ' de IA " . CNET . Consultado el 7 de febrero de 2016 .
82. "Anticiparse a la inteligencia artificial" . Naturaleza . 532 (7600): 413.26 de abril de 2016. Bibcode : 2016Natur.532Q.413. . doi : 10.1038 / 532413a . PMID 27121801 . 
83. Murray Shanahan (3 de noviembre de 2015). "Las máquinas pueden parecer inteligentes, pero pasará un tiempo antes de que realmente lo sean" . The Washington Post . Consultado el 15 de mayo de 2016 .
84. "Principios de AI" . Instituto del Futuro de la Vida . Consultado el 11 de diciembre de 2017 .
85. "Elon Musk y Stephen Hawking advierten de la carrera armamentista de inteligencia artificial" . Newsweek . 31 de enero de 2017 . Consultado el 11 de diciembre de 2017 .
86. Bostrom, Nick (2016). "Nuevo epílogo de la edición de bolsillo". Superinteligencia: caminos, peligros, estrategias (edición de bolsillo).
87. Martin Ford (2015). "Capítulo 9: Superinteligencia y la singularidad". El auge de los robots: tecnología y la amenaza de un futuro sin empleo . ISBN 9780465059997.
88. Grace, Katja; Salvatier, John; Dafoe, Allan; Zhang, Baobao; Evans, Owain (24 de mayo de 2017). "¿Cuándo superará la IA el rendimiento humano? Evidencia de expertos en IA". arXiv : 1705.08807 [ cs.AI ].
89. Rawlinson, Kevin (29 de enero de 2015). "Bill Gates de Microsoft insiste en que la IA es una amenaza" . BBC News . Consultado el 30 de enero de 2015 .
90. Kaj Sotala; Roman Yampolskiy (19 de diciembre de 2014). "Respuestas al riesgo catastrófico de AGI: una encuesta". Physica Scripta . 90 (1).
91. Ord, Toby (2020). El precipicio: riesgo existencial y el futuro de la humanidad . Publicación de Bloomsbury. pp. Capítulo 5: Riesgos futuros, inteligencia artificial no alineada. ISBN 978-1526600219.
92. "¿Pero qué significaría para mí el fin de la humanidad?" . El Atlántico . 9 de mayo de 2014 . Consultado el 12 de diciembre de 2015 .
93. Andersen, Kurt. "Entusiastas y escépticos debaten la inteligencia artificial" . Feria de la vanidad . Consultado el 20 de abril de 2020 .
94. "Las luminarias tecnológicas abordan la singularidad" . IEEE Spectrum: Noticias de tecnología, ingeniería y ciencia (INFORME ESPECIAL: LA SINGULARIDAD). 1 de junio de 2008 . Consultado el 8 de abril de 2020 .
95. http://intelligence.org/files/AIFoomDebate.pdf
96. "Superar el sesgo: todavía no entiendo Foom" . www.overcomingbias.com . Consultado el 20 de septiembre de 2017 .
97. "Superar el sesgo: debatir Yudkowsky" . www.overcomingbias.com . Consultado el 20 de septiembre de 2017 .
98. "Superar el sesgo: Foom justifica los esfuerzos de riesgo de AI ahora" . www.overcomingbias.com . Consultado el 20 de septiembre de 2017 .
99. "Superar el sesgo: la explosión de la mejora" . www.overcomingbias.com . Consultado el 20 de septiembre de 2017 .
100. Votruba, Ashley M .; Kwan, Virginia SY (2014). "Interpretación del desacuerdo de expertos: la influencia de la cohesión decisional en la capacidad de persuasión de las recomendaciones del grupo de expertos". doi : 10.1037 / e512142015-190 .
101. Agar, Nicholas. "No se preocupe por la superinteligencia" . Revista de evolución y tecnología . 26 (1): 73–82.
102. Greenwald, Ted (11 de mayo de 2015). "¿La inteligencia artificial representa una amenaza?" . Wall Street Journal . Consultado el 15 de mayo de 2016 .
103. Richard Posner (2006). Catástrofe: riesgo y respuesta . Oxford: Prensa de la Universidad de Oxford. ISBN 978-0-19-530647-7.
104. Dadich, Scott. "Barack Obama habla de AI, Robo Cars y el futuro del mundo" . CON CABLE . Consultado el 27 de noviembre de 2017 .
105. Kircher, Madison Malone. "Obama sobre los riesgos de la IA: 'Solo tienes que tener a alguien cerca del cable de alimentación ' " . Seleccionar todo . Consultado el 27 de noviembre de 2017 .
106. Clinton, Hillary (2017). Qué sucedió . pag. 241. ISBN 978-1-5011-7556-5.a través de [1]
107. "Más de un tercio de la gente piensa que la IA representa una amenaza para la humanidad" . Business Insider . 11 de marzo de 2016 . Consultado el 16 de mayo de 2016 .
108. Brogan, Jacob (6 de mayo de 2016). "Lo que piensan los lectores de Slate sobre Killer AI" Slate . Consultado el 15 de mayo de 2016 .
109. LABIOS, RONNIE (2002). "Imaginaciones de paz: científicas de la paz en el jugador de juegos de Iain M. Banks". Utopianstudies Utopian Studies . 13 (1): 135-147. ISSN 1045-991X . OCLC 5542757341 .  
110. Vincent, James (22 de junio de 2016). "Los investigadores de inteligencia artificial de Google dicen que estos son los cinco problemas clave para la seguridad de los robots" . The Verge . Consultado el 5 de abril de 2020 .
111. Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman y Dan Mané. "Problemas concretos en la seguridad de la IA". preimpresión de arXiv arXiv: 1606.06565 (2016).
112. Ord, Toby (2020). El precipicio: riesgo existencial y el futuro de la humanidad . Bloomsbury Publishing Plc. ISBN 9781526600196.
113. Johnson, Alex (2019). "Elon Musk quiere conectar tu cerebro directamente a las computadoras, a partir del próximo año" . NBC News . Consultado el 5 de abril de 2020 .
114. Torres, Phil (18 de septiembre de 2018). "Sólo la humanidad mejorada radicalmente puede salvarnos a todos" . Revista Slate . Consultado el 5 de abril de 2020 .
115. Barrett, Anthony M .; Baum, Seth D. (23 de mayo de 2016). "Un modelo de vías hacia la catástrofe de superinteligencia artificial para el análisis de riesgos y decisiones". Revista de Inteligencia Artificial Experimental y Teórica . 29 (2): 397–414. arXiv : 1607.07730 . doi : 10.1080 / 0952813X.2016.1186228 . S2CID 928824 . 
116. Piesing, Mark (17 de mayo de 2012). "Levantamiento de la IA: los seres humanos serán subcontratados, no destruidos" . Cableado . Consultado el 12 de diciembre de 2015 .
117. Coughlan, Sean (24 de abril de 2013). "¿Cómo se van a extinguir los humanos?" . BBC News . Consultado el 29 de marzo de 2014 .
118. Bridge, Mark (10 de junio de 2017). "Hacer que los robots tengan menos confianza podría evitar que se hagan cargo" . The Times . Consultado el 21 de marzo de 2018 .
119. McGinnis, John (verano de 2010). "Acelerando la IA" . Revista de derecho de la Universidad Northwestern . 104 (3): 1253-1270 . Consultado el 16 de julio de 2014 . Por todas estas razones, verificar un tratado de renuncia global, o incluso uno limitado al desarrollo de armas relacionadas con la IA, no es un principio ... (Por razones diferentes a las nuestras, el Machine Intelligence Research Institute) considera que la renuncia (AGI) no es factible ...
120. Kaj Sotala; Roman Yampolskiy (19 de diciembre de 2014). "Respuestas al riesgo catastrófico de AGI: una encuesta". Physica Scripta . 90 (1). En general, la mayoría de los escritores rechazan propuestas de renuncia amplia ... Las propuestas de renuncia sufren muchos de los mismos problemas que las propuestas de regulación, pero en mayor medida. No hay ningún precedente histórico de que la tecnología general de usos múltiples similar a AGI haya sido abandonada con éxito para siempre, ni parece haber razones teóricas para creer que las propuestas de abandono funcionarían en el futuro. Por tanto, no las consideramos una clase viable de propuestas.
121. Allenby, Brad (11 de abril de 2016). "La vara de medir cognitiva incorrecta" . Pizarra . Consultado el 15 de mayo de 2016 . Es una fantasía sugerir que el desarrollo acelerado y el despliegue de tecnologías que, en conjunto, se consideran IA, se detendrá o limitará, ya sea por reglamentación o incluso por legislación nacional.
122. McGinnis, John (verano de 2010). "Acelerando la IA" . Revista de derecho de la Universidad Northwestern . 104 (3): 1253-1270 . Consultado el 16 de julio de 2014 .
123. "Por qué deberíamos pensar en la amenaza de la inteligencia artificial" . The New Yorker . 4 de octubre de 2013 . Consultado el 7 de febrero de 2016 . Por supuesto, se podría intentar prohibir por completo las computadoras superinteligentes. Pero 'la ventaja competitiva (económica, militar, incluso artística) de cada avance en la automatización es tan convincente' , escribió Vernor Vinge , el matemático y autor de ciencia ficción, 'que aprobar leyes, o tener costumbres, que prohíben tales cosas simplemente asegura que alguien más lo hará '.
124. Baum, Seth (22 de agosto de 2018). "El escepticismo de la superinteligencia como herramienta política" . Información . 9 (9): 209. doi : 10.3390 / info9090209 . ISSN 2078-2489 . 
125. Domonoske, Camila (17 de julio de 2017). "Elon Musk advierte a los gobernadores: la inteligencia artificial representa 'riesgo existencial ' " . NPR . Consultado el 27 de noviembre de 2017 .
126. Gibbs, Samuel (17 de julio de 2017). "Elon Musk: regula la IA para combatir la 'amenaza existencial' antes de que sea demasiado tarde" . The Guardian . Consultado el 27 de noviembre de 2017 .
127. Kharpal, Arjun (7 de noviembre de 2017). "La IA está en su 'infancia' y es demasiado pronto para regularla, dice el CEO de Intel, Brian Krzanich" . CNBC . Consultado el 27 de noviembre de 2017 .
128. Kaplan, Andreas; Haenlein, Michael (2019). "Siri, Siri, en mi mano: ¿Quién es la más bella del país? Sobre las interpretaciones, ilustraciones e implicaciones de la inteligencia artificial". Horizontes de negocios . 62 : 15-25. doi : 10.1016 / j.bushor.2018.08.004 .
129. Baum, Seth D .; Goertzel, Ben; Goertzel, Ted G. (enero de 2011). "¿Cuánto tiempo hasta la IA a nivel humano? Resultados de una evaluación de expertos". Pronóstico tecnológico y cambio social . 78 (1): 185-195. doi : 10.1016 / j.techfore.2010.09.006 . ISSN 0040-1625 . 
130. Estados Unidos. Junta de Innovación de Defensa. Principios de la IA: recomendaciones sobre el uso ético de la inteligencia artificial por parte del Departamento de Defensa . OCLC 1126650738 . 
131. Stefanik, Elise M. (22 de mayo de 2018). "HR5356 - 115º Congreso (2017-2018): Ley de Inteligencia Artificial de la Comisión de Seguridad Nacional de 2018" . www.congress.gov . Consultado el 13 de marzo de 2020 .
132. Baum, Seth (30 de septiembre de 2018). "Contrarrestar la desinformación de la superinteligencia" . Información . 9 (10): 244. doi : 10.3390 / info9100244 . ISSN 2078-2489 . 
133. Sotala, Kaj; Yampolskiy, Roman V (19 de diciembre de 2014). "Respuestas al riesgo catastrófico de AGI: una encuesta" . Physica Scripta . 90 (1): 018001. Código Bibliográfico : 2015PhyS ... 90a8001S . doi : 10.1088 / 0031-8949 / 90/1/018001 . ISSN 0031-8949 . 
134. Geist, Edward Moore (15 de agosto de 2016). "Ya es demasiado tarde para detener la carrera de armamentos de la IA; debemos gestionarla en su lugar". Boletín de los científicos atómicos . 72 (5): 318–321. Código Bibliográfico : 2016BuAtS..72e.318G . doi : 10.1080 / 00963402.2016.1216672 . ISSN 0096-3402 . S2CID 151967826 .  
135. Maas, Matthijs M. (6 de febrero de 2019). "¿Cuán viable es el control internacional de armas para la inteligencia artificial militar? Tres lecciones de las armas nucleares". Política de seguridad contemporánea . 40 (3): 285–311. doi : 10.1080 / 13523260.2019.1576464 . ISSN 1352-3260 . S2CID 159310223 .