Selección de acción

La selección de acciones es una forma de caracterizar el problema más básico de los sistemas inteligentes: qué hacer a continuación. En la inteligencia artificial y la ciencia cognitiva computacional , "el problema de la selección de acciones" se asocia típicamente con agentes inteligentes y animales, sistemas artificiales que exhiben un comportamiento complejo en un entorno de agentes . El término también se usa a veces en etología o comportamiento animal.

Un problema para comprender la selección de acciones es determinar el nivel de abstracción utilizado para especificar un "acto". En el nivel más básico de abstracción, un acto atómico podría ser cualquier cosa, desde contraer una célula muscular hasta provocar una guerra . Normalmente, para cualquier mecanismo de selección de acciones, el conjunto de acciones posibles está predefinido y fijo.

La mayoría de los investigadores que trabajan en este campo imponen grandes exigencias a sus agentes:

• El agente que actúa normalmente debe seleccionar su acción en entornos dinámicos e impredecibles .
• Los agentes suelen actuar en tiempo real ; por lo tanto, deben tomar decisiones de manera oportuna.
• Los agentes se crean normalmente para realizar varias tareas diferentes. Estas tareas pueden entrar en conflicto para la asignación de recursos (por ejemplo, ¿puede el agente apagar un fuego y entregar una taza de café al mismo tiempo?)
• El entorno en el que operan los agentes puede incluir seres humanos , que pueden hacer las cosas más difíciles para el agente (ya sea intencionalmente o intentando ayudar).
• Los agentes en sí mismos a menudo están destinados a modelar animales o humanos, y el comportamiento animal / humano es bastante complicado.

Por estas razones, la selección de acciones no es trivial y atrae mucha investigación.

Características del problema de selección de acciones

El principal problema para la selección de acciones es la complejidad . Dado que todos los cálculos toman tiempo y espacio (en la memoria), los agentes no pueden considerar todas las opciones disponibles en cada instante. En consecuencia, deben estar sesgados y restringir su búsqueda de alguna manera. Para la IA, la cuestión de la selección de acciones es ¿cuál es la mejor manera de restringir esta búsqueda ? Para la biología y la etología, la pregunta es ¿cómo los distintos tipos de animales limitan su búsqueda? ¿Todos los animales utilizan los mismos enfoques? ¿Por qué usan los que usan?

Una cuestión fundamental sobre la selección de acciones es si realmente es un problema para un agente o si es simplemente una descripción de una propiedad emergente del comportamiento de un agente inteligente. Sin embargo, si consideramos cómo vamos a construir un agente inteligente, entonces resulta evidente que debe haber algún mecanismo para la selección de acciones. Este mecanismo puede estar muy distribuido (como en el caso de organismos distribuidos como colonias de insectos sociales o moho de lodo ) o puede ser un módulo de propósito especial.

El mecanismo de selección de acciones (ASM) determina no solo las acciones del agente en términos de impacto en el mundo, sino que también dirige su atención perceptiva y actualiza su memoria . Este tipo de acciones egocéntricas pueden, a su vez, resultar en la modificación de las capacidades conductuales básicas del agente, particularmente porque la actualización de la memoria implica que es posible alguna forma de aprendizaje automático . Idealmente, la selección de acciones en sí también debería ser capaz de aprender y adaptarse, pero existen muchos problemas de complejidad combinatoria y manejabilidad computacional que pueden requerir restringir el espacio de búsqueda para el aprendizaje.

En IA, a veces también se hace referencia a un ASM como una arquitectura de agente o se considera una parte sustancial de uno.

Mecanismos de IA

Generalmente, los mecanismos de selección de acciones artificiales se pueden dividir en varias categorías: sistemas basados ​​en símbolos a veces conocidos como planificación clásica, soluciones distribuidas y planificación reactiva o dinámica . Algunos enfoques no se incluyen claramente en ninguna de estas categorías. Otros se centran más en proporcionar modelos científicos que en un control práctico de la IA; estos últimos se describen con más detalle en la siguiente sección.

Enfoques simbólicos

Artículo principal: planificación y programación automatizadas

Al principio de la historia de la inteligencia artificial , se asumió que la mejor manera de que un agente eligiera qué hacer a continuación sería calcular un plan probablemente óptimo y luego ejecutar ese plan. Esto llevó a la hipótesis del sistema de símbolos físicos , que un agente físico que puede manipular símbolos es necesario y suficiente para la inteligencia. Muchos agentes de software todavía utilizan este enfoque para la selección de acciones. Normalmente requiere describir todas las lecturas de los sensores, el mundo, todas las acciones de uno y todos los objetivos de uno en alguna forma de lógica de predicados.. Los críticos de este enfoque se quejan de que es demasiado lento para la planificación en tiempo real y que, a pesar de las pruebas, es poco probable que produzca planes óptimos porque reducir las descripciones de la realidad a la lógica es un proceso propenso a errores.

Satisfactorio es una estrategia de toma de decisiones que intenta cumplir con los criterios de adecuación, en lugar de identificar una solución óptima. Una estrategia satisfactoria a menudo, de hecho, puede ser (casi) óptima si los costos del proceso de toma de decisiones en sí, como el costo de obtener información completa, se consideran en el cálculo de resultados.

Arquitecturas impulsadas por objetivos : en estas arquitecturas simbólicas , el comportamiento del agente se describe normalmente mediante un conjunto de objetivos. Cada objetivo puede lograrse mediante un proceso o una actividad, que se describe mediante un plan prescrito. El agente solo debe decidir qué proceso llevar a cabo para lograr un objetivo determinado. El plan puede expandirse a subobjetivos, lo que hace que el proceso sea ligeramente recursivo. Técnicamente, más o menos, los planes explotan las condiciones-reglas. Estas arquitecturas son reactivas o híbridas. Los ejemplos clásicos de arquitecturas impulsadas por objetivos son refinamientos implementables de la arquitectura creencia-deseo-intención como JAM o IVE .

Enfoques distribuidos

En contraste con el enfoque simbólico, los sistemas distribuidos de selección de acciones en realidad no tienen una "casilla" en el agente que decida la siguiente acción. Al menos en su forma idealizada, los sistemas distribuidos tienen muchos módulos que se ejecutan en paralelo y determinan la mejor acción en función de la experiencia local. En estos sistemas idealizados, se espera que surja la coherencia general de alguna manera, posiblemente a través del diseño cuidadoso de los componentes que interactúan. Este enfoque a menudo se inspira en la investigación de redes neuronales artificiales . En la práctica, casi siempre existe algún sistema centralizado que determina qué módulo es "el más activo" o tiene más relevancia. Hay evidencia de que los cerebros biológicos reales también tienen tales sistemas de decisión ejecutiva.que evalúan cuál de los sistemas en competencia merece la mayor atención , o más adecuadamente, tiene sus acciones deseadas desinhibidas .

• ASMO es una arquitectura basada en la atención desarrollada por Rony Novianto. ^[1] Orquesta una diversidad de procesos distribuidos modulares que pueden utilizar sus propias representaciones y técnicas para percibir el entorno, procesar información, planificar acciones y proponer acciones a realizar.
• Varios tipos de arquitecturas en las que el ganador se lleva todo , en las que la única acción seleccionada toma el control total del sistema motor.
• Activación de propagación que incluye Maes Nets (ANA)
• Extended Rosenblatt & Payton es una arquitectura de activación de difusión desarrollada por Toby Tyrrell en 1993. El comportamiento del agente se almacena en forma de una red de conexionismo jerárquico , que Tyrrell denominó jerarquía de flujo libre. Explotado recientemente, por ejemplo, por de Sevin & Thalmann (2005) o Kadleček (2001).
• La IA basada en el comportamiento fue una respuesta a la lentitud de los robots que utilizan técnicas de selección de acciones simbólicas. De esta forma, módulos separados responden a diferentes estímulos y generan sus propias respuestas. En la forma original, la arquitectura de subsunción , estos consistían en diferentes capas que podían monitorear y suprimir las entradas y salidas de cada uno.
• Las criaturas son mascotas virtuales de un juego de computadora impulsado por una red neuronal de tres capas, que es adaptativa. Su mecanismo es reactivo ya que la red en cada paso del tiempo determina la tarea que debe realizar la mascota. La red se describe bien en el artículo de Grand et al. (1997) y en The Creatures Developer Resources . Consulte también el Wiki de criaturas .

Enfoques de planificación dinámica

Debido a que los sistemas puramente distribuidos son difíciles de construir, muchos investigadores han recurrido al uso de planes explícitos codificados para determinar las prioridades de su sistema.

Los métodos de planificación dinámica o reactiva calculan solo una acción siguiente en cada instante en función del contexto actual y los planes preestablecidos. A diferencia de los métodos de planificación clásicos, los enfoques reactivos o dinámicos no sufren una explosión combinatoria . Por otro lado, a veces se los considera demasiado rígidos para ser considerados una IA fuerte , ya que los planes están codificados de antemano. Al mismo tiempo, la inteligencia natural puede ser rígida en algunos contextos aunque es fluida y capaz de adaptarse en otros.

Los ejemplos de mecanismos de planificación dinámica incluyen:

• Máquinas de estado finito Se trata dearquitecturas reactivas que se utilizan principalmente para agentes de juegos de ordenador, en particular para bots de disparos en primera personao actores de películas virtuales. Normalmente, las máquinas de estado son jerárquicas. Para ver ejemplos concretos de juegos, consulte el artículo sobre bots de Halo 2 de Damian Isla (2005) o la tesis de maestría sobre los bots de Quake III de Jan Paul van Waveren (2001). Para ver un ejemplo de película, consulte Softimage .
• Otros planes reactivos estructurados tienden a parecerse un poco más a los planes convencionales, a menudo con formas de representar la estructura jerárquica y secuencial . Algunos, como los 'actos' de PRS, tienen apoyo para planes parciales . ^[2] Muchas arquitecturas de agentes de mediados de la década de 1990 incluían planes como una "capa intermedia" que proporcionaba organización para módulos de comportamiento de bajo nivel mientras estaba dirigida por un planificador en tiempo real de nivel superior. A pesar de esta supuesta interoperabilidad con planificadores automatizados, la mayoría de los planes reactivos estructurados están codificados a mano (Bryson 2001, cap. 3). Ejemplos de planes reactivos estructurados incluyen el RAP de James FirbySistema y el Nils Nilsson 's planes Teleo reactivos . PRS, RAP y TRP ya no se desarrollan ni se admiten. Un descendiente todavía activo (a partir de 2006) de este enfoque es el sistema de selección de acciones jerárquicas (o POSH ) ordenadas con raíces paralelas , que forma parte del diseño orientado al comportamiento de Joanna Bryson.

A veces, para intentar abordar la inflexibilidad percibida de la planificación dinámica, se utilizan técnicas híbridas. En estos, un sistema de planificación de IA más convencional busca nuevos planes cuando el agente tiene tiempo libre y actualiza la biblioteca de planes dinámicos cuando encuentra buenas soluciones. El aspecto importante de cualquier sistema de este tipo es que cuando el agente necesita seleccionar una acción, existe alguna solución que se puede utilizar de inmediato (consulte el algoritmo en cualquier momento ).

Otros

• CogniTAO es un motor de toma de decisiones basado en BDI (creencia-deseo-intención) que incluye capacidades de trabajo en equipo integradas.
• Soar es una arquitectura cognitiva simbólica . Se basa en reglas de condición-acción conocidas como producciones . Los programadores pueden utilizar el kit de herramientas de desarrollo de Soar para crear agentes reactivos y de planificación, o cualquier compromiso entre estos dos extremos.
• Excalibur fue un proyecto de investigación dirigido por Alexander Nareyek con agentes de planificación en cualquier momento para juegos de computadora. La arquitectura se basa en la satisfacción de restricciones estructurales, que es unatécnicaavanzada de inteligencia artificial .
• ACT-R es similar a Soar. Incluye un sistema de aprendizaje bayesiano para ayudar a priorizar las producciones.
• ABL / Hap
• Arquitecturas difusas El enfoque difuso en la selección de acciones produce un comportamiento más suave que el que pueden producir las arquitecturas que explotan reglas de acción-condición booleanas (como Soar o POSH). Estas arquitecturas son en su mayoría reactivas y simbólicas .

Teorías de la selección de acciones en la naturaleza

Muchos modelos dinámicos de selección de acciones artificiales se inspiraron originalmente en la investigación en etología . En particular, Konrad Lorenz y Nikolaas Tinbergen proporcionaron la idea de un mecanismo de liberación innato para explicar los comportamientos instintivos ( patrones de acción fijos ). Influenciado por las ideas de William McDougall , Lorenz desarrolló esto en un modelo " psicohidráulico " de la motivación del comportamiento. En etología, estas ideas fueron influyentes en la década de 1960, pero ahora se las considera obsoletas debido al uso de una metáfora del flujo de energía ; el sistema nerviosoy el control del comportamiento ahora se trata normalmente como una transmisión de información en lugar de un flujo de energía. Los planes dinámicos y las redes neuronales son más similares a la transmisión de información, mientras que la activación de propagación es más similar al control difuso de los sistemas emocionales / hormonales.

Stan Franklin ha propuesto que la selección de acciones es la perspectiva correcta para comprender el papel y la evolución de la mente . Vea su página sobre el paradigma de selección de acciones . Archivado el 9 de octubre de 2006 en la Wayback Machine.

Modelos de IA de selección de acción neuronal

Algunos investigadores crean modelos elaborados de selección de acciones neuronales. Ver por ejemplo:

• El Laboratorio de Neurociencia Cognitiva Computacional (CU Boulder).
• El Grupo de Investigación de Conducta Adaptativa (Sheffield).

Ver también

• Lenguaje de descripción de acciones
• Inteligencia artificial en videojuegos
• Robótica cognitiva
• Experto en Sistemas
• Máquina de inferencia
• Agente inteligente
• OPS5
• Sistema de producción
• Aprendizaje reforzado
• Algoritmo rete
• Sistema de utilidad

Referencias

1. Samsonovich, AV " Atención en la arquitectura cognitiva de la OMAPE ". Arquitecturas cognitivas de inspiración biológica (2010): 98. ^{[ enlace muerto ]}
2. Karen L. Myers. "PRS-CL: un sistema de razonamiento procedimental" . Centro de Inteligencia Artificial . SRI Internacional . Consultado el 13 de junio de 2013 .

Otras lecturas

• Bratman, M .: Intención, planes y razón práctica. Cambridge, Mass: Harvard University Press (1987)
• Brom, C., Lukavský, J., Šerý, O., Poch, T., Šafrata, P .: Affordances e IA de nivel de detalle para humanos virtuales . En: Proceedings of Game Set and Match 2, Delft (2006)
• Bryson, J .: Inteligencia por diseño: principios de modularidad y coordinación para agentes adaptativos complejos de ingeniería . Tesis de doctorado, Instituto de Tecnología de Massachusetts (2001)
• Champandard, AJ: Desarrollo de juegos de inteligencia artificial: criaturas sintéticas con comportamientos reactivos y de aprendizaje . New Riders, Estados Unidos (2003)
• Grand, S., Cliff, D., Malhotra, A . : Criaturas: agentes de software autónomos de vida artificial para entretenimiento en el hogar . En: Johnson, WL (eds.): Actas de la Primera Conferencia Internacional sobre Agentes Autónomos. Prensa ACM (1997) 22-29
• Huber, MJ: JAM: Una arquitectura de agente móvil basada en la teoría de BDI . En: Actas de la Tercera Conferencia Internacional sobre Agentes Autónomos (Agents'99). Seattle (1999) 236-243
• Isla, D .: Manejo de la complejidad en Halo 2 . En: Gamastura online, 11/03 (2005) Archivado el 8 de enero de 2006 en la Wayback Machine.
• Maes, P .: La arquitectura de red de agentes (ANA) . En: Boletín SIGART, 2 (4), páginas 115–120 (1991)
• Proyecto Nareyek, A. Excalibur
• Reynolds, CW Bandadas, manadas y escuelas: un modelo de comportamiento distribuido . En: Computer Graphics, 21 (4) (Actas de la conferencia SIGGRAPH '87) (1987) 25-34.
• de Sevin, E. Thalmann, D .: Un modelo motivacional de selección de acciones para humanos virtuales . En: Computer Graphics International (CGI), IEEE Computer Society Press, Nueva York (2005)
• Tyrrell, T .: Mecanismos computacionales para la selección de acciones . Doctor. Disertación. Centro de Ciencias Cognitivas, Universidad de Edimburgo (1993)
• van Waveren, JMP: El robot de Quake III Arena. Tésis de maestría. Facultad ITS, Universidad Tecnológica de Delft (2001)
• Wooldridge, M. Introducción a los sistemas de agentes múltiples . John Wiley y sus hijos (2002)

enlaces externos

• The University of Memphis: Agents by action selection Archivado el 18 de abril de 2006 en la Wayback Machine.
• Michael Wooldridge: Introducción a los agentes y sus mecanismos de selección de acciones.
• Cyril Brom: diapositivas sobre un curso sobre selección de acciones de seres artificiales
• Proyecto Soar . Universidad de Michigan.
• Modelado de la selección de acción natural , un número especial publicado por The Royal Society - Philosophical Transactions of the Royal Society