Adaptación de dominio

La adaptación de dominio ^{[1] [2] [3]} es un campo asociado con el aprendizaje automático y el aprendizaje por transferencia . Este escenario surge cuando nuestro objetivo es aprender de una distribución de datos de origen un modelo de buen rendimiento en una distribución de datos de destino diferente (pero relacionada). Por ejemplo, una de las tareas del problema común del filtrado de spam consiste en adaptar un modelo de un usuario (la distribución de origen) a un nuevo usuario que recibe correos electrónicos significativamente diferentes (la distribución de destino). También se ha demostrado que la adaptación de dominios es beneficiosa para el aprendizaje de fuentes no relacionadas. ^[4] Tenga en cuenta que, cuando hay más de una distribución de fuente disponible, el problema se denomina adaptación de dominio de múltiples fuentes.^[5]

Distinción entre el entorno habitual de aprendizaje automático y el aprendizaje por transferencia , y el posicionamiento de la adaptación del dominio.

Descripción general

La adaptación de dominio es la capacidad de aplicar un algoritmo entrenado en uno o más "dominios de origen" a un "dominio de destino" diferente (pero relacionado). La adaptación de dominio es una subcategoría del aprendizaje por transferencia. En la adaptación de dominio, los dominios de origen y destino tienen el mismo espacio de características (pero distribuciones diferentes); por el contrario, el aprendizaje por transferencia incluye casos en los que el espacio de características del dominio de destino es diferente del espacio o espacios de características de origen. ^[6]

Cambio de dominio

Un cambio de dominio , ^[7] o cambio de distribución , ^[8] es un cambio en la distribución de datos entre el conjunto de datos de entrenamiento de un algoritmo y un conjunto de datos que encuentra cuando se implementa. Estos cambios de dominio son comunes en aplicaciones prácticas de inteligencia artificial. Los algoritmos convencionales de aprendizaje automático a menudo se adaptan mal a los cambios de dominio. La comunidad moderna de aprendizaje automático tiene muchas estrategias diferentes para intentar obtener una mejor adaptación de dominio. ^[7]

Ejemplos de

• Un algoritmo entrenado en cables de noticias podría tener que adaptarse a un nuevo conjunto de datos de documentos biomédicos. ^[9]
• Un filtro de spam, entrenado en un determinado grupo de usuarios de correo electrónico durante el entrenamiento, debe adaptarse a un nuevo usuario objetivo cuando se implemente. ^[10]
• Aplicar algoritmos de diagnóstico de IA, entrenados en datos etiquetados asociados con enfermedades anteriores, a nuevos datos no etiquetados asociados con la pandemia COVID-19 . ^[11]
• Un cambio social repentino, como un brote pandémico, puede constituir un cambio de dominio y hacer que los algoritmos de aprendizaje automático entrenados en datos de consumidores ahora obsoletos fallen y requieran intervención. ^{[12] [13]}

Otras aplicaciones incluyen detección de localización wifi y muchos aspectos de la visión por computadora . ^[6]

Formalización

Dejar ${\displaystyle X}$ ser el espacio de entrada (o espacio de descripción) y dejar ${\displaystyle Y}$ser el espacio de salida (o espacio de etiqueta). El objetivo de un algoritmo de aprendizaje automático es aprender un modelo matemático (una hipótesis)${\displaystyle h:X\to Y}$ capaz de adjuntar una etiqueta desde ${\displaystyle Y}$ a un ejemplo de ${\displaystyle X}$. Este modelo se aprende de una muestra de aprendizaje${\displaystyle S=\{(x_{i},y_{i})\in (X\times Y)\}_{i=1}^{m}}$.

Por lo general, en el aprendizaje supervisado (sin adaptación de dominio), suponemos que los ejemplos${\displaystyle (x_{i},y_{i})\in S}$ se extraen iid de una distribución ${\displaystyle D_{S}}$ de apoyo ${\displaystyle X\times Y}$(desconocido y fijo). El objetivo es entonces aprender${\displaystyle h}$ (de ${\displaystyle S}$) de manera que cometa el menor error posible para etiquetar nuevos ejemplos provenientes de la distribución ${\displaystyle D_{S}}$.

La principal diferencia entre el aprendizaje supervisado y la adaptación de dominio es que en la última situación estudiamos dos distribuciones diferentes (pero relacionadas) ${\displaystyle D_{S}}$ y ${\displaystyle D_{T}}$ en ${\displaystyle X\times Y}$^{[ cita requerida ]} . La tarea de adaptación del dominio entonces consiste en la transferencia de conocimiento desde el dominio fuente.${\displaystyle D_{S}}$ al objetivo ${\displaystyle D_{T}}$. El objetivo es entonces aprender${\displaystyle h}$ (de muestras etiquetadas o no etiquetadas que provienen de los dos dominios) de modo que cometa el menor error posible en el dominio de destino ${\displaystyle D_{T}}$^{[ cita requerida ]} .

El problema principal es el siguiente: si un modelo se aprende de un dominio de origen, ¿cuál es su capacidad para etiquetar correctamente los datos que provienen del dominio de destino?

Los diferentes tipos de adaptación de dominio

Hay varios contextos de adaptación de dominios. Se diferencian en la información considerada para la tarea objetivo.

1. La adaptación de dominio no supervisada : la muestra de aprendizaje contiene un conjunto de ejemplos de origen etiquetados, un conjunto de ejemplos de origen sin etiquetar y un conjunto de ejemplos de destino sin etiquetar.
2. La adaptación de dominio semi-supervisado : en esta situación, también consideramos un conjunto "pequeño" de ejemplos de destino etiquetados.
3. La adaptación del dominio supervisado : se supone que todos los ejemplos considerados están etiquetados.

Cuatro principios algorítmicos

Algoritmos de reponderación

El objetivo es volver a ponderar la muestra etiquetada como fuente de modo que "se parezca" a la muestra objetivo (en términos de la medida de error considerada). ^{[14] [15]}

Algoritmos iterativos

Un método de adaptación consiste en "etiquetar automáticamente" iterativamente los ejemplos de destino. ^[16] El principio es simple:

1. un modelo ${\displaystyle h}$ se aprende de los ejemplos etiquetados;
2. ${\displaystyle h}$ etiqueta automáticamente algunos ejemplos de destino;
3. se aprende un nuevo modelo de los nuevos ejemplos etiquetados.

Tenga en cuenta que existen otros enfoques iterativos, pero generalmente necesitan ejemplos etiquetados de destino. ^{[17] [18]}

Búsqueda de un espacio de representación común

El objetivo es encontrar o construir un espacio de representación común para los dos dominios. El objetivo es obtener un espacio en el que los dominios estén cerca unos de otros manteniendo un buen desempeño en la tarea de etiquetado de fuentes. Esto se puede lograr mediante el uso de técnicas de aprendizaje automático Adversarial donde se alienta a que las representaciones de características de muestras en diferentes dominios sean indistinguibles. ^{[19] [20]}

Modelo bayesiano jerárquico

El objetivo es construir un modelo jerárquico bayesiano ${\displaystyle p(n)}$, que es esencialmente un modelo de factorización para conteos ${\displaystyle n}$, para derivar representaciones latentes dependientes del dominio que permitan factores latentes tanto específicos del dominio como compartidos globalmente. ^[4]

Referencias

1. Redko, Ievgen; Morvant, Emilie; Habrard, Amaury; Sebban, Marc; Bennani, Younès (2019). Avances en la teoría de la adaptación de dominios . Prensa ISTE - Elsevier. pag. 187. ISBN 9781785482366.
2. Bridle, John S .; Cox, Stephen J. (1990). "RecNorm: Normalización y clasificación simultánea aplicada al reconocimiento de voz" (PDF) . Conferencia sobre Sistemas de Procesamiento de Información Neural (NIPS) . págs. 234-240.
3. Ben-David, Shai; Blitzer, John; Crammer, Koby; Kulesza, Alex; Pereira, Fernando; Wortman Vaughan, Jennifer (2010). "Una teoría del aprendizaje desde diferentes dominios" (PDF) . Aprendizaje automático . 79 (1-2): 151-175. doi : 10.1007 / s10994-009-5152-4 .
4. Hajiramezanali, Ehsan; Siamak Zamani Dadaneh; Karbalayghareh, Alireza; Zhou, Mingyuan; Qian, Xiaoning (2018). "Aprendizaje bayesiano multidominio para el descubrimiento de subtipos de cáncer a partir de datos de recuento de secuenciación de próxima generación". arXiv : 1810.09433 [ stat.ML ].
5. Crammer, Koby; Kearns, Michael; Wortman, Jeniifer (2008). "Aprendiendo de múltiples fuentes" (PDF) . Revista de investigación sobre aprendizaje automático . 9 : 1757-1774.
6. Sun, Shiliang; Shi, Honglei; Wu, Yuanbin (julio de 2015). "Una encuesta de adaptación de dominios de múltiples fuentes". Fusión de información . 24 : 84–92. doi : 10.1016 / j.inffus.2014.12.003 .
7. Sun, Baochen, Jiashi Feng y Kate Saenko. "Regreso de una adaptación de dominio frustrantemente fácil". En Trigésima Conferencia AAAI sobre Inteligencia Artificial. 2016.
8. Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman y Dan Mané. "Problemas concretos en la seguridad de la IA". preimpresión de arXiv arXiv: 1606.06565 (2016).
9. Daumé III, Hal. "Adaptación de dominio frustrantemente fácil". preimpresión de arXiv arXiv: 0907.1815 (2009).
10. Ben-David, Shai, John Blitzer, Koby Crammer y Fernando Pereira. "Análisis de representaciones para la adaptación de dominios". En Avances en sistemas de procesamiento de información neuronal, págs. 137-144. 2007.
11. Hu, Yipeng; Jacob, José; Parker, Geoffrey JM; Hawkes, David J .; Hurst, John R .; Stoyanov, Danail (junio de 2020). "Los desafíos de implementar modelos de inteligencia artificial en una pandemia de rápida evolución" . Nature Machine Intelligence . 2 (6): 298–300. doi : 10.1038 / s42256-020-0185-2 . ISSN  2522-5839 .
12. Matthews, Dylan (26 de marzo de 2019). "El desastre de la IA no se verá como Terminator. Será más espeluznante" . Vox . Consultado el 21 de junio de 2020 .
13. "Nuestro comportamiento extraño durante la pandemia está jugando con los modelos de IA" . Revisión de tecnología del MIT . 11 de mayo de 2020 . Consultado el 21 de junio de 2020 .
14. Huang, Jiayuan; Smola, Alexander J .; Gretton, Arthur; Borgwardt, Karster M .; Schölkopf, Bernhard (2006). "Corrección del sesgo de selección de muestras mediante datos no etiquetados" (PDF) . Conferencia sobre Sistemas de Procesamiento de Información Neural (NIPS) . págs. 601–608.
15. Shimodaira, Hidetoshi (2000). "Mejora de la inferencia predictiva en cambio de covariables ponderando la función logarítmica de verosimilitud" . Revista de Planificación e Inferencia Estadística . 90 (2): 227–244. doi : 10.1016 / S0378-3758 (00) 00115-4 .
16. Gallego, AJ; Calvo-Zaragoza, J .; Fisher, RB (2020). "Entrenamiento Adversarial de dominio no supervisado incremental de redes neuronales" (PDF) . Transacciones IEEE en redes neuronales y sistemas de aprendizaje . PP : 1-15. doi : 10.1109 / TNNLS.2020.3025954 . PMID  33027004 .
17. Arief-Ang, IB; Salim, FD; Hamilton, M. (8 de noviembre de 2017). DA-HOC: adaptación de dominio semisupervisado para la predicción de ocupación de habitaciones utilizando datos de sensores de CO2 . 4ª Conferencia Internacional ACM sobre sistemas para entornos construidos energéticamente eficientes (BuildSys). Delft, Holanda. págs. 1-10. doi : 10.1145 / 3137133.3137146 . ISBN 978-1-4503-5544-5.
18. Arief-Ang, IB; Hamilton, M .; Salim, FD (1 de diciembre de 2018). "Una predicción escalable de ocupación de habitaciones con descomposición de series de tiempo transferibles de datos de sensores de CO2". Transacciones ACM en redes de sensores . 14 (3–4): 21: 1–21: 28. doi : 10.1145 / 3217214 .
19. Ganin, Yaroslav; Ustinova, Evgeniya; Ajakan, Hana; Germain, Pascal; Larochelle, Hugo; Laviolette, François; Marchand, Mario; Lempitsky, Víctor (2016). "Entrenamiento de dominio adversario de redes neuronales" (PDF) . Revista de investigación sobre aprendizaje automático . 17 : 1–35.
20. Hajiramezanali, Ehsan; Siamak Zamani Dadaneh; Karbalayghareh, Alireza; Zhou, Mingyuan; Qian, Xiaoning (2017). "Abordar el cambio de apariencia en robótica al aire libre con adaptación de dominio adversario". arXiv : 1703.01461 [ cs.RO ].