En el aprendizaje automático , la incrustación de distribuciones del kernel (también llamada media del kernel o mapa de medias ) comprende una clase de métodos no paramétricos en los que una distribución de probabilidad se representa como un elemento de un espacio de Hilbert del kernel de reproducción (RKHS). [1] Una generalización del mapeo de características de puntos de datos individuales realizada en métodos clásicos del kernel , la incrustación de distribuciones en espacios de características de dimensión infinita puede preservar todas las características estadísticas de distribuciones arbitrarias, al tiempo que permite comparar y manipular distribuciones usando Hilbert operaciones espaciales comoproductos internos , distancias, proyecciones , transformaciones lineales y análisis espectral . [2] Este marco de aprendizaje es muy general y se puede aplicar a distribuciones en cualquier espacio.en el que funciona un núcleo sensible (midiendo la similitud entre elementos de) puede definirse. Por ejemplo, se han propuesto varios núcleos para aprender de datos que son: vectores en, clases / categorías discretas, cadenas , gráficos / redes , imágenes, series de tiempo , variedades , sistemas dinámicos y otros objetos estructurados. [3] [4] La teoría detrás de las incrustaciones de distribuciones del kernel ha sido desarrollada principalmente por Alex Smola , Le Song , Arthur Gretton y Bernhard Schölkopf . Se puede encontrar una revisión de trabajos recientes sobre la incrustación de distribuciones en el núcleo. [5]
El análisis de distribuciones es fundamental en el aprendizaje automático y las estadísticas , y muchos algoritmos en estos campos se basan en enfoques teóricos de la información como la entropía , la información mutua o la divergencia Kullback-Leibler . Sin embargo, para estimar estas cantidades, primero se debe realizar una estimación de densidad o emplear estrategias sofisticadas de partición de espacio / corrección de sesgo que normalmente no son factibles para datos de alta dimensión. [6] Por lo general , los métodos para modelar distribuciones complejas se basan en supuestos paramétricos que pueden ser infundados o desafiantes computacionalmente (por ejemplo, modelos de mezcla gaussiana ), mientras que los métodos no paramétricos como la estimación de la densidad del núcleo (Nota: los núcleos de suavizado en este contexto tienen una interpretación diferente a la kernels discutidos aquí) o la representación de funciones características (a través de la transformada de Fourier de la distribución) se descomponen en configuraciones de alta dimensión. [2]
Los métodos basados en la incrustación de distribuciones en el núcleo evitan estos problemas y también poseen las siguientes ventajas: [6]
- Los datos se pueden modelar sin suposiciones restrictivas sobre la forma de las distribuciones y las relaciones entre las variables.
- No se necesita una estimación de densidad intermedia
- Los profesionales pueden especificar las propiedades de una distribución más relevantes para su problema (incorporando conocimientos previos mediante la elección del núcleo)
- Si se usa un kernel característico , entonces la incrustación puede preservar de manera única toda la información sobre una distribución, mientras que gracias al truco del kernel , los cálculos en el RKHS de dimensión potencialmente infinita se pueden implementar en la práctica como simples operaciones de matriz de Gram.
- Se pueden probar las tasas de convergencia independientes de la dimensionalidad para la media del kernel empírica (estimada utilizando muestras de la distribución) con la incorporación del kernel de la verdadera distribución subyacente.
- Los algoritmos de aprendizaje basados en este marco exhiben una buena capacidad de generalización y convergencia de muestras finitas, mientras que a menudo son más simples y efectivos que los métodos teóricos de la información.
Por lo tanto, el aprendizaje a través de la integración de distribuciones del kernel ofrece un reemplazo de principio para los enfoques teóricos de la información y es un marco que no solo subsume muchos métodos populares en aprendizaje automático y estadísticas como casos especiales, sino que también puede conducir a algoritmos de aprendizaje completamente nuevos.
Definiciones
Dejar denotar una variable aleatoria con dominio y distribución Dado un kernel en el teorema de Moore-Aronszajn afirma la existencia de un RKHS(un espacio de funciones de Hilbert equipado con productos internos y normas ) en el que el elemento satisface la propiedad de reproducción
Alternativamente, uno puede considerar un mapeo de características implícito de a (que por lo tanto también se llama espacio de características), de modo que puede verse como una medida de similitud entre puntos Si bien la medida de similitud es lineal en el espacio de características, puede ser muy no lineal en el espacio original según la elección del kernel.
Incrustación de kernel
La incrustación del kernel de la distribución en (también llamado la media del núcleo o mapa de medias ) viene dada por: [1]
Si permite una densidad cuadrada integrable , luego , dónde es el operador integral de Hilbert-Schmidt . Un kernel es característico si la incrustación mediaes inyectable. [7] Por tanto, cada distribución se puede representar de forma única en el RKHS y todas las características estadísticas de las distribuciones se conservan mediante la incorporación del núcleo si se utiliza un núcleo característico.
Incrustación empírica del núcleo
Dado ejemplos de entrenamiento dibujado de forma independiente e idénticamente distribuida (iid) de la incrustación del núcleo de se puede estimar empíricamente como
Incrustación de distribución conjunta
Si denota otra variable aleatoria (para simplificar, suponga el co-dominio de es también con el mismo kernel que satisface ), luego la distribución conjunta se puede mapear en un espacio de características de producto tensoriala través de [2]
Por la equivalencia entre un tensor y un mapa lineal , esta incrustación conjunta puede interpretarse como un operador de covarianza cruzada no centrado de donde funciona la covarianza cruzada de media cero se puede calcular como [8]
Dado pares de ejemplos de entrenamiento extraído de iid , también podemos estimar empíricamente la integración del núcleo de distribución conjunta a través de
Incrustación de distribución condicional
Dada una distribución condicional se puede definir la incrustación RKHS correspondiente como [2]
Tenga en cuenta que la incrustación de define así una familia de puntos en el RKHS indexados por los valores tomado por variable condicionante . Arreglando a un valor particular, obtenemos un solo elemento en , por lo que es natural definir el operador
que dado el mapeo de características de genera la incrustación condicional de dado Asumiendo que para todos se puede demostrar que [8]
Esta suposición es siempre cierta para dominios finitos con núcleos característicos, pero no necesariamente es válida para dominios continuos. [2] Sin embargo, incluso en los casos en que la suposición falla, todavía se puede utilizar para aproximar la incrustación condicional del kernel y en la práctica, el operador de inversión se reemplaza con una versión regularizada de sí mismo (dónde denota la matriz de identidad ).
Ejemplos de entrenamiento dados el operador de incrustación condicional del kernel empírico se puede estimar como [2]
dónde son matrices de características formadas implícitamente, es la matriz de Gram para muestras de , y es un parámetro de regularización necesario para evitar el sobreajuste .
Por tanto, la estimación empírica de la incrustación condicional del núcleo viene dada por una suma ponderada de muestras de en el espacio de características:
dónde y
Propiedades
- La expectativa de cualquier función en el RKHS se puede calcular como un producto interno con la incrustación del kernel:
- En presencia de grandes tamaños de muestra, las manipulaciones del La matriz de Gram puede ser computacionalmente exigente. Mediante el uso de una aproximación de rango bajo de la matriz de Gram (como la factorización Cholesky incompleta ), el tiempo de ejecución y los requisitos de memoria de los algoritmos de aprendizaje basados en incrustaciones de kernel se pueden reducir drásticamente sin sufrir mucha pérdida en la precisión de la aproximación. [2]
Convergencia de la media del kernel empírica a la verdadera distribución incrustada
- Si se define de tal manera que toma valores en para todos con (como es el caso de los núcleos de función de base radial ampliamente utilizados ), entonces con probabilidad al menos: [6]
- dónde denota la bola unitaria en y es la matriz de Gram con
- La tasa de convergencia (en la norma RKHS) de la incrustación empírica del núcleo a su contraparte de distribución es y no depende de la dimensión de.
- Las estadísticas basadas en incrustaciones de kernel evitan así la maldición de la dimensionalidad , y aunque en la práctica se desconoce la verdadera distribución subyacente, se puede (con alta probabilidad) obtener una aproximación dentro de de la verdadera incrustación del kernel basada en una muestra finita de tamaño .
- Para la inclusión de distribuciones condicionales, la estimación empírica puede verse como un promedio ponderado de asignaciones de características (donde las ponderacionesdependen del valor de la variable condicionante y capturan el efecto del condicionamiento en la incrustación del grano). En este caso, la estimación empírica converge a la distribución condicional RKHS incrustada con tasa si el parámetro de regularización se reduce como aunque se pueden lograr tasas de convergencia más rápidas colocando supuestos adicionales en la distribución conjunta. [2]
Granos universales
- Dejando denotar el espacio de funciones acotadas continuas en un dominio compacto, llamamos un kernel universal si es continuo para todos y el RKHS inducido por es denso en.
- Si induce una matriz de kernel definida estrictamente positiva para cualquier conjunto de puntos distintos, entonces es un kernel universal. [6] Por ejemplo, el kernel RBF gaussiano ampliamente utilizado
- en subconjuntos compactos de es universal.
- Si es invariante al cambio y su representación en el dominio de Fourier es
- y apoyo de es un espacio completo, entonces es universal. [9] Por ejemplo, Gaussian RBF es universal, sinc kernel no es universal.
- Si es universal, entonces es característico , es decir, la incrustación del kernel es uno a uno. [10]
Selección de parámetros para incrustaciones de kernel de distribución condicional
- El operador empírico de incrustación de distribución condicional del kernel alternativamente, puede verse como la solución del siguiente problema de regresión de mínimos cuadrados regularizados (con valores de función) [11]
- dónde es la norma de Hilbert-Schmidt .
- Por tanto, se puede seleccionar el parámetro de regularización realizando una validación cruzada basada en la función de pérdida al cuadrado del problema de regresión.
Reglas de probabilidad como operaciones en el RKHS
Esta sección ilustra cómo las reglas probabilísticas básicas pueden reformularse como operaciones algebraicas (multi) lineales en el marco de integración del kernel y se basa principalmente en el trabajo de Song et al. [2] [8] Se adopta la siguiente notación:
- distribución conjunta sobre variables aleatorias
- distribución marginal de ; distribución marginal de
- distribución condicional de dado con el operador de incrustación condicional correspondiente
- distribución previa sobre
- se utiliza para distinguir las distribuciones que incorporan las distribuciones a priori que no se basan en la anterior
En la práctica, todas las incorporaciones se estiman empíricamente a partir de datos y asumió que un conjunto de muestras se puede utilizar para estimar la incrustación del núcleo de la distribución anterior .
Regla de la suma del kernel
En la teoría de la probabilidad, la distribución marginal de se puede calcular integrando de la densidad conjunta (incluida la distribución previa en )
El análogo de esta regla en el marco de incrustación del kernel establece que la incrustación RKHS de , se puede calcular a través de
dónde es la incrustación del kernel de En implementaciones prácticas, la regla de suma del kernel toma la siguiente forma
dónde
es la incrustación empírica del núcleo de la distribución anterior, , y son matrices de Gram con entradas respectivamente.
Regla de la cadena de kernel
En la teoría de la probabilidad, una distribución conjunta se puede factorizar en un producto entre distribuciones condicionales y marginales.
El análogo de esta regla en el marco de incrustación del kernel establece que la incrustación conjunta de se puede factorizar como una composición de operador de incrustación condicional con el operador de covarianza automático asociado con
dónde
En implementaciones prácticas, la regla de la cadena del núcleo toma la siguiente forma
Regla de Kernel Bayes
En la teoría de la probabilidad, una distribución posterior se puede expresar en términos de una distribución previa y una función de probabilidad como
- dónde
El análogo de esta regla en el marco de incrustación del kernel expresa la incrustación del kernel de la distribución condicional en términos de operadores de incrustación condicional que son modificados por la distribución anterior.
donde de la regla de la cadena:
En implementaciones prácticas, la regla de Bayes del kernel toma la siguiente forma
dónde
En este marco se utilizan dos parámetros de regularización: para la estimación de y para la estimación del operador de incrustación condicional final
La última regularización se realiza en el cuadrado de porque puede no ser positivo definido .
Aplicaciones
Medir la distancia entre distribuciones
La máxima discrepancia media (MMD) es una medida de distancia entre distribuciones y que se define como la distancia al cuadrado entre sus incrustaciones en el RKHS [6]
Si bien la mayoría de las medidas de distancia entre distribuciones, como la divergencia Kullback-Leibler ampliamente utilizada, requieren una estimación de la densidad (paramétrica o no paramétrica) o estrategias de corrección de sesgo / partición espacial, [6] la MMD se estima fácilmente como una media empírica que se concentra alrededor de el verdadero valor del MMD. La caracterización de esta distancia como la máxima discrepancia media se refiere al hecho de que calcular la MMD es equivalente a encontrar la función RKHS que maximiza la diferencia de expectativas entre las dos distribuciones de probabilidad.
Prueba de kernel de dos muestras
Dados n ejemplos de entrenamiento dey m muestras de, se puede formular una estadística de prueba basada en la estimación empírica del MMD
para obtener una prueba de dos muestras [12] de la hipótesis nula de que ambas muestras provienen de la misma distribución (es decir,) contra la amplia alternativa .
Estimación de densidad mediante incrustaciones de kernel
Aunque los algoritmos de aprendizaje en el marco de incrustación del kernel evitan la necesidad de una estimación de densidad intermedia, no obstante, se puede utilizar la incrustación empírica para realizar una estimación de densidad basada en n muestras extraídas de una distribución subyacente.. Esto se puede hacer resolviendo el siguiente problema de optimización [6] [13]
- sujeto a
donde la maximización se realiza en todo el espacio de distribuciones en Aquí, es la incrustación del núcleo de la densidad propuesta y es una cantidad similar a la entropía (por ejemplo , entropía , divergencia KL , divergencia de Bregman ). La distribución que resuelve esta optimización puede interpretarse como un compromiso entre ajustar bien las medias empíricas del núcleo de las muestras, mientras se asigna una parte sustancial de la masa de probabilidad a todas las regiones del espacio de probabilidad (muchas de las cuales pueden no estar representadas en el ejemplos de formación). En la práctica, se puede encontrar una buena solución aproximada de la difícil optimización restringiendo el espacio de densidades candidatas a una mezcla de M distribuciones candidatas con proporciones de mezcla regularizadas. Las conexiones entre las ideas que subyacen a los procesos gaussianos y los campos aleatorios condicionales se pueden establecer con la estimación de distribuciones de probabilidad condicionales de esta manera, si se ven las asignaciones de características asociadas con el kernel como estadísticas suficientes en familias exponenciales generalizadas (posiblemente de dimensión infinita) . [6]
Medir la dependencia de variables aleatorias
Una medida de la dependencia estadística entre variables aleatorias. y (de cualquier dominio en el que se puedan definir núcleos sensibles) se puede formular en base al Criterio de Independencia de Hilbert-Schmidt [14]
y se puede utilizar como un reemplazo de principios para la información mutua , la correlación de Pearson o cualquier otra medida de dependencia utilizada en los algoritmos de aprendizaje. Más notablemente, HSIC puede detectar dependencias arbitrarias (cuando se usa un kernel característico en las incrustaciones, HSIC es cero si y solo si las variables son independientes ), y se puede usar para medir la dependencia entre diferentes tipos de datos (por ejemplo, imágenes y leyendas de texto ). Dadas n iid muestras de cada variable aleatoria, un estimador insesgado simple y libre de parámetros de HSIC que exhibe concentración sobre el valor verdadero se puede calcular entiempo, [6] donde las matrices de Gram de los dos conjuntos de datos se aproximan usando con . Las propiedades deseables de HSIC han llevado a la formulación de numerosos algoritmos que utilizan esta medida de dependencia para una variedad de tareas comunes de aprendizaje automático como: selección de características (BAHSIC [15] ), agrupación (CLUHSIC [16] ) y reducción de dimensionalidad ( MUHSIC [17] ).
HSIC se puede ampliar para medir la dependencia de múltiples variables aleatorias. La cuestión de cuándo la HSIC captura la independencia en este caso se ha estudiado recientemente: [18] para más de dos variables
- en : la propiedad característica de los granos individuales sigue siendo una condición equivalente.
- en dominios generales: la propiedad característica de los componentes del kernel es necesaria pero no suficiente .
Propagación de creencias de kernel
La propagación de creencias es un algoritmo fundamental para la inferencia en modelos gráficos en los que los nodos pasan y reciben repetidamente mensajes correspondientes a la evaluación de expectativas condicionales. En el marco de incrustación del kernel, los mensajes se pueden representar como funciones RKHS y las incrustaciones de distribución condicional se pueden aplicar para calcular de manera eficiente las actualizaciones de los mensajes. Dadas n muestras de variables aleatorias representadas por nodos en un campo aleatorio de Markov , el mensaje entrante al nodo t desde el nodo u se puede expresar como
si se supone que se encuentra en el RKHS. El mensaje de actualización de la propagación de creencias del kernel de t al nodo s viene dado por [2]
dónde denota el producto vectorial por elementos, es el conjunto de nodos conectados at excluyendo el nodo s ,, son las matrices de Gram de las muestras de variables , respectivamente, y es la matriz de características para las muestras de .
Por lo tanto, si los mensajes entrantes al nodo t son combinaciones lineales de muestras mapeadas de características de, entonces el mensaje saliente de este nodo es también una combinación lineal de muestras mapeadas de características de . Esta representación de la función RKHS de las actualizaciones de paso de mensajes produce, por lo tanto, un algoritmo de propagación de creencias eficiente en el que los potenciales son funciones no paramétricas inferidas de los datos de modo que se puedan modelar relaciones estadísticas arbitrarias. [2]
En el modelo de Markov oculto (HMM), dos cantidades clave de interés son las probabilidades de transición entre estados ocultos y las probabilidades de emisión para observaciones. Usando el marco de incrustación de distribución condicional del kernel, estas cantidades pueden expresarse en términos de muestras del HMM. Una seria limitación de los métodos de incrustación en este dominio es la necesidad de entrenar muestras que contengan estados ocultos, ya que de lo contrario no es posible la inferencia con distribuciones arbitrarias en el HMM.
Un uso común de los HMM es el filtrado en el que el objetivo es estimar la distribución posterior sobre el estado oculto.en el paso de tiempo t dado un historial de observaciones previasdel sistema. En el filtrado, un estado de creencias se mantiene de forma recursiva a través de un paso de predicción (donde las actualizaciones se calculan marginando el estado oculto anterior) seguido de un paso de condicionamiento (donde las actualizaciones se calculan aplicando la regla de Bayes a la condición de una nueva observación). [2] La incorporación RKHS del estado de creencias en el tiempo t + 1 se puede expresar de forma recursiva como
calculando las incrustaciones del paso de predicción a través de la regla de la suma del kernel y la incrustación del paso de condicionamiento mediante la regla de Bayes del kernel . Asumiendo una muestra de entrenamiento se da, en la práctica se puede estimar
y el filtrado con incrustaciones de kernel se implementa de forma recursiva utilizando las siguientes actualizaciones para los pesos [2]
dónde denotar las matrices de Gram de y respectivamente, es una matriz de Gram de transferencia definida como y
Máquinas de medida de apoyo
La máquina de medida de soporte (SMM) es una generalización de la máquina de vectores de soporte (SVM) en la que los ejemplos de entrenamiento son distribuciones de probabilidad emparejadas con etiquetas.. [19] Los SMM resuelven el problema de optimización dual de SVM estándar utilizando el siguiente kernel esperado
que es computable en forma cerrada para muchas distribuciones específicas comunes (como la distribución gaussiana) combinado con núcleos de incrustación populares (por ejemplo, el kernel de Gauss o el kernel polinomial), o se puede estimar empíricamente con precisión a partir de muestras de iid vía
Bajo ciertas opciones del kernel de incrustación , el SMM aplicado a ejemplos de formación es equivalente a una SVM entrenada en muestras , y por lo tanto, el SMM puede verse como un SVM flexible en el que un kernel dependiente de datos diferente (especificado por la forma asumida de la distribución) se pueden colocar en cada punto de entrenamiento. [19]
Adaptación de dominio bajo cambio covariable, objetivo y condicional
El objetivo de la adaptación de dominio es la formulación de algoritmos de aprendizaje que se generalizan bien cuando los datos de entrenamiento y prueba tienen distribuciones diferentes. Ejemplos de entrenamiento dados y un equipo de prueba donde el son desconocidos, comúnmente se asumen tres tipos de diferencias entre la distribución de los ejemplos de entrenamiento y la distribución de prueba : [20] [21]
- Cambio de covariables en el que la distribución marginal de las covariables cambia entre dominios:
- Cambio de objetivo en el que la distribución marginal de los productos cambia entre dominios:
- Cambio condicional en el que sigue siendo el mismo en todos los dominios, pero las distribuciones condicionales difieren: . En general, la presencia de un cambio condicional conduce a un problema mal planteado y al supuesto adicional de quecambios sólo en la ubicación - transformaciones de escala (LS) en se impone comúnmente para hacer que el problema sea manejable.
Al utilizar la integración del núcleo de distribuciones marginales y condicionales, se pueden formular enfoques prácticos para tratar la presencia de este tipo de diferencias entre los dominios de entrenamiento y de prueba. El desplazamiento de covariables puede contabilizarse volviendo a ponderar ejemplos mediante estimaciones de la razón. obtenido directamente de las incrustaciones del núcleo de las distribuciones marginales de en cada dominio sin necesidad de una estimación explícita de las distribuciones. [21] Cambio de destino, que no puede tratarse de manera similar ya que no hay muestras de están disponibles en el dominio de prueba, se contabiliza mediante ejemplos de entrenamiento de ponderación utilizando el vector que resuelve el siguiente problema de optimización (donde en la práctica, se deben utilizar aproximaciones empíricas) [20]
- sujeto a
Para lidiar con el cambio condicional de escala de ubicación, se puede realizar una transformación LS de los puntos de entrenamiento para obtener nuevos datos de entrenamiento transformados (dónde denota el producto vectorial por elementos). Para garantizar distribuciones similares entre las nuevas muestras de entrenamiento transformadas y los datos de prueba,se estiman minimizando la siguiente distancia empírica de incrustación del núcleo [20]
En general, los métodos de incorporación del kernel para tratar el cambio condicional de LS y el cambio de destino se pueden combinar para encontrar una transformación reponderada de los datos de entrenamiento que imita la distribución de la prueba, y estos métodos pueden funcionar bien incluso en presencia de cambios condicionales distintos de la ubicación. -Cambios de escala. [20]
Generalización de dominios mediante representación de características invariantes
Dados N conjuntos de ejemplos de entrenamiento muestreados iid de distribuciones, el objetivo de la generalización de dominios es formular algoritmos de aprendizaje que funcionen bien en ejemplos de prueba extraídos de un dominio nunca antes vistodonde no hay datos del dominio de prueba disponibles en el momento del entrenamiento. Si distribuciones condicionales se asume que son relativamente similares en todos los dominios, entonces un alumno capaz de generalizar dominios debe estimar una relación funcional entre las variables que sea robusta a los cambios en los marginales . Basado en las incrustaciones del kernel de estas distribuciones, el Análisis de componentes invariantes de dominio (DICA) es un método que determina la transformación de los datos de entrenamiento que minimiza la diferencia entre distribuciones marginales mientras preserva una distribución condicional común compartida entre todos los dominios de entrenamiento. [22] DICA extrae así invariantes , características que se transfieren entre dominios, y puede verse como una generalización de muchos métodos populares de reducción de dimensiones como el análisis de componentes principales del kernel, análisis de componentes de transferencia y regresión inversa del operador de covarianza. [22]
Definición de una distribución de probabilidad en el RKHS con
DICA mide la disimilitud entre dominios a través de la varianza distributiva que se calcula como
dónde
entonces es un Matriz de Gram sobre las distribuciones de las que se muestrean los datos de entrenamiento. Al encontrar una transformada ortogonal en un subespacio B de baja dimensión (en el espacio de características) que minimiza la varianza distribucional, DICA asegura simultáneamente que B se alinea con las bases de un subespacio central C para el cual se vuelve independiente de dado en todos los dominios. En ausencia de valores objetivo, se puede formular una versión no supervisada de DICA que encuentre un subespacio de baja dimensión que minimice la varianza distributiva mientras maximiza simultáneamente la varianza de (en el espacio de características) en todos los dominios (en lugar de preservar un subespacio central). [22]
Regresión de distribución
En la regresión de distribución, el objetivo es hacer una regresión de las distribuciones de probabilidad a los reales (o vectores). Muchas tareas importantes de aprendizaje automático y estadísticas encajan en este marco, incluido el aprendizaje de múltiples instancias y los problemas de estimación de puntos sin una solución analítica (como la estimación de hiperparámetros o entropía ). En la práctica, solo las muestras de las distribuciones muestreadas son observables y las estimaciones deben basarse en similitudes calculadas entre conjuntos de puntos . La regresión de distribución se ha aplicado con éxito, por ejemplo, en el aprendizaje de entropía supervisado y la predicción de aerosoles utilizando imágenes de satélite multiespectrales. [23]
Dado datos de entrenamiento, donde el bolsa contiene muestras de una distribución de probabilidad y el la etiqueta de salida es , se puede abordar la tarea de regresión de distribución tomando las incorporaciones de las distribuciones y aprendiendo el regresor de las incorporaciones a las salidas. En otras palabras, se puede considerar el siguiente problema de regresión de la cresta del núcleo
dónde
con un kernel en el dominio de -s , es un kernel en las distribuciones integradas, y es el RKHS determinado por . Ejemplos de incluir el kernel lineal , el kernel gaussiano , el kernel exponencial , el núcleo de Cauchy , el kernel t-student generalizado , o el kernel multicuadrico inverso .
La predicción de una nueva distribución toma la forma analítica simple
dónde , , , . En condiciones de regularidad leve, se puede demostrar que este estimador es consistente y puede lograr la muestra de una etapa (como si uno tuviera acceso a la-s) tasa óptima minimax . [23] En el función objetiva -s son números reales; los resultados también pueden extenderse al caso cuando-s son -vectores dimensionales, o más generalmente elementos de un espacio de Hilbert separable usando valores de operador granos.
Ejemplo
En este sencillo ejemplo, que se tomó de Song et al., [2] se supone que son variables aleatorias discretas que toman valores en el conjuntoy el kernel se elige para ser la función delta de Kronecker , por lo que. El mapa de características correspondiente a este kernel es el vector base estándar. Las incrustaciones de kernel de tales distribuciones son, por tanto, vectores de probabilidades marginales, mientras que las incrustaciones de distribuciones conjuntas en este entorno son matrices que especifican tablas de probabilidad conjunta, y la forma explícita de estas incrustaciones es
El operador de incrustación de distribución condicional,
está en esta configuración una tabla de probabilidad condicional
y
Por lo tanto, las incorporaciones de la distribución condicional bajo un valor fijo de puede calcularse como
En esta configuración de valores discretos con el kernel delta de Kronecker, la regla de la suma del kernel se convierte en
La regla de la cadena del núcleo en este caso viene dada por
Referencias
- ↑ a b A. Smola, A. Gretton, L. Song, B. Schölkopf. (2007). Una incrustación de Hilbert Space para distribuciones Archivado el 15 de diciembre de 2013 en la Wayback Machine . Teoría del aprendizaje algorítmico: XVIII Congreso Internacional . Springer: 13–31.
- ↑ a b c d e f g h i j k l m n L. Song, K. Fukumizu, F. Dinuzzo, A. Gretton (2013). Incrustaciones de kernel de distribuciones condicionales: un marco de kernel unificado para inferencia no paramétrica en modelos gráficos . Revista de procesamiento de señales IEEE 30 : 98–111.
- ^ J. Shawe-Taylor, N. Christianini. (2004). Métodos de kernel para análisis de patrones . Cambridge University Press, Cambridge, Reino Unido.
- ↑ T. Hofmann, B. Schölkopf, A. Smola. (2008). Métodos de kernel en aprendizaje automático . The Annals of Statistics 36 (3): 1171-1220.
- ^ Muandet, Krikamol; Fukumizu, Kenji; Sriperumbudur, Bharat; Schölkopf, Bernhard (28 de junio de 2017). "Integración de distribuciones de la media de kernel: una revisión y más allá". Fundamentos y Tendencias en Machine Learning . 10 (1–2): 1–141. arXiv : 1605.09522 . doi : 10.1561 / 2200000060 . ISSN 1935-8237 .
- ^ a b c d e f g h i L. Canción. (2008) Aprendizaje a través de Hilbert Space Embedded of Distributions . Tesis doctoral, Universidad de Sydney.
- ^ K. Fukumizu, A. Gretton, X. Sun y B. Schölkopf (2008). Medidas de kernel de independencia condicional . Avances en sistemas de procesamiento de información neuronal 20 , MIT Press, Cambridge, MA.
- ↑ a b c L. Song, J. Huang, AJ Smola, K. Fukumizu. (2009). Incrustaciones espaciales de Hilbert de distribuciones condicionales . Proc. En t. Conf. Aprendizaje automático . Montreal, Canadá: 961–968.
- ^ [1] página 139
- ↑ A. Gretton, K. Borgwardt, M. Rasch, B. Schölkopf, A. Smola. (2007). Un método de kernel para el problema de dos muestras . Avances en sistemas de procesamiento de información neuronal 19 , MIT Press, Cambridge, MA.
- ^ S. Grunewalder, G. Lever, L. Baldassarre, S. Patterson, A. Gretton, M. Pontil. (2012). Incrustaciones medias condicionales como regresores . Proc. En t. Conf. Aprendizaje automático : 1823-1830.
- ↑ A. Gretton, K. Borgwardt, M. Rasch, B. Schölkopf, A. Smola. (2012). Una prueba de kernel de dos muestras . Journal of Machine Learning Research , 13 : 723–773.
- ^ M. Dudík, SJ Phillips, RE Schapire. (2007). Estimación de distribución máxima de entropía con regularización generalizada y una aplicación al modelado de distribución de especies . Journal of Machine Learning Research , 8 : 1217–1260.
- ↑ A. Gretton, O. Bousquet, A. Smola, B. Schölkopf. (2005). Medición de la dependencia estadística con las normas de Hilbert-Schmidt . Proc. Intl. Conf. sobre teoría algorítmica del aprendizaje : 63–78.
- ^ L. Song, A. Smola, A. Gretton, K. Borgwardt, J. Bedo. (2007). Selección de características supervisada mediante estimación de dependencia . Proc. Intl. Conf. Aprendizaje automático , Omnipress: 823–830.
- ^ L. Song, A. Smola, A. Gretton, K. Borgwardt. (2007). Una visión de la maximización de la dependencia de la agrupación . Proc. Intl. Conf. Aprendizaje automático . Omnipress: 815–822.
- ^ L. Song, A. Smola, K. Borgwardt, A. Gretton. (2007). Despliegue de varianza máxima de color . Sistemas de procesamiento de información neuronal .
- ^ Zoltán Szabó, Bharath K. Sriperumbudur. Núcleos de productos tensoriales característicos y universales . Journal of Machine Learning Research , 19: 1–29, 2018.
- ↑ a b K. Muandet, K. Fukumizu, F. Dinuzzo, B. Schölkopf. (2012). Aprendiendo de las distribuciones a través de máquinas de medición de soporte . Avances en los sistemas de procesamiento de información neuronal : 10–18.
- ↑ a b c d K. Zhang, B. Schölkopf, K. Muandet, Z. Wang. (2013). Adaptación de dominio bajo cambio objetivo y condicional . Journal of Machine Learning Research, 28 (3): 819–827.
- ↑ a b A. Gretton, A. Smola, J. Huang, M. Schmittfull, K. Borgwardt, B. Schölkopf. (2008). Cambio de covarianza y aprendizaje local por coincidencia de distribución. En J. Quinonero-Candela, M. Sugiyama, A. Schwaighofer, N. Lawrence (eds.). Cambio de conjunto de datos en el aprendizaje automático , MIT Press, Cambridge, MA: 131–160.
- ↑ a b c K. Muandet, D. Balduzzi, B. Schölkopf. (2013). Generalización de dominios a través de la representación de características invariables . 30 ° Congreso Internacional de Machine Learning .
- ↑ a b Z. Szabó, B. Sriperumbudur, B. Póczos, A. Gretton. Teoría del aprendizaje para la regresión de distribución . Journal of Machine Learning Research , 17 (152): 1–40, 2016.
enlaces externos
- Caja de herramientas de Estimadores teóricos de información (demostración de regresión de distribución).