Análisis de componentes independientes

Parte de una serie sobre
Aprendizaje automático y minería de datos
Problemas Clasificación Agrupación Regresión Detección de anomalías AutoML reglas de asociación Aprendizaje reforzado Predicción estructurada Ingeniería de características Aprendizaje de funciones Aprender en línea Aprendizaje semi-supervisado Aprendizaje sin supervisión Aprendiendo a clasificar Inducción gramatical
Aprendizaje supervisado ( clasificación  • regresión ) Árboles de decisión Conjuntos Harpillera Impulsando Bosque aleatorio k -NN Regresión lineal Bayes ingenuo Redes neuronales artificiales Regresión logística Perceptrón Máquina de vectores de relevancia (RVM) Máquina de vectores de soporte (SVM)
Agrupación ABEDUL CURA Jerárquico k -significa Expectativa-maximización (EM) DBSCAN ÓPTICA Cambio medio
Reducción de dimensionalidad Análisis factorial CCA ICA LDA NMF PCA PGD t-SNE
Predicción estructurada Modelos graficos Red de Bayes Campo aleatorio condicional Markov oculto
Detección de anomalías k -NN Factor de valor atípico local
Red neuronal artificial Autoencoder Computación cognitiva Aprendizaje profundo DeepDream Perceptrón multicapa RNN LSTM GRU ESN Máquina de Boltzmann restringida GAN SOM Red neuronal convolucional U-Net Transformador Red neuronal en aumento Memtransistor RAM electroquímica (ECRAM)
Aprendizaje reforzado Q-aprendizaje SARSA Diferencia temporal (TD)
Teoría Compensación entre sesgo y varianza Teoría del aprendizaje computacional Minimización de riesgos empíricos Aprendizaje de Occam Aprendizaje PAC Aprendizaje estadístico Teoría de VC
Lugares de aprendizaje automático NeurIPS ICML ML JMLR ArXiv: cs.LG
Artículos relacionados Glosario de inteligencia artificial Lista de conjuntos de datos para la investigación de aprendizaje automático Esquema del aprendizaje automático
v t mi

Este artículo tiene varios problemas. Ayude a mejorarlo o discuta estos problemas en la página de discusión . ( Obtenga información sobre cómo y cuándo eliminar estos mensajes de plantilla ) Este artículo necesita citas adicionales para su verificación . Por favor, ayuda a mejorar este artículo mediante la adición de citas de fuentes confiables . El material no obtenido puede ser cuestionado y eliminado. Encuentre fuentes:  "Análisis de componentes independientes"  -  noticias  · periódicos  · libros  · académico  · JSTOR ( octubre de 2011 ) ( Aprenda cómo y cuándo eliminar este mensaje de plantilla ) Este artículo necesita la atención de un experto en estadística . Agregue un motivo o un parámetro de conversación a esta plantilla para explicar el problema con el artículo. WikiProject Statistics puede ayudar a contratar a un experto. ( Noviembre de 2008 ) ( Aprenda cómo y cuándo eliminar este mensaje de plantilla )

En el procesamiento de señales , el análisis de componentes independientes ( ICA ) es un método computacional para separar una señal multivariante en subcomponentes aditivos. Esto se hace asumiendo que los subcomponentes son señales no gaussianas y que son estadísticamente independientes entre sí. ICA es un caso especial de separación de fuente ciega . Un ejemplo de aplicación común es el " problema del cóctel " de escuchar el discurso de una persona en una habitación ruidosa. ^[1]

Introducción

Reproducir medios

ICA en cuatro videos mezclados al azar. ^[2] Arriba: los videos fuente originales. Medio: Cuatro mezclas aleatorias utilizadas como entrada al algoritmo. Abajo: Los videos reconstruidos.

El análisis de componentes independientes intenta descomponer una señal multivariante en señales independientes no gaussianas. Por ejemplo, el sonido suele ser una señal que se compone de la suma numérica, en cada tiempo t, de señales de varias fuentes. La pregunta entonces es si es posible separar estas fuentes contribuyentes de la señal total observada. Cuando la suposición de independencia estadística es correcta, la separación ICA ciega de una señal mixta da muy buenos resultados. ^{[ cita requerida ]} También se utiliza para señales que no se supone que se generen mediante la mezcla con fines de análisis.

Una aplicación simple de ICA es el " problema del cóctel ", en el que las señales de voz subyacentes se separan de una muestra de datos que consta de personas hablando simultáneamente en una habitación. Por lo general, el problema se simplifica asumiendo que no hay retrasos ni ecos. Tenga en cuenta que una señal filtrada y retardada es una copia de un componente dependiente y, por lo tanto, no se viola el supuesto de independencia estadística.

Los pesos de mezcla para construir las señales observadas a partir de los componentes se pueden colocar en una matriz. Un aspecto importante a tener en cuenta es que, si las fuentes están presentes, se necesitan al menos observaciones (por ejemplo, micrófonos si la señal observada es audio) para recuperar las señales originales. Cuando hay un número igual de observaciones y señales de origen, la matriz de mezcla es cuadrada ( ). Se han investigado otros casos de subdeterminado ( ) y sobredeterminado ( ).${\textstyle M}$${\textstyle N}$${\textstyle M\times N}$${\textstyle N}$${\textstyle N}$${\textstyle M=N}$${\textstyle M<N}$${\textstyle M>N}$

El hecho de que la separación ICA de señales mixtas dé muy buenos resultados se basa en dos suposiciones y tres efectos de la mezcla de señales fuente. Dos supuestos:

1. Las señales de la fuente son independientes entre sí.
2. Los valores de cada señal fuente tienen distribuciones no gaussianas.

Tres efectos de mezclar señales de fuente:

1. Independencia: según el supuesto 1, las señales de la fuente son independientes; sin embargo, sus mezclas de señales no lo son. Esto se debe a que las mezclas de señales comparten las mismas señales de origen.
2. Normalidad: Según el Teorema del límite central , la distribución de una suma de variables aleatorias independientes con varianza finita tiende hacia una distribución gaussiana.
   Hablando libremente, una suma de dos variables aleatorias independientes generalmente tiene una distribución más cercana a la gaussiana que cualquiera de las dos variables originales. Aquí consideramos el valor de cada señal como la variable aleatoria.
3. Complejidad: la complejidad temporal de cualquier mezcla de señales es mayor que la de su señal fuente constituyente más simple.

Estos principios contribuyen al establecimiento básico de ICA. Si las señales extraídas de un conjunto de mezclas son independientes y tienen histogramas no gaussianos o tienen baja complejidad, entonces deben ser señales fuente. ^{[3] [4]}

Definición de la independencia de los componentes

ICA encuentra los componentes independientes (también llamados factores, variables latentes o fuentes) maximizando la independencia estadística de los componentes estimados. Podemos elegir una de las muchas formas de definir un proxy para la independencia, y esta elección gobierna la forma del algoritmo ICA. Las dos definiciones más amplias de independencia para ICA son

1. Minimización de la información mutua
2. Maximización de la no gaussianidad

La familia de algoritmos ICA de minimización de información mutua (MMI) utiliza medidas como la divergencia de Kullback-Leibler y la entropía máxima . La familia de algoritmos ICA no gaussianos, motivada por el teorema del límite central , utiliza la curtosis y la negentropía .

Los algoritmos típicos para ICA usan centrado (restar la media para crear una señal de media cero), blanqueamiento (generalmente con la descomposición del valor propio ) y reducción de dimensionalidad como pasos de preprocesamiento para simplificar y reducir la complejidad del problema para el algoritmo iterativo real. El blanqueamiento y la reducción de la dimensión se pueden lograr con el análisis de componentes principales o la descomposición de valores singulares . El blanqueamiento garantiza que todas las dimensiones se traten por igual a priori antes de ejecutar el algoritmo. Los algoritmos conocidos para ICA incluyen infomax , FastICA , JADE yanálisis de componentes independientes del kernel , entre otros. En general, ICA no puede identificar el número real de señales de origen, un orden únicamente correcto de las señales de origen, ni el escalado adecuado (incluido el signo) de las señales de origen.

ICA es importante para la separación ciega de señales y tiene muchas aplicaciones prácticas. Está estrechamente relacionado con (o incluso un caso especial de) la búsqueda de un código factorial de los datos, es decir, una nueva representación con valores vectoriales de cada vector de datos de manera que se codifique de forma única por el vector de código resultante (sin pérdidas). codificación), pero los componentes del código son estadísticamente independientes.

Definiciones matemáticas

El análisis de componentes independientes lineales se puede dividir en casos silenciosos y ruidosos, donde el ICA silencioso es un caso especial de ICA ruidoso. La ICA no lineal debe considerarse como un caso separado.

Definición general

Los datos están representados por el vector aleatorio observado y los componentes ocultos como el vector aleatorio. La tarea es transformar los datos observados usando una transformación estática lineal como en un vector de componentes máximamente independientes medidos por alguna función de independencia.${\displaystyle {\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}}$${\displaystyle {\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}.}$${\displaystyle {\boldsymbol {x}},}$${\displaystyle {\boldsymbol {W}}}$${\displaystyle {\boldsymbol {s}}={\boldsymbol {W}}{\boldsymbol {x}},}$${\displaystyle {\boldsymbol {s}}}$${\displaystyle F(s_{1},\ldots ,s_{n})}$

Modelo generativo

ICA lineal silencioso

Los componentes del vector aleatorio observado se generan como una suma de los componentes independientes , :${\displaystyle x_{i}}$${\displaystyle {\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}}$${\displaystyle s_{k}}$${\displaystyle k=1,\ldots ,n}$

${\displaystyle x_{i}=a_{i,1}s_{1}+\cdots +a_{i,k}s_{k}+\cdots +a_{i,n}s_{n}}$

ponderado por los pesos de mezcla .${\displaystyle a_{i,k}}$

El mismo modelo generativo se puede escribir en forma vectorial como , donde el vector aleatorio observado está representado por los vectores base . Los vectores base forman las columnas de la matriz de mezcla y la fórmula generativa se puede escribir como , donde .${\displaystyle {\boldsymbol {x}}=\sum _{k=1}^{n}s_{k}{\boldsymbol {a}}_{k}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {a}}_{k}=({\boldsymbol {a}}_{1,k},\ldots ,{\boldsymbol {a}}_{m,k})^{T}}$${\displaystyle {\boldsymbol {a}}_{k}}$${\displaystyle {\boldsymbol {A}}=({\boldsymbol {a}}_{1},\ldots ,{\boldsymbol {a}}_{n})}$${\displaystyle {\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}}$${\displaystyle {\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}}$

Dados el modelo y las realizaciones (muestras) del vector aleatorio , la tarea es estimar tanto la matriz de mezcla como las fuentes . Esto se hace calculando adaptativamente los vectores y estableciendo una función de costo que maximiza la no gaussianidad de lo calculado o minimiza la información mutua. En algunos casos, el conocimiento a priori de las distribuciones de probabilidad de las fuentes se puede utilizar en la función de costos.${\displaystyle {\boldsymbol {x}}_{1},\ldots ,{\boldsymbol {x}}_{N}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {A}}}$${\displaystyle {\boldsymbol {s}}}$${\displaystyle {\boldsymbol {w}}}$${\displaystyle s_{k}={\boldsymbol {w}}^{T}{\boldsymbol {x}}}$

Las fuentes originales se pueden recuperar multiplicando las señales observadas con la inversa de la matriz de mezcla , también conocida como matriz de desmezcla. Aquí se supone que la matriz de mezcla es cuadrada ( ). Si el número de vectores base es mayor que la dimensionalidad de los vectores observados , la tarea está sobrecompleta pero aún se puede resolver con el pseudo inverso .${\displaystyle {\boldsymbol {s}}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {W}}={\boldsymbol {A}}^{-1}}$${\displaystyle n=m}$${\displaystyle n>m}$

ICA lineal ruidoso

Con la suposición adicional de ruido gaussiano de media cero y sin correlación , el modelo ICA toma la forma .${\displaystyle n\sim N(0,\operatorname {diag} (\Sigma ))}$${\displaystyle {\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}+n}$

ICA no lineal

La mezcla de las fuentes no necesita ser lineal. Usando una función de mezcla no lineal con parámetros, el modelo ICA no lineal es .${\displaystyle f(\cdot |\theta )}$${\displaystyle \theta }$${\displaystyle x=f(s|\theta )+n}$

Identificabilidad

Los componentes independientes son identificables hasta una permutación y escalado de las fuentes. Esta identificabilidad requiere que:

• A lo sumo, una de las fuentes es gaussiana,${\displaystyle s_{k}}$
• El número de mezclas observadas, , debe ser al menos tan grande como el número de componentes estimadas : . Es equivalente a decir que la matriz de mezcla debe ser de rango completo para que exista su inversa.${\displaystyle m}$${\displaystyle n}$${\displaystyle m\geq n}$${\displaystyle {\boldsymbol {A}}}$

ICA binario

Una variante especial de ICA es ICA binario en el que tanto las fuentes de señal como los monitores están en forma binaria y las observaciones de los monitores son mezclas disyuntivas de fuentes binarias independientes. Se demostró que el problema tiene aplicaciones en muchos dominios, incluido el diagnóstico médico , la asignación de múltiples grupos , la tomografía de red y la gestión de recursos de Internet .

Sea el conjunto de variables binarias de los monitores y el conjunto de variables binarias de las fuentes. Las conexiones fuente-monitor están representadas por la matriz de mezcla (desconocida) , donde indica que la señal de la i -ésima fuente puede ser observada por el j -ésimo monitor. El sistema funciona de la siguiente manera: en cualquier momento, si una fuente está activa ( ) y está conectada al monitor ( ) entonces el monitor observará alguna actividad ( ). Formalmente tenemos:${\displaystyle {x_{1},x_{2},\ldots ,x_{m}}}$${\displaystyle m}$${\displaystyle {y_{1},y_{2},\ldots ,y_{n}}}$${\displaystyle n}$${\textstyle {\boldsymbol {G}}}$${\displaystyle g_{ij}=1}$${\displaystyle i}$${\displaystyle y_{i}=1}$${\displaystyle j}$${\displaystyle g_{ij}=1}$${\displaystyle j}$${\displaystyle x_{j}=1}$

${\displaystyle x_{i}=\bigvee _{j=1}^{n}(g_{ij}\wedge y_{j}),i=1,2,\ldots ,m,}$

donde es booleano AND y es booleano OR. Tenga en cuenta que el ruido no se modela explícitamente, sino que se puede tratar como una fuente independiente.${\displaystyle \wedge }$${\displaystyle \vee }$

El problema anterior puede resolverse heurísticamente ^[5] asumiendo que las variables son continuas y ejecutando FastICA en datos de observación binaria para obtener la matriz de mezcla (valores reales), luego aplicar técnicas de números redondos para obtener los valores binarios. Se ha demostrado que este enfoque produce un resultado muy inexacto. ^{[ cita requerida ]}${\textstyle {\boldsymbol {G}}}$${\textstyle {\boldsymbol {G}}}$

Otro método es utilizar la programación dinámica : dividir recursivamente la matriz de observación en sus submatrices y ejecutar el algoritmo de inferencia en estas submatrices. La observación clave que conduce a este algoritmo es la submatriz de donde corresponde a la matriz de observación insesgada de componentes ocultos que no tienen conexión con el -ésimo monitor. Los resultados experimentales de ^[6] muestran que este enfoque es preciso con niveles de ruido moderados.${\textstyle {\boldsymbol {X}}}$${\textstyle {\boldsymbol {X}}^{0}}$${\textstyle {\boldsymbol {X}}}$${\textstyle x_{ij}=0,\forall j}$${\displaystyle i}$

El marco ICA binario generalizado ^[7] introduce una formulación de problema más amplia que no requiere ningún conocimiento sobre el modelo generativo. En otras palabras, este método intenta descomponer una fuente en sus componentes independientes (tanto como sea posible y sin perder información) sin suponer previamente la forma en que fue generada. Aunque este problema parece bastante complejo, se puede resolver con precisión con un algoritmo de árbol de búsqueda de rama y límite o con un límite superior estricto con una sola multiplicación de una matriz con un vector.

Métodos para la separación ciega de fuentes

Búsqueda de proyección

Las mezclas de señales tienden a tener funciones de densidad de probabilidad gaussianas y las señales fuente tienden a tener funciones de densidad de probabilidad no gaussianas. Cada señal de fuente se puede extraer de un conjunto de mezclas de señales tomando el producto interno de un vector de peso y aquellas mezclas de señales donde este producto interno proporciona una proyección ortogonal de las mezclas de señales. El desafío restante es encontrar ese vector de peso. Un tipo de método para hacerlo es la búsqueda de proyecciones . ^{[8] [9]}

La búsqueda de proyecciones busca una proyección a la vez, de modo que la señal extraída sea lo más no gaussiana posible. Esto contrasta con ICA, que normalmente extrae M señales simultáneamente de M mezclas de señales, lo que requiere estimar una matriz de desmezcla M × M. Una ventaja práctica de la búsqueda de proyección sobre ICA es que se pueden extraer menos de M señales si es necesario, donde cada señal de fuente se extrae de M mezclas de señales usando un vector de peso de elemento M.

Podemos usar la curtosis para recuperar la señal de múltiples fuentes encontrando los vectores de peso correctos con el uso de la búsqueda de proyección.

La curtosis de la función de densidad de probabilidad de una señal, para una muestra finita, se calcula como

${\displaystyle K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3}$

donde es la media muestral de las señales extraídas. La constante 3 asegura que las señales gaussianas tengan curtosis cero, las señales supergaussianas tengan curtosis positiva y las señales subgaussianas tengan curtosis negativa. El denominador es la varianza de y asegura que la curtosis medida tenga en cuenta la varianza de la señal. El objetivo de la búsqueda de proyección es maximizar la curtosis y hacer que la señal extraída sea lo más anormal posible.${\displaystyle \mathbf {\overline {y}} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {y} }$

Usando la curtosis como una medida de no normalidad, ahora podemos examinar cómo varía la curtosis de una señal extraída de un conjunto de M mezclas a medida que el vector de peso gira alrededor del origen. Dada nuestra suposición de que cada señal de fuente es supergaussiana, esperaríamos:${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {x} }$${\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{M})^{T}}$${\displaystyle \mathbf {w} }$${\displaystyle \mathbf {s} }$

1. la curtosis de la señal extraída debe ser máxima precisamente cuando .${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {y} =\mathbf {s} }$
2. la curtosis de la señal extraída debe ser máxima cuando es ortogonal a los ejes proyectados o , porque sabemos que el vector de peso óptimo debe ser ortogonal a un eje transformado o .${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {w} }$${\displaystyle S_{1}}$${\displaystyle S_{2}}$${\displaystyle S_{1}}$${\displaystyle S_{2}}$

Para múltiples señales de mezcla de fuentes, podemos usar curtosis y ortogonalización Gram-Schmidt (GSO) para recuperar las señales. Dadas M mezclas de señales en un espacio M -dimensional, la OSG proyecta estos puntos de datos en un espacio ( M-1 ) -dimensional usando el vector de peso. Podemos garantizar la independencia de las señales extraídas con el uso de GSO.

Para encontrar el valor correcto de , podemos usar el método de descenso de gradiente . En primer lugar, blanqueamos los datos y los transformamos en una nueva mezcla , que tiene varianza unitaria y . Este proceso se puede lograr aplicando la descomposición de valores singulares a ,${\displaystyle \mathbf {w} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {z} }$${\displaystyle \mathbf {z} =(z_{1},z_{2},\ldots ,z_{M})^{T}}$${\displaystyle \mathbf {x} }$

${\displaystyle \mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}}$

Cambiar la escala de cada vector y dejar . La señal extraída por un vector ponderado es . Si el vector de peso w tiene una unidad de longitud, es decir , entonces la curtosis se puede escribir como:${\displaystyle U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})}$${\displaystyle \mathbf {z} =\mathbf {U} }$${\displaystyle \mathbf {w} }$${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {z} }$${\displaystyle \operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1}$

${\displaystyle K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2}}}-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.}$

El proceso de actualización de es:${\displaystyle \mathbf {w} }$

${\displaystyle \mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z} )^{3}].}$

donde es una pequeña constante para garantizar que converge a la solución óptima. Después de cada actualización, normalizamos , configuramos y repetimos el proceso de actualización hasta la convergencia. También podemos usar otro algoritmo para actualizar el vector de peso .${\displaystyle \eta }$${\displaystyle \mathbf {w} }$${\displaystyle \mathbf {w} _{new}={\frac {\mathbf {w} _{new}}{|\mathbf {w} _{new}|}}}$${\displaystyle \mathbf {w} _{old}=\mathbf {w} _{new}}$${\displaystyle \mathbf {w} }$

Otro enfoque es el uso de negentropía ^{[10] [11] en} lugar de curtosis. El uso de negentropía es un método más robusto que la curtosis, ya que la curtosis es muy sensible a los valores atípicos. Los métodos de negentropía se basan en una propiedad importante de la distribución gaussiana: una variable gaussiana tiene la mayor entropía entre todas las variables aleatorias continuas de igual varianza. Esta es también la razón por la que queremos encontrar la mayoría de las variables no gaussianas. Se puede encontrar una prueba simple en Entropía diferencial .

${\displaystyle J(x)=S(y)-S(x)\,}$

y es una variable aleatoria gaussiana de la misma matriz de covarianza que x

${\displaystyle S(x)=-\int p_{x}(u)\log p_{x}(u)du}$

Una aproximación de la negentropía es

${\displaystyle J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^{2}}$

Se puede encontrar una prueba en los documentos originales de Comon; ^{[12] [10]} se ha reproducido en el libro Análisis de componentes independientes de Aapo Hyvärinen, Juha Karhunen y Erkki Oja ^[13] Esta aproximación también adolece del mismo problema que la curtosis (sensibilidad a valores atípicos). Se han desarrollado otros enfoques. ^[14]

${\displaystyle J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v))^{2}}$

Una elección de y son ${\displaystyle G_{1}}$${\displaystyle G_{2}}$

${\displaystyle G_{1}={\frac {1}{a_{1}}}\log(\cosh(a_{1}u))}$ y ${\displaystyle G_{2}=-\exp(-{\frac {u^{2}}{2}})}$

Basado en infomax

Infomax ICA ^[15] es esencialmente una versión paralela y multivariante de la búsqueda de proyección. Mientras que la búsqueda de proyección extrae una serie de señales una a la vez de un conjunto de mezclas de señales M , ICA extrae señales M en paralelo. Esto tiende a hacer que ICA sea más robusto que la búsqueda de proyecciones. ^[dieciséis]

El método de búsqueda de proyección utiliza ortogonalización de Gram-Schmidt para asegurar la independencia de la señal extraída, mientras que ICA utiliza infomax y estimación de máxima verosimilitud para asegurar la independencia de la señal extraída. La No Normalidad de la señal extraída se logra asignando un modelo apropiado, o previo, para la señal.

El proceso de ICA basado en infomax en resumen es: dado un conjunto de mezclas de señales y un conjunto de funciones de distribución acumulativa (cdfs) idénticas de modelos independientes , buscamos la matriz de desmezcla que maximiza la entropía conjunta de las señales , donde se extraen las señales por . Dado el óptimo , las señales tienen la máxima entropía y por lo tanto son independientes, lo que asegura que las señales extraídas también sean independientes. es una función invertible y es el modelo de señal. Tenga en cuenta que si la función de densidad de probabilidad del modelo de señal fuente coincide con la función de densidad de probabilidad${\displaystyle \mathbf {x} }$${\displaystyle g}$${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$${\displaystyle \mathbf {y} =\mathbf {Wx} }$${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {y} =g^{-1}(\mathbf {Y} )}$${\displaystyle g}$ ${\displaystyle p_{s}}$de la señal extraída , luego maximizar la entropía conjunta de también maximiza la cantidad de información mutua entre y . Por esta razón, el uso de la entropía para extraer señales independientes se conoce como infomax .${\displaystyle p_{\mathbf {y} }}$${\displaystyle Y}$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {Y} }$

Considere la entropía de la variable vectorial , donde es el conjunto de señales extraídas por la matriz de desmezcla . Para un conjunto finito de valores muestreados a partir de una distribución con pdf , la entropía de se puede estimar como:${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$${\displaystyle \mathbf {y} =\mathbf {Wx} }$${\displaystyle \mathbf {W} }$${\displaystyle p_{\mathbf {y} }}$${\displaystyle \mathbf {Y} }$

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} ^{t})}$

Se puede demostrar que el pdf conjunto está relacionado con el pdf conjunto de las señales extraídas mediante la forma multivariante:${\displaystyle p_{\mathbf {Y} }}$${\displaystyle p_{\mathbf {y} }}$

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}}$

donde está la matriz jacobiana . Tenemos , y es el pdf asumido para las señales fuente , por lo tanto,${\displaystyle \mathbf {J} ={\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}}$${\displaystyle |\mathbf {J} |=g'(\mathbf {y} )}$${\displaystyle g'}$${\displaystyle g'=p_{s}}$

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

por lo tanto,

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

Sabemos que cuando , es de distribución uniforme y se maximiza. Desde${\displaystyle p_{\mathbf {y} }=p_{s}}$${\displaystyle p_{\mathbf {Y} }}$${\displaystyle H({\mathbf {Y} })}$

${\displaystyle p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}}$

donde es el valor absoluto del determinante de la matix de desmezcla . Por lo tanto,${\displaystyle |\mathbf {W} |}$${\displaystyle \mathbf {W} }$

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }(\mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})}}}$

entonces,

${\displaystyle H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )}$

ya que , y maximizar no afecta , por lo que podemos maximizar la función${\displaystyle H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x} ^{t})}$${\displaystyle \mathbf {W} }$${\displaystyle H_{\mathbf {x} }}$

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |}$

para lograr la independencia de la señal extraída.

Si hay M pdf marginales del modelo pdf conjunto que son independientes y utilizan el modelo pdf comúnmente supergaussiano para las señales fuente , entonces tenemos${\displaystyle p_{\mathbf {s} }}$${\displaystyle p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})}$

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w_{i}^{T}x^{t}} )^{2})+\ln |\mathbf {W} |}$

En la suma, dada una mezcla de señales observada , el conjunto correspondiente de señales extraídas y el modelo de señal fuente , podemos encontrar la matriz de desmezcla óptima y hacer que las señales extraídas sean independientes y no gaussianas. Al igual que en la situación de búsqueda de proyección, podemos usar el método de descenso de gradiente para encontrar la solución óptima de la matriz de desmezcla.${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$${\displaystyle p_{\mathbf {s} }=g'}$${\displaystyle \mathbf {W} }$

Basado en la estimación de máxima verosimilitud

La estimación de máxima verosimilitud (MLE) es una herramienta estadística estándar para encontrar valores de parámetros (por ejemplo, la matriz de desmezcla) que proporcionan el mejor ajuste de algunos datos (por ejemplo, las señales extraídas) a un modelo dado (por ejemplo, la función de densidad de probabilidad conjunta asumida (pdf)de señales fuente). ^[dieciséis]${\displaystyle \mathbf {W} }$${\displaystyle y}$${\displaystyle p_{s}}$

El "modelo" ML incluye una especificación de un pdf, que en este caso es el pdf de las señales fuente desconocidas . Usando ML ICA , el objetivo es encontrar una matriz de desmezcla que produzca señales extraídas con un pdf conjunto lo más similar posible al pdf conjunto de las señales de fuente desconocidas .${\displaystyle p_{s}}$${\displaystyle s}$${\displaystyle y=\mathbf {W} x}$${\displaystyle p_{s}}$${\displaystyle s}$

Por lo tanto, MLE se basa en la suposición de que si el pdf del modelo y los parámetros del modelo son correctos, entonces se debe obtener una alta probabilidad para los datos que realmente se observaron. Por el contrario, si está lejos de los valores correctos de los parámetros, se esperaría una baja probabilidad de los datos observados.${\displaystyle p_{s}}$${\displaystyle \mathbf {A} }$${\displaystyle x}$${\displaystyle \mathbf {A} }$

Usando MLE , llamamos a la probabilidad de los datos observados para un conjunto dado de valores de parámetros del modelo (por ejemplo, un pdf y una matriz ) la probabilidad de los valores de los parámetros del modelo dados los datos observados.${\displaystyle p_{s}}$${\displaystyle \mathbf {A} }$

Definimos una función de probabilidad de :${\displaystyle \mathbf {L(W)} }$${\displaystyle \mathbf {W} }$

${\displaystyle \mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.}$

Esto equivale a la densidad de probabilidad en , ya que .${\displaystyle x}$${\displaystyle s=\mathbf {W} x}$

Por lo tanto, si deseamos encontrar una que es más probable que haya generado las mezclas observadas a partir de las señales fuente desconocidas con pdf, entonces solo necesitamos encontrar aquello que maximice la probabilidad . La matriz de desmezcla que maximiza la ecuación se conoce como el MLE de la matriz de desmezcla óptima.${\displaystyle \mathbf {W} }$${\displaystyle x}$${\displaystyle s}$${\displaystyle p_{s}}$${\displaystyle \mathbf {W} }$ ${\displaystyle \mathbf {L(W)} }$

Es una práctica común utilizar la probabilidad logarítmica , porque es más fácil de evaluar. Como el logaritmo es una función monótona, el que maximiza la función también maximiza su logaritmo . Esto nos permite tomar el logaritmo de la ecuación anterior, lo que produce la función logarítmica de verosimilitud${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {L(W)} }$${\displaystyle \ln \mathbf {L(W)} }$

${\displaystyle \ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |}$

Si sustituimos un pdf de modelo de alta curtosis de uso común para las señales de origen, entonces tenemos${\displaystyle p_{s}=(1-\tanh(s)^{2})}$

${\displaystyle \ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |}$

Esta matriz que maximiza esta función es la estimación de máxima verosimilitud .${\displaystyle \mathbf {W} }$

Historia y antecedentes

El primer marco general para el análisis de componentes independientes fue introducido por Jeanny Hérault y Bernard Ans en 1984, ^[17] desarrollado por Christian Jutten en 1985 y 1986, ^{[18] [19] [20]} y perfeccionado por Pierre Comon en 1991, ^{[ 12]} y popularizado en su artículo de 1994. ^[10] En 1995, Tony Bell y Terry Sejnowski introdujeron un algoritmo ICA rápido y eficiente basado en infomax , un principio introducido por Ralph Linsker en 1987.

Hay muchos algoritmos disponibles en la literatura que hacen ICA. Uno de los más utilizados, incluso en aplicaciones industriales, es el algoritmo FastICA, desarrollado por Hyvärinen y Oja, que utiliza la curtosis como función de coste. Otros ejemplos están más bien relacionados con la separación ciega de fuentes donde se utiliza un enfoque más general. Por ejemplo, se puede descartar el supuesto de independencia y separar señales correlacionadas entre sí, por lo tanto, señales estadísticamente "dependientes". Sepp Hochreiter y Jürgen Schmidhuber mostraron cómo obtener ICA no lineal o separación de fuentes como subproducto de la regularización (1999). ^[21] Su método no requiere un conocimiento a priori sobre el número de fuentes independientes.

Aplicaciones

ICA se puede ampliar para analizar señales no físicas. Por ejemplo, ICA se ha aplicado para descubrir temas de discusión en una bolsa de archivos de listas de noticias.

Algunas aplicaciones ICA se enumeran a continuación: ^[3]

Análisis de componentes independientes en EEGLAB

• Imágenes ópticas de neuronas ^[22]
• clasificación de picos neuronales ^[23]
• reconocimiento facial ^[24]
• Modelado de campos receptivos de neuronas visuales primarias ^[25]
• predecir los precios del mercado de valores ^[26]
• comunicaciones por telefonía móvil ^[27]
• detección basada en el color de la madurez de los tomates ^[28]
• eliminar artefactos, como parpadeos, de los datos del EEG . ^[29]
• análisis de los cambios en la expresión génica a lo largo del tiempo en experimentos de secuenciación de ARN de una sola célula . ^[30]
• estudios de la red en estado de reposo del cerebro. ^[31]
• astronomía y cosmología ^[32]

Ver también

• Deconvolución ciega
• Análisis factorial
• Espectro de Hilbert
• Procesamiento de imágenes
• PCA multilineal
• Aprendizaje subespacial multilineal
• Factorización matricial no negativa (NMF)
• Reducción de dimensionalidad no lineal
• Búsqueda de proyección
• Rotación varimax

Notas

1. Hyvärinen, Aapo (2013). "Análisis de componentes independientes: avances recientes" . Transacciones filosóficas: Ciencias matemáticas, físicas y de la ingeniería . 371 (1984): 20110534. Código bibliográfico : 2012RSPTA.37110534H . doi : 10.1098 / rsta.2011.0534 . ISSN  1364-503X . JSTOR  41739975 . PMC  3538438 . PMID  23277597 .
2. Isomura, Takuya; Toyoizumi, Taro (2016). "Una regla de aprendizaje local para el análisis de componentes independientes" . Informes científicos . 6 : 28073. Bibcode : 2016NatSR ... 628073I . doi : 10.1038 / srep28073 . PMC 4914970 . PMID 27323661 .  
3. Stone, James V. (2004). Análisis de componentes independientes: una introducción tutorial . Cambridge, Massachusetts: MIT Press. ISBN 978-0-262-69315-8.
4. Hyvärinen, Aapo; Karhunen, Juha; Oja, Erkki (2001). Análisis de componentes independientes (1ª ed.). Nueva York: John Wiley & Sons. ISBN 978-0-471-22131-9.
5. Johan Himbergand Aapo Hyvärinen, Análisis de componentes independientes para datos binarios: un estudio experimental , Proc. En t. Taller sobre análisis de componentes independientes y separación de señales ciegas (ICA2001), San Diego, California, 2001.
6. Huy Nguyen y Rong Zheng, Análisis de componentes independientes binarios con o mezclas , Transacciones IEEE sobre procesamiento de señales, Vol. 59, número 7. (julio de 2011), págs. 3168–3181.
7. Painsky, Amichai; Rosset, Saharon; Feder, Meir (2014). Análisis de componentes independientes binarios generalizados . Simposio internacional de IEEE sobre teoría de la información (ISIT), 2014 . págs. 1326-1330. doi : 10.1109 / ISIT.2014.6875048 . ISBN 978-1-4799-5186-4. S2CID  18579555 .
8. James V. Stone (2004); "Análisis de componentes independientes: una introducción tutorial", The MIT Press Cambridge, Massachusetts, Londres, Inglaterra; ISBN 0-262-69315-1 
9. Kruskal, JB. 1969; "Hacia un método práctico que ayuda a descubrir la estructura de un conjunto de observaciones al encontrar la transformación de línea que optimiza un nuevo" índice de condensación ", páginas 427–440 de: Milton, RC, & Nelder, JA (eds), cálculo estadístico ; Nueva York, Academic Press
10. Pierre Comon (1994) Análisis de componentes independientes, ¿un nuevo concepto? http://www.ece.ucsb.edu/wcsl/courses/ECE594/594C_F10Madhow/comon94.pdf
11. Hyvärinen, Aapo; Erkki Oja (2000). "Análisis de componentes independientes: algoritmos y aplicaciones". Redes neuronales . 4-5. 13 (4–5): 411–430. CiteSeerX 10.1.1.79.7003 . doi : 10.1016 / s0893-6080 (00) 00026-5 . PMID 10946390 .  
12. P.Comon, Análisis de componentes independientes, Taller sobre estadísticas de orden superior, julio de 1991, republicado en JL. Lacoume, editor, Higher Order Statistics, págs. 29-38. Elsevier, Amsterdam, Londres, 1992. Enlace HAL
13. Hyvärinen, Aapo; Karhunen, Juha; Oja, Erkki (2001). Análisis de componentes independientes (Reprint ed.). Nueva York, NY: Wiley. ISBN 978-0-471-40540-5.
14. Hyvärinen, Aapo (1998). "Nuevas aproximaciones de entropía diferencial para análisis de componentes independientes y seguimiento de proyecciones". Avances en sistemas de procesamiento de información neuronal . 10 : 273-279.
15. Bell, AJ; Sejnowski, TJ (1995). "Un enfoque de maximización de la información para la separación ciega y la deconvolución ciega", Computación neuronal, 7, 1129-1159
16. James V. Stone (2004). "Análisis de componentes independientes: una introducción tutorial", The MIT Press Cambridge, Massachusetts, Londres, Inglaterra; ISBN 0-262-69315-1 
17. Hérault, J .; Ans, B. (1984). "Réseau de neurones à synapses modificables: Décodage de messages sensoriels composites par apprentissage non supervisé et permanente". Comptes Rendus de l'Académie des Sciences, Série III . 299 : 525-528.
18. Ans, B., Hérault, J. y Jutten, C. (1985). Arquitecturas neuromimétiques adaptativas: Détection de primitives. Cognitiva 85 (Vol. 2, págs. 593-597). París: CESTA.
19. Hérault, J., Jutten, C. y Ans, B. (1985). Détection de grandeurs primitives dans un message composite par une architecture de calcul neuromimétique en apprentissage non supervisé. Actas del décimo taller Traitement du signal et ses applications (Vol. 2, págs. 1017-1022). Niza (Francia): GRETSI.
20. Hérault, J. y Jutten, C. (1986). Procesamiento de señales adaptativo al espacio o al tiempo mediante modelos de redes neuronales. Interno. Conf. sobre redes neuronales para la informática (págs. 206-211). Snowbird (Utah, Estados Unidos).
21. Hochreiter, Sepp; Schmidhuber, Jürgen (1999). "Extracción de características a través de LOCOCODE" (PDF) . Computación neuronal . 11 (3): 679–714. doi : 10.1162 / 089976699300016629 . ISSN 0899-7667 . PMID 10085426 . S2CID 1642107 . Consultado el 24 de febrero de 2018 .    
22. Marrón, GD; Yamada, S; Sejnowski, TJ (2001). "Análisis de componentes independientes en el cóctel neuronal". Tendencias en neurociencias . 24 (1): 54–63. doi : 10.1016 / s0166-2236 (00) 01683-0 . PMID 11163888 . S2CID 511254 .  
23. Lewicki, MS (1998). "Una vista de métodos para la clasificación de picos: detección y clasificación de potenciales de acción neuronales". Red: Computación en sistemas neuronales . 9 (4): 53–78. doi : 10.1088 / 0954-898X_9_4_001 . S2CID 10290908 . 
24. Barlett, MS (2001). Análisis de imágenes faciales mediante aprendizaje no supervisado . Boston: Serie internacional de Kluwer sobre ingeniería y ciencias de la computación.
25. Bell, AJ; Sejnowski, TJ (1997). "Los componentes independientes de las escenas naturales son los filtros de borde" . Investigación de la visión . 37 (23): 3327–3338. doi : 10.1016 / s0042-6989 (97) 00121-1 . PMC 2882863 . PMID 9425547 .  
26. Atrás, AD; Weigend, AS (1997). "Una primera aplicación del análisis de componentes independientes para extraer la estructura de la rentabilidad de las acciones". Revista internacional de sistemas neuronales . 8 (4): 473–484. doi : 10.1142 / s0129065797000458 . PMID 9730022 . S2CID 872703 .  
27. Hyvarinen, A, Karhunen, J y Oja, E (2001a). Análisis de componentes independientes . Nueva York: John Wiley and Sons.
28. Pólder, G; van der Heijen, FWAM (2003). "Estimación de la distribución de compuestos en imágenes espectrales de tomates mediante análisis de componentes independientes". Sociedad austríaca de informática : 57–64.
29. Delorme, A; Sejnowski, T; Makeig, S (2007). "Detección mejorada de artefactos en datos de EEG utilizando estadísticas de orden superior y análisis de componentes independientes" . NeuroImage . 34 (4): 1443–1449. doi : 10.1016 / j.neuroimage.2006.11.004 . PMC 2895624 . PMID 17188898 .  
30. Trapnell, C; Cacchiarelli, D; Grimsby, J (2014). "La dinámica y los reguladores de las decisiones del destino celular se revelan mediante el ordenamiento pseudotemporal de las células individuales" . Biotecnología de la naturaleza . 32 (4): 381–386. doi : 10.1038 / nbt.2859 . PMC 4122333 . PMID 24658644 .  
31. Kiviniemi, Vesa J .; Kantola, Juha-Heikki; Jauhiainen, Jukka; Hyvärinen, Aapo; Tervonen, Osmo (2003). "Análisis de componentes independientes de fuentes de señal de fMRI no deterministas". NeuroImage . 19 (2): 253–260. doi : 10.1016 / S1053-8119 (03) 00097-1 . PMID 12814576 . S2CID 17110486 .  
32. Wang, Jingying; Xu, Haiguang; Gu, Junhua; An, Tao; Cui, Haijuan; Li, Jianxun; Zhang, Zhongli; Zheng, Qian; Wu, Xiang-Ping (1 de noviembre de 2010). "¿Cómo identificar y separar los cúmulos de galaxias brillantes del cielo de radio de baja frecuencia?" . El diario astrofísico . 723 (1): 620–633. doi : 10.1088 / 0004-637X / 723/1/620 . ISSN 0004-637X . 

Referencias

• Comon, Pierre (1994): "Análisis de componentes independientes: ¿un nuevo concepto?" , Signal Processing , 36 (3): 287–314 (El documento original que describe el concepto de ICA)
• Hyvärinen, A .; Karhunen, J .; Oja, E. (2001): Independent Component Analysis , Nueva York: Wiley, ISBN 978-0-471-40540-5 ( capítulo introductorio ) 
• Hyvärinen, A .; Oja, E. (2000): "Análisis de componentes independientes: algoritmos y aplicación" , Redes neuronales , 13 (4-5): 411-430. (Introducción técnica pero pedagógica).
• Comon, P .; Jutten C., (2010): Manual de separación ciega de fuentes, análisis y aplicaciones de componentes independientes. Academic Press, Oxford Reino Unido. ISBN 978-0-12-374726-6 
• Lee, T.-W. (1998): Análisis de componentes independientes: Teoría y aplicaciones , Boston, Mass: Kluwer Academic Publishers, ISBN 0-7923-8261-7 
• Acharyya, Ranjan (2008): A New Approach for Blind Source Separation of Convolutive Sources - Wavelet Based Separation Using Shrinkage Function ISBN 3-639-07797-0 ISBN 978-3639077971 (este libro se centra en el aprendizaje no supervisado con separación ciega de fuentes)   

Enlaces externos

• ¿Qué es el análisis de componentes independientes? por Aapo Hyvärinen
• Análisis de componentes independientes: un tutorial de Aapo Hyvärinen
• Un tutorial sobre análisis de componentes independientes
• FastICA como paquete para Matlab, en lenguaje R, C ++
• Cajas de herramientas ICALAB para Matlab, desarrolladas en RIKEN
• El kit de herramientas de análisis de señales de alto rendimiento proporciona implementaciones C ++ de FastICA e Infomax
• Caja de herramientas ICA Herramientas de Matlab para ICA con Bell-Sejnowski, Molgedey-Schuster e ICA de campo medio. Desarrollado en DTU.
• Demostración del problema de los cócteles
• EEGLAB Toolbox ICA de EEG para Matlab, desarrollado en UCSD.
• FMRLAB Toolbox ICA de fMRI para Matlab, desarrollado en UCSD
• MELODIC , parte de la biblioteca de software FMRIB .
• Discusión del ICA utilizado en un contexto biomédico de representación de formas
• Algoritmo FastICA, CuBICA, JADE y TDSEP para Python y más ...
• Grupo ICA Toolbox y Fusion ICA Toolbox
• Tutorial: uso de ICA para limpiar señales de EEG