El aprendizaje subespacial multilineal es un enfoque para la reducción de la dimensionalidad. [1] [2] [3] [4] [5] La reducción de dimensionalidad se puede realizar en un tensor de datos cuyas observaciones han sido vectorizadas [1] y organizadas en un tensor de datos, o cuyas observaciones son matrices que se concatenan en un dato tensor. [6] [7] Aquí hay algunos ejemplos de tensores de datos cuyas observaciones están vectorizadas o cuyas observaciones son matrices concatenadas en imágenes de tensor de datos (2D / 3D), secuencias de video (3D / 4D) y cubos hiperespectrales (3D / 4D).
El mapeo de un espacio vectorial de alta dimensión a un conjunto de espacios vectoriales de dimensión inferior es una proyección multilineal. [4] Cuando las observaciones se retienen en la misma estructura organizativa que el sensor las proporciona; como matrices o tensores de orden superior, sus representaciones se calculan realizando N múltiples proyecciones lineales. [6]
Los algoritmos de aprendizaje del subespacio multilineal son generalizaciones de orden superior de métodos de aprendizaje del subespacio lineal , como el análisis de componentes principales (PCA), el análisis de componentes independientes (ICA), el análisis discriminante lineal (LDA) y el análisis de correlación canónica (CCA).
Fondo
Con los avances en la adquisición de datos y la tecnología de almacenamiento , grandes volúmenes de datos (o conjuntos de datos masivos) se generan a diario en una amplia gama de aplicaciones emergentes. La mayoría de estos macrodatos son multidimensionales. Además, suelen ser de muy alta dimensión , con una gran cantidad de redundancia y solo ocupan una parte del espacio de entrada. Por lo tanto, la reducción de dimensionalidad se emplea con frecuencia para mapear datos de alta dimensión en un espacio de baja dimensión mientras se retiene la mayor cantidad de información posible.
Los algoritmos de aprendizaje del subespacio lineal son técnicas tradicionales de reducción de dimensionalidad que representan los datos de entrada como vectores y resuelven un mapeo lineal óptimo en un espacio de menor dimensión. Desafortunadamente, a menudo se vuelven inadecuados cuando se trata de datos multidimensionales masivos. Dan como resultado vectores de muy alta dimensión, conducen a la estimación de un gran número de parámetros. [1] [6] [7] [8] [9]
El aprendizaje subespacial multilineal emplea diferentes tipos de herramientas de análisis de tensor de datos para reducir la dimensionalidad. El aprendizaje subespacial multilineal se puede aplicar a observaciones cuyas medidas se vectorizaron y organizaron en un tensor de datos, [1] o cuyas medidas se tratan como una matriz y se concatenan en un tensor. [10]
Algoritmos
Análisis multilineal de componentes principales
Históricamente, el análisis de componentes principales multilineal se ha denominado "PCA en modo M", una terminología que fue acuñada por Peter Kroonenberg. [11] En 2005, Vasilescu y Terzopoulos introdujeron la terminología Multilinear PCA [12] como una forma de diferenciar mejor entre las descomposiciones de tensor multilineal que calculan estadísticas de segundo orden asociadas con cada modo de tensor de datos (eje) s, [1] [2] [ 3] [13] [8] y el trabajo posterior en Análisis de componentes independientes multilineales [12] que calculó estadísticas de orden superior asociadas con cada modo / eje tensorial. MPCA es una extensión de PCA .
Análisis multilineal de componentes independientes
El análisis multilineal de componentes independientes [12] es una extensión de ICA .
Análisis discriminante lineal multilineal
- Extensión multilineal de LDA
- Basado en TTP: análisis discriminante con representación tensorial (DATER) [9]
- Basado en TTP: análisis discriminante de tensor general (GTDA) [14]
- Basado en TVP: análisis discriminante multilineal no correlacionado (UMLDA) [15]
Análisis de correlación canónica multilineal
- Extensión multilineal de CCA
- Basado en TTP: Análisis de correlación canónica tensorial (TCCA) [16]
- Basado en TVP: Análisis de correlación canónica multilineal (MCCA) [17]
- Basado en TVP: Análisis de correlación canónica multilineal bayesiana (BMTF) [18]
- Un TTP es una proyección directa de un tensor de alta dimensión a un tensor de baja dimensión del mismo orden, utilizando N matrices de proyección para un tensor de N -ésimo orden. Se puede realizar en N pasos con cada paso realizando una multiplicación de matriz tensorial (producto). Los N pasos son intercambiables. [19] Esta proyección es una extensión de la descomposición de valores singulares de orden superior [19] (HOSVD) al aprendizaje subespacial. [8] Por lo tanto, su origen se remonta a la descomposición de Tucker [20] en la década de 1960.
- Un TVP es una proyección directa de un tensor de alta dimensión a un vector de baja dimensión, que también se conoce como proyecciones de rango uno. Como TVP proyecta un tensor a un vector, puede verse como múltiples proyecciones de un tensor a un escalar. Por lo tanto, el TVP de un tensor a un vector P -dimensional consta de proyecciones P desde el tensor a un escalar. La proyección de un tensor a un escalar es una proyección multilineal elemental (EMP). En EMP, un tensor se proyecta a un punto a través de N vectores de proyección unitarios. Es la proyección de un tensor en una sola línea (resultando un escalar), con un vector de proyección en cada modo. Por lo tanto, el TVP de un objeto tensor a un vector en un espacio vectorial P -dimensional consta de P EMP. Esta proyección es una extensión de la descomposición canónica , [21] también conocida como descomposición de factores paralelos (PARAFAC). [22]
Enfoque típico en MSL
Hay N conjuntos de parámetros por resolver, uno en cada modo. La solución de un conjunto a menudo depende de los otros conjuntos (excepto cuando N = 1 , el caso lineal). Por tanto, se sigue el procedimiento iterativo subóptimo de [23] .
- Inicialización de las proyecciones en cada modo
- Para cada modo, fije la proyección en todos los demás modos y resuelva la proyección en el modo actual.
- Realice la optimización de modo para algunas iteraciones o hasta la convergencia.
Esto se origina en el método de mínimos cuadrados alternos para el análisis de datos de múltiples vías. [11]
Pros y contras
Las ventajas de MSL sobre el modelado subespacial lineal tradicional, en dominios comunes donde la representación es naturalmente algo tensorial, son: [6] [7] [8] [9]
- MSL conserva la estructura y la correlación que tenían los datos originales antes de la proyección, operando sobre una representación tensorial natural de los datos multidimensionales.
- MSL puede aprender representaciones más compactas que su contraparte lineal; en otras palabras, necesita estimar un número mucho menor de parámetros. Por lo tanto, MSL puede manejar datos de grandes tensores de manera más eficiente al realizar cálculos en una representación con muchas menos dimensiones. Esto conduce a una menor demanda de recursos computacionales.
Sin embargo, los algoritmos MSL son iterativos y no se garantiza que converjan; donde un algoritmo MSL converge, puede hacerlo en un óptimo local . (Por el contrario, las técnicas tradicionales de modelado del subespacio lineal a menudo producen una solución exacta de forma cerrada.) Los problemas de convergencia de MSL a menudo se pueden mitigar eligiendo una dimensionalidad subespacial adecuada y mediante estrategias adecuadas para la inicialización, la terminación y la elección del orden en que Se resuelven las proyecciones. [6] [7] [8] [9]
Recursos pedagógicos
- Encuesta : una encuesta de aprendizaje subespacial multilineal para datos tensoriales ( versión de acceso abierto ).
- Conferencia : Video conferencia sobre UMPCA en la 25ª Conferencia Internacional sobre Aprendizaje Automático (ICML 2008).
Código
- MATLAB Tensor Toolbox de Sandia National Laboratories .
- El algoritmo MPCA escrito en Matlab (MPCA + LDA incluido) .
- El algoritmo UMPCA escrito en Matlab (datos incluidos) .
- El algoritmo UMLDA escrito en Matlab (datos incluidos) .
Conjuntos de datos de tensor
- Datos de la marcha en 3D (tensores de tercer orden): 128x88x20 (21,2M) ; 64x44x20 (9,9 M) ; 32x22x10 (3,2 M) ;
Ver también
- Descomposición de CP
- Reducción de dimensión
- Álgebra multilineal
- Análisis multilineal de componentes principales
- Tensor
- Descomposición del tensor
- Software tensor
- Descomposición de Tucker
Referencias
- ^ a b c d e M. AO Vasilescu, D. Terzopoulos (2003) "Análisis subespacial multilineal de conjuntos de imágenes" , "Actas de la Conferencia IEEE sobre visión por computadora y reconocimiento de patrones (CVPR'03), Madison, WI, junio de 2003 "
- ^ a b M. AO Vasilescu, D. Terzopoulos (2002) "Análisis multilineal de conjuntos de imágenes: TensorFaces" , Proc. 7th European Conference on Computer Vision (ECCV'02), Copenhague, Dinamarca, mayo de 2002
- ^ a b M. AO Vasilescu, (2002) "Firmas de movimiento humano: análisis, síntesis, reconocimiento" , "Actas de la Conferencia internacional sobre reconocimiento de patrones (ICPR 2002), Vol. 3, Ciudad de Quebec, Canadá, agosto de 2002, 456 –460 ".
- ^ a b Vasilescu, MAO; Terzopoulos, D. (2007). Proyección multilineal para el reconocimiento basado en la apariencia en el marco tensorial . IEEE 11th International Conference on Computer Vision . págs. 1–8. doi : 10.1109 / ICCV.2007.4409067 ..
- ^ Lu, Haiping; Plataniotis, KN; Venetsanopoulos, AN (2013). Aprendizaje subespacial multilineal: reducción dimensional de datos multidimensionales . Serie de reconocimiento de patrones y aprendizaje automático de Chapman & Hall / CRC Press. Taylor y Francis. ISBN 978-1-4398572-4-3.
- ^ a b c d e f Lu, Haiping; Plataniotis, KN; Venetsanopoulos, AN (2011). "Una encuesta de aprendizaje subespacial multilineal para datos tensoriales" (PDF) . Reconocimiento de patrones . 44 (7): 1540-1551. doi : 10.1016 / j.patcog.2011.01.004 .
- ^ a b c d X. He, D. Cai, P. Niyogi, Análisis del subespacio tensor , en: Avances en los sistemas de procesamiento de información neuronalc 18 (NIPS), 2005.
- ^ a b c d e H. Lu, KN Plataniotis y AN Venetsanopoulos, " MPCA: Análisis multilineal de componentes principales de objetos tensoriales ", IEEE Trans. Neural Netw., Vol. 19, no. 1, págs. 18–39, enero de 2008.
- ^ a b c d S. Yan, D. Xu, Q. Yang, L. Zhang, X. Tang y H.-J. Zhang, " Análisis discriminante con representación tensorial ", en Proc. Conferencia IEEE sobre visión artificial y reconocimiento de patrones , vol. I, junio de 2005, págs. 526–532.
- ^ "Direcciones futuras en la computación y el modelado basados en tensor" (PDF) . Mayo de 2009.
- ^ a b P. M. Kroonenberg y J. de Leeuw, Análisis de componentes principales de datos de tres modos mediante algoritmos de mínimos cuadrados alternos , Psychometrika, 45 (1980), págs. 69–97.
- ^ a b c M. AO Vasilescu, D. Terzopoulos (2005) "Análisis de componentes independientes multilineales" , "Actas de la Conferencia IEEE sobre visión por computadora y reconocimiento de patrones (CVPR'05), San Diego, CA, junio de 2005, vol. 1, 547–553 ".
- ^ MAO Vasilescu, D. Terzopoulos (2004) "TensorTexture: Representación basada en imágenes multilineales", MAO Vasilescu y D. Terzopoulos, Proc. ACM SIGGRAPH 2004 Conference Los Ángeles, CA, agosto de 2004, en Computer Graphics Proceedings, Annual Conference Series, 2004, 336–342.
- ^ D. Tao, X. Li, X. Wu y SJ Maybank, " Análisis discriminante de tensor general y características de gabor para el reconocimiento de la marcha ", IEEE Trans. Patrón Anal. Mach. Intell., Vol. 29, no. 10, págs. 1700-1715, octubre de 2007.
- ^ H. Lu, KN Plataniotis y AN Venetsanopoulos, " Análisis discriminante multilineal no correlacionado con regularización y agregación para el reconocimiento de objetos tensoriales ", IEEE Trans. Neural Netw., Vol. 20, no. 1, págs. 103-123, enero de 2009.
- ^ T.-K. Kim y R. Cipolla. " Análisis de correlación canónica de tensores de volumen de video para la categorización y detección de acciones ", IEEE Trans. Patrón Anal. Mach. Intell., Vol. 31, no. 8, págs. 1415-1428, 2009.
- ^ H. Lu, " Aprendizaje de correlaciones canónicas de conjuntos de tensores emparejados a través de la proyección de tensor a vector ", Actas de la 23ª Conferencia conjunta internacional sobre inteligencia artificial (IJCAI 2013), Beijing, China, 3 al 9 de agosto de 2013.
- ^ Khan, Suleiman A .; Kaski, Samuel (15 de septiembre de 2014). Calders, Toon; Esposito, Floriana; Hüllermeier, Eyke; Meo, Rosa (eds.). Aprendizaje automático y descubrimiento de conocimiento en bases de datos . Apuntes de conferencias en informática. Springer Berlín Heidelberg. págs. 656–671. doi : 10.1007 / 978-3-662-44848-9_42 . ISBN 9783662448472.
- ^ a b L.D. Lathauwer, BD Moor, J. Vandewalle, Una descomposición de valor singular multilineal , SIAM Journal of Matrix Analysis and Applications vol. 21, no. 4, págs. 1253–1278, 2000
- ^ Ledyard R Tucker (septiembre de 1966). "Algunas notas matemáticas sobre el análisis factorial de tres modos". Psychometrika . 31 (3): 279–311. doi : 10.1007 / BF02289464 . PMID 5221127 .
- ^ JD Carroll y J. Chang (1970). "Análisis de las diferencias individuales en la escala multidimensional a través de una generalización de n- vías de descomposición 'Eckart-Young'". Psychometrika . 35 (3): 283–319. doi : 10.1007 / BF02310791 .
- ^ RA Harshman, Fundamentos del procedimiento PARAFAC: Modelos y condiciones para un análisis factorial multimodal "explicativo". Archivado el 10 de octubre de 2004 en la Wayback Machine . Documentos de trabajo de UCLA en fonética, 16, págs. 1-84, 1970.
- ^ LD Lathauwer, BD Moor, J. Vandewalle, Sobre la mejor aproximación de rango 1 y rango (R1, R2, ..., RN) de tensores de orden superior , SIAM Journal of Matrix Analysis and Applications 21 (4) ( 2000) 1324-1342.