En el aprendizaje automático, el método del subespacio aleatorio , [1] también llamado empaquetado de atributos [2] o empaquetado de características , es un método de aprendizaje por conjuntos que intenta reducir la correlación entre los estimadores en un conjunto al entrenarlos en muestras aleatorias de características en lugar de la totalidad conjunto de características.
Motivación
En el aprendizaje en conjunto, se intenta combinar los modelos producidos por varios alumnos en un conjunto que se desempeñe mejor que los alumnos originales. Una forma de combinar los estudiantes es agregación de bootstrap o ensacado , que muestra cada alumno un subconjunto muestreado al azar de los puntos de formación de modo que los alumnos producirá diferentes modelos que se pueden promediar con sensatez. [a] En el ensacado, se toman muestras de los puntos de entrenamiento con reemplazo del conjunto de entrenamiento completo.
El método del subespacio aleatorio es similar al ensacado, excepto que las características ("atributos", "predictores", "variables independientes") se muestrean al azar, con reemplazo, para cada alumno. De manera informal, esto hace que los estudiantes individuales no se enfoquen demasiado en las características que parecen altamente predictivas / descriptivas en el conjunto de entrenamiento, pero no son tan predictivas para los puntos fuera de ese conjunto. Por esta razón, los subespacios aleatorios son una opción atractiva para problemas de alta dimensión donde el número de características es mucho mayor que el número de puntos de entrenamiento, como el aprendizaje de datos de fMRI [3] o datos de expresión génica. [4]
El método del subespacio aleatorio se ha utilizado para árboles de decisión ; cuando se combina con el ensacado "ordinario" de árboles de decisión, los modelos resultantes se denominan bosques aleatorios . [5] También se ha aplicado a clasificadores lineales , [6] soportan máquinas de vectores , [7] vecinos más cercanos [8] [9] y otros tipos de clasificadores. Este método también es aplicable a clasificadores de una clase . [10] [11] Recientemente, el método del subespacio aleatorio se ha utilizado en un problema de selección de cartera [12] [13] que muestra su superioridad sobre la cartera convencional remuestreada esencialmente basada en ensacado.
Para abordar los problemas dispersos de alta dimensión, se desarrolló un marco denominado Random Subpace Ensemble (RaSE) [14] . RaSE combina estudiantes débiles entrenados en subespacios aleatorios con una estructura de dos capas y un proceso iterativo. [15] Se ha demostrado que RaSE disfruta de atractivas propiedades teóricas y desempeños prácticos. [14]
Algoritmo
Se puede construir un conjunto de modelos que emplean el método del subespacio aleatorio utilizando el siguiente algoritmo :
- Sea N el número de puntos de entrenamiento y D el número de características en los datos de entrenamiento .
- Elija L para que sea el número de modelos individuales en el conjunto.
- Para cada modelo individual l , elija n l (n l
) como el número de puntos de entrada para l. Es común tener un solo valor de n l para todos los modelos individuales. - Para cada modelo individual l, cree un conjunto de entrenamiento eligiendo d l características de D con reemplazo y entrene el modelo.
Ahora, para aplicar el modelo de conjunto a un punto invisible, combine las salidas de los modelos individuales L mediante votación por mayoría o combinando las probabilidades posteriores .
Notas al pie
- ^ Si cada alumno sigue el mismoalgoritmo determinista , los modelos producidos son necesariamente todos iguales.
Referencias
- ^ Ho, Tin Kam (1998). "El método de subespacio aleatorio para la construcción de bosques de decisión" (PDF) . Transacciones IEEE sobre análisis de patrones e inteligencia de máquinas . 20 (8): 832–844. doi : 10.1109 / 34.709601 . Archivado desde el original (PDF) el 14 de mayo de 2019.
- ^ Bryll, R. (2003). "Embolsado de atributos: mejora de la precisión de los conjuntos de clasificadores mediante el uso de subconjuntos de características al azar". Reconocimiento de patrones . 36 (6): 1291–1302. doi : 10.1016 / s0031-3203 (02) 00121-8 .
- ^ Kuncheva, Ludmila; et al. (2010). "Conjuntos de subespacios aleatorios para la clasificación de fMRI" (PDF) . Transacciones IEEE sobre imágenes médicas . 29 (2): 531–542. CiteSeerX 10.1.1.157.1178 . doi : 10.1109 / TMI.2009.2037756 .
- ^ Bertoni, Alberto; Folgieri, Raffaella; Valentini, Giorgio (2005). "Predicción de cáncer biomolecular con conjuntos subespaciales aleatorios de máquinas de vectores de apoyo" (PDF) . Neurocomputación . 63 : 535–539. doi : 10.1016 / j.neucom.2004.07.007 . hdl : 2434/9370 .
- ^ Ho, Tin Kam (1995). Bosque de decisiones aleatorias (PDF) . Actas de la 3ª Conferencia Internacional sobre Análisis y Reconocimiento de Documentos, Montreal, QC, 14–16 de agosto de 1995. págs. 278–282.
- ^ Skurichina, Marina (2002). "Bagging, boosting y el método del subespacio aleatorio para clasificadores lineales". Análisis de patrones y aplicaciones . 5 (2): 121-135. doi : 10.1007 / s100440200011 .
- ^ Tao, D. (2006). "Embolsado asimétrico y subespacio aleatorio para la retroalimentación de relevancia basada en máquinas vectoriales de apoyo en la recuperación de imágenes" (PDF) . Transacciones IEEE sobre análisis de patrones e inteligencia de máquinas . 28 (7): 1088–99. doi : 10.1109 / tpami.2006.134 . PMID 16792098 .
- ^ Ho, Tin Kam (1998). Vecinos más cercanos en subespacios aleatorios . Talleres internacionales conjuntos de la IAPR sobre técnicas estadísticas en el reconocimiento de patrones (SPR) y el reconocimiento de patrones estructurales y sintácticos (SSPR) . Apuntes de conferencias en informática. 1451 . págs. 640–648. doi : 10.1007 / BFb0033288 . ISBN 978-3-540-64858-1.
- ^ Tremblay, G. (2004). Optimización del vecino más cercano en subespacios aleatorios mediante un algoritmo genético multiobjetivo (PDF) . XVII Congreso Internacional de Reconocimiento de Patrones. págs. 208–211. doi : 10.1109 / ICPR.2004.1334060 . ISBN 978-0-7695-2128-2.
- ^ Nanni, L. (2006). "Comparación experimental de clasificadores de una clase para la verificación de firmas en línea". Neurocomputación . 69 (7): 869–873. doi : 10.1016 / j.neucom.2005.06.007 .
- ^ Cheplygina, Veronika; Impuestos, David MJ (15 de junio de 2011). Sansone, Carlo; Kittler, Josef; Roli, Fabio (eds.). Sistemas de clasificación múltiple . Apuntes de conferencias en informática. Springer Berlín Heidelberg. págs. 96-105. doi : 10.1007 / 978-3-642-21557-5_12 . ISBN 9783642215568.
- ^ Shen, Weiwei; Wang, junio (2017), "Selección de cartera mediante remuestreo de subconjuntos" , Actas de la conferencia AAAI sobre inteligencia artificial (AAAI2017)
- ^ Shen, Weiwei; Wang, Bin; Pu, Jian; Wang, junio (2019), "La cartera óptima de crecimiento de Kelly con aprendizaje conjunto" , Actas de la Conferencia AAAI sobre Inteligencia Artificial (AAAI2019)
- ^ a b Tian, Ye; Feng, Yang (2021). "RaSE: clasificación de conjunto subespacial aleatorio" . Revista de investigación sobre aprendizaje automático . 22 (45): 1–93. ISSN 1533-7928 .
- ^ Tian, Ye; Feng, Yang (2021). "Paquete R" RaSEn ": Clasificación de conjuntos de subespacios aleatorios y cribado de variables" . CRAN .