La regresión de mínimos cuadrados parciales ( regresión PLS ) es un método estadístico que guarda alguna relación con la regresión de componentes principales ; en lugar de encontrar hiperplanos de varianza máxima entre la respuesta y las variables independientes, encuentra un modelo de regresión lineal proyectando las variables predichas y las variables observables a un nuevo espacio. Debido a que los datos X e Y se proyectan a nuevos espacios, la familia de métodos PLS se conoce como modelos de factores bilineales. El análisis discriminante de mínimos cuadrados parciales (PLS-DA) es una variante que se utiliza cuando la Y es categórica.
PLS se utiliza para encontrar las relaciones fundamentales entre dos matrices ( X e Y ), es decir, un enfoque de variable latente para modelar las estructuras de covarianza en estos dos espacios. Un modelo PLS intentará encontrar la dirección multidimensional en el espacio X que explica la dirección de varianza multidimensional máxima en el espacio Y. La regresión PLS es particularmente adecuada cuando la matriz de predictores tiene más variables que observaciones y cuando existe multicolinealidad entre los valores de X. Por el contrario, la regresión estándar fallará en estos casos (a menos que esté regularizada ).
Los mínimos cuadrados parciales fueron introducidos por el estadístico sueco Herman OA Wold , quien luego los desarrolló con su hijo, Svante Wold. Un término alternativo para PLS (y más correcto según Svante Wold [1] ) es proyección a estructuras latentes , pero el término mínimos cuadrados parciales sigue siendo dominante en muchas áreas. Aunque las aplicaciones originales se encontraban en las ciencias sociales, la regresión PLS es hoy en día más utilizada en quimiometría y áreas relacionadas. También se utiliza en bioinformática , sensometría , neurociencia y antropología .
Modelo subyacente
El modelo subyacente general de PLS multivariante es
donde X es unmatriz de predictores, Y es unamatriz de respuestas; T y U sonmatrices que son, respectivamente, proyecciones de X (la puntuación X , componente o matriz de factores ) y proyecciones de Y (las puntuaciones Y ); P y Q son, respectivamente, y matrices de carga ortogonales ; y las matrices E y F son los términos de error, asumidos como variables normales aleatorias independientes e idénticamente distribuidas. Las descomposiciones de X y Y se realizan a fin de maximizar la covarianza entre T y U .
Algoritmos
Un número de variantes de PLS existe para estimar el factor de carga y las matrices T, U, P y Q . La mayoría de ellos construyen estimaciones de la regresión lineal entre X e Y como. Algunos algoritmos PLS solamente es apropiado para el caso en el que Y es un vector columna, mientras que otros tratan con el caso general de una matriz Y . Los algoritmos también difieren en cuanto a si estiman la matriz factorial T como una matriz ortogonal (es decir, ortonormal ) o no. [2] [3] [4] [5] [6] [7] La predicción final será la misma para todas estas variedades de PLS, pero los componentes serán diferentes.
PLS1
PLS1 es un algoritmo ampliamente utilizado apropiado para el caso del vector Y. Estima T como una matriz ortonormal. En pseudocódigo se expresa a continuación (las letras mayúsculas son matrices, las minúsculas son vectores si están en superíndice y escalares si están en subíndice)
1 función PLS1 ( X, y, l ) 2 3 , una estimación inicial de w . 4 para a 5 6 (tenga en cuenta que esto es un escalar) 7 8 9 (tenga en cuenta que esto es un escalar) 10 si 11 , rompe el bucle for 12 si 13 14 15 final para 16 define W como la matriz con columnas. Haz lo mismo para formar la matriz P y el vector q .17 18 19 regreso
Esta forma del algoritmo no requiere el centrado de la entrada X e Y , ya que el algoritmo lo realiza implícitamente. Este algoritmo presenta la 'deflación' de la matriz X (resta de), pero no se realiza la deflación del vector y , ya que no es necesario (se puede demostrar que deflacionar y da los mismos resultados que no deflactar [8] ). La variable proporcionada por el usuario l es el límite del número de factores latentes en la regresión; si es igual al rango de la matriz X , el algoritmo producirá las estimaciones de regresión de mínimos cuadrados para B y
Extensiones
En 2002 se publicó un nuevo método denominado proyecciones ortogonales a estructuras latentes (OPLS). En OPLS, los datos de variables continuas se separan en información predictiva y no correlacionada. Esto conduce a diagnósticos mejorados, así como a una visualización más fácil de interpretar. Sin embargo, estos cambios solo mejoran la interpretabilidad, no la predictividad, de los modelos PLS. [9] L-PLS extiende la regresión PLS a 3 bloques de datos conectados. [10] De manera similar, OPLS-DA (análisis discriminante) se puede aplicar cuando se trabaja con variables discretas, como en estudios de clasificación y biomarcadores.
En 2015, los mínimos cuadrados parciales se relacionaron con un procedimiento llamado filtro de regresión de tres pasos (3PRF). [11] Suponiendo que el número de observaciones y variables es grande, el 3PRF (y por lo tanto el PLS) es asintóticamente normal para el "mejor" pronóstico implícito en un modelo de factor latente lineal. En los datos del mercado de valores, se ha demostrado que PLS proporciona pronósticos precisos fuera de la muestra de rentabilidad y crecimiento del flujo de caja. [12]
Una versión PLS basada en la descomposición de valor singular (SVD) proporciona una implementación eficiente de la memoria que se puede utilizar para abordar problemas de alta dimensión, como relacionar millones de marcadores genéticos con miles de características de imágenes en la genética de imágenes, en hardware apto para el consumidor. [13]
La correlación PLS (PLSC) es otra metodología relacionada con la regresión PLS, [14] que se ha utilizado en neuroimagen [14] [15] [16] y más recientemente en la ciencia del deporte, [17] para cuantificar la fuerza de la relación entre los datos conjuntos. Normalmente, PLSC divide los datos en dos bloques (subgrupos), cada uno de los cuales contiene una o más variables, y luego utiliza la descomposición de valores singulares (SVD) para establecer la fuerza de cualquier relación (es decir, la cantidad de información compartida) que pueda existir entre los subgrupos de dos componentes. [18] Para ello, utiliza la SVD para determinar la inercia (es decir, la suma de los valores singulares) de la matriz de covarianza de los subgrupos considerados. [18] [14]
Ver también
Otras lecturas
- Kramer, R. (1998). Técnicas quimiométricas para análisis cuantitativo . Marcel-Dekker. ISBN 978-0-8247-0198-7.
- Frank, Ildiko E .; Friedman, Jerome H. (1993). "Una vista estadística de algunas herramientas de regresión quimiométrica". Tecnometría . 35 (2): 109-148. doi : 10.1080 / 00401706.1993.10485033 .
- Haenlein, Michael; Kaplan, Andreas M. (2004). "Una guía para principiantes de análisis de mínimos cuadrados parciales". Comprensión de las estadísticas . 3 (4): 283-297. doi : 10.1207 / s15328031us0304_4 .
- Henseler, Joerg; Fassott, Georg (2005). "Prueba de efectos moderadores en modelos de ruta PLS. Una ilustración de los procedimientos disponibles". Cite journal requiere
|journal=
( ayuda ) - Lingjærde, Ole-Christian; Christophersen, Nils (2000). "Estructura de contracción de mínimos cuadrados parciales". Revista Escandinava de Estadística . 27 (3): 459–473. doi : 10.1111 / 1467-9469.00201 .
- Tenenhaus, Michel (1998). La Régression PLS: Théorie et Pratique. París: Technip .
- Rosipal, romano; Kramer, Nicole (2006). "Resumen y avances recientes en mínimos cuadrados parciales, en subespacio, estructura latente y técnicas de selección de características": 34–51. Cite journal requiere
|journal=
( ayuda ) - Helland, Inge S. (1990). "Regresión PLS y modelos estadísticos". Revista Escandinava de Estadística . 17 (2): 97-114. JSTOR 4616159 .
- Wold, Herman (1966). "Estimación de componentes principales y modelos relacionados por mínimos cuadrados iterativos". En Krishnaiaah, PR (ed.). Análisis multivariado . Nueva York: Academic Press. págs. 391–420.
- Wold, Herman (1981). El enfoque de punto fijo para sistemas interdependientes . Amsterdam: Holanda Septentrional.
- Wold, Herman (1985). "Mínimos cuadrados parciales". En Kotz, Samuel; Johnson, Norman L. (eds.). Enciclopedia de ciencias estadísticas . 6 . Nueva York: Wiley. págs. 581–591.
- Wold, Svante; Ruhe, Axel; Wold, Herman; Dunn, WJ (1984). "El problema de la colinealidad en la regresión lineal. El enfoque de mínimos cuadrados parciales (PLS) a inversos generalizados". Revista SIAM de Computación Científica y Estadística . 5 (3): 735–743. doi : 10.1137 / 0905052 .
- Garthwaite, Paul H. (1994). "Una interpretación de mínimos cuadrados parciales". Revista de la Asociación Estadounidense de Estadística . 89 (425): 122–7. doi : 10.1080 / 01621459.1994.10476452 . JSTOR 2291207 .
- Wang, H., ed. (2010). Manual de mínimos cuadrados parciales . ISBN 978-3-540-32825-4.
- Stone, M .; Brooks, RJ (1990). "Regresión continua: predicción construida secuencialmente con validación cruzada que abarca mínimos cuadrados ordinarios, mínimos cuadrados parciales y regresión de componentes principales". Revista de la Sociedad Real de Estadística, Serie B . 52 (2): 237–269. JSTOR 2345437 .
Referencias
- ^ Wold, S; Sjöström, M .; Eriksson, L. (2001). "Regresión PLS: una herramienta básica de quimiometría". Quimiometría y sistemas de laboratorio inteligentes . 58 (2): 109–130. doi : 10.1016 / S0169-7439 (01) 00155-1 .
- ^ Lindgren, F; Geladi, P; Wold, S (1993). "El algoritmo del kernel para PLS". J. Chemometrics . 7 : 45–59. doi : 10.1002 / cem.1180070104 .
- ^ de Jong, S .; ter Braak, CJF (1994). "Comentarios sobre el algoritmo del kernel PLS". J. Chemometrics . 8 (2): 169-174. doi : 10.1002 / cem.1180080208 .
- ^ Dayal, BS; MacGregor, JF (1997). "Algoritmos PLS mejorados". J. Chemometrics . 11 (1): 73–85. doi : 10.1002 / (SICI) 1099-128X (199701) 11: 1 <73 :: AID-CEM435> 3.0.CO; 2- # .
- ^ de Jong, S. (1993). "SIMPLS: un enfoque alternativo a la regresión de mínimos cuadrados parciales". Quimiometría y sistemas de laboratorio inteligentes . 18 (3): 251–263. doi : 10.1016 / 0169-7439 (93) 85002-X .
- ^ Rannar, S .; Lindgren, F .; Geladi, P .; Wold, S. (1994). "Un algoritmo de kernel PLS para conjuntos de datos con muchas variables y menos objetos. Parte 1: teoría y algoritmo". J. Chemometrics . 8 (2): 111-125. doi : 10.1002 / cem.1180080204 .
- ^ Abdi, H. (2010). "Regresión y proyección de mínimos cuadrados parciales sobre regresión de estructura latente (PLS-Regression)". Revisiones interdisciplinarias de Wiley: Estadística computacional . 2 : 97-106. doi : 10.1002 / wics.51 .
- ^ Höskuldsson, Agnar (1988). "Métodos de regresión PLS". Revista de quimiometría . 2 (3): 219. doi : 10.1002 / cem.1180020306 .
- ^ Trygg, J; Wold, S (2002). "Proyecciones ortogonales a estructuras latentes". Revista de quimiometría . 16 (3): 119-128. doi : 10.1002 / cem.695 .
- ^ Sæbøa, S .; Almøya, T .; Flatbergb, A .; Aastveita, AH; Martens, H. (2008). "Regresión LPLS: un método para la predicción y clasificación bajo la influencia de información de fondo en las variables predictoras". Quimiometría y sistemas de laboratorio inteligentes . 91 (2): 121-132. doi : 10.1016 / j.chemolab.2007.10.006 .
- ^ Kelly, Bryan; Pruitt, Seth (1 de junio de 2015). "El filtro de regresión de tres pasos: un nuevo enfoque para la previsión utilizando muchos predictores". Revista de Econometría . Problemas de alta dimensión en econometría. 186 (2): 294–316. doi : 10.1016 / j.jeconom.2015.02.011 .
- ^ Kelly, Bryan; Pruitt, Seth (1 de octubre de 2013). "Expectativas del mercado en la sección transversal de valores presentes". La Revista de Finanzas . 68 (5): 1721-1756. CiteSeerX 10.1.1.498.5973 . doi : 10.1111 / jofi.12060 . ISSN 1540-6261 .
- ^ Lorenzi, Marco; Altmann, Andre; Gutman, Boris; Wray, Selina; Arber, Charles; Hibar, Derrek P .; Jahanshad, Neda; Schott, Jonathan M .; Alexander, Daniel C. (20 de marzo de 2018). "Susceptibilidad de la atrofia cerebral a TRIB3 en la enfermedad de Alzheimer, evidencia de la priorización funcional en la genética de la imagen" . Actas de la Academia Nacional de Ciencias . 115 (12): 3162–3167. doi : 10.1073 / pnas.1706100115 . ISSN 0027-8424 . PMC 5866534 . PMID 29511103 .
- ^ a b c Krishnan, Anjali; Williams, Lynne J .; McIntosh, Anthony Randal; Abdi, Hervé (mayo de 2011). "Métodos de mínimos cuadrados parciales (PLS) para neuroimagen: un tutorial y una revisión". NeuroImage . 56 (2): 455–475. doi : 10.1016 / j.neuroimage.2010.07.034 .
- ^ McIntosh, Anthony R .; Mišić, Bratislav (3 de enero de 2013). "Análisis estadísticos multivariados para datos de neuroimagen". Revisión anual de psicología . 64 (1): 499–525. doi : 10.1146 / annurev-psych-113011-143804 . ISSN 0066-4308 .
- ^ Beggs, Clive B .; Magnano, Christopher; Belov, Pavel; Krawiecki, Jacqueline; Ramasamy, Deepa P .; Hagemeier, Jesper; Zivadinov, Robert (2 de mayo de 2016). de Castro, Fernando (ed.). "Área transversal de la vena yugular interna y pulsatilidad del líquido cefalorraquídeo en el acueducto de Sylvius: un estudio comparativo entre sujetos sanos y pacientes con esclerosis múltiple" . PLOS ONE . 11 (5): e0153960. doi : 10.1371 / journal.pone.0153960 . ISSN 1932-6203 . PMC 4852898 . PMID 27135831 .
- ^ Tejiendo, Dan; Jones, Ben; Ireton, Matt; Whitehead, Sarah; Hasta, Kevin; Beggs, Clive B. (14 de febrero de 2019). Connaboy, Chris (ed.). "Superar el problema de la multicolinealidad en los datos de rendimiento deportivo: una nueva aplicación del análisis de correlación de mínimos cuadrados parciales" . PLOS ONE . 14 (2): e0211776. doi : 10.1371 / journal.pone.0211776 . ISSN 1932-6203 . PMC 6375576 .
- ^ a b Abdi, Hervé; Williams, Lynne J. (2013), Reisfeld, Brad; Mayeno, Arthur N. (eds.), "Métodos de mínimos cuadrados parciales: correlación de mínimos cuadrados parciales y regresión de mínimos cuadrados parciales", Toxicología computacional , Humana Press, 930 , págs. 549–579, doi : 10.1007 / 978-1-62703 -059-5_23 , ISBN 9781627030588
enlaces externos
- Una breve introducción a la regresión PLS y su historia