Mínimos cuadrados lineales ( LLS ) es la aproximación de mínimos cuadrados de funciones lineales a datos. Es un conjunto de formulaciones para resolver problemas estadísticos relacionados con la regresión lineal , que incluye variantes para residuos ordinarios (no ponderados), ponderados y generalizados (correlacionados) . Los métodos numéricos para mínimos cuadrados lineales incluyen invertir la matriz de las ecuaciones normales y métodos de descomposición ortogonal.
Formulaciones principales
Las tres formulaciones principales de mínimos cuadrados lineales son:
- Los mínimos cuadrados ordinarios (MCO) es el estimador más común. Las estimaciones de MCO se utilizan comúnmente para analizar datos tanto experimentales como de observación .
El método MCO minimiza la suma de los residuos al cuadrado y conduce a una expresión de forma cerrada para el valor estimado del vector de parámetro desconocido β :
dónde es un vector cuyo i- ésimo elemento es la i- ésima observación de la variable dependiente , yes una matriz cuyo ij elemento es la i- ésima observación de la j- ésima variable independiente . (Nota:es la inversa de Moore-Penrose ). El estimador es insesgado y consistente si los errores tienen varianza finita y no están correlacionados con los regresores: [1]
- Los mínimos cuadrados ponderados (WLS) se utilizan cuando la heterocedasticidad está presente en los términos de error del modelo.
- Los mínimos cuadrados generalizados (GLS) es una extensión del método OLS, que permite la estimación eficiente de β cuando hay heterocedasticidad , correlaciones, o ambas, entre los términos de error del modelo, siempre que se conozca la forma de heterocedasticidad y correlación. independientemente de los datos. Para manejar la heterocedasticidad cuando los términos de error no están correlacionados entre sí, GLS minimiza un análogo ponderado a la suma de los residuos cuadrados de la regresión OLS, donde el peso para el i- ésimo caso es inversamente proporcional a var ( ε i ). Este caso especial de GLS se llama "mínimos cuadrados ponderados". La solución GLS al problema de estimación es
Formulaciones alternativas
Otras formulaciones incluyen:
- Los mínimos cuadrados reponderados iterativamente (IRLS) se utilizan cuando hay heterocedasticidad , correlaciones, o ambos, entre los términos de error del modelo, pero donde se sabe poco sobre la estructura de covarianza de los errores independientemente de los datos. [2] En la primera iteración se realiza MCO o GLS con una estructura de covarianza provisional, y los residuales se obtienen del ajuste. Con base en los residuos, generalmente se puede obtener una estimación mejorada de la estructura de covarianza de los errores. A continuación, se realiza una iteración GLS posterior utilizando esta estimación de la estructura de error para definir los pesos. El proceso se puede iterar hasta la convergencia, pero en muchos casos, solo una iteración es suficiente para lograr una estimación eficiente de β . [3] [4]
- La regresión de variables instrumentales (IV) se puede realizar cuando los regresores están correlacionados con los errores. En este caso, necesitamos la existencia de algunas variables instrumentales auxiliares z i tales que E [ z i ε i ] = 0. Si Z es la matriz de instrumentos, entonces el estimador se puede dar en forma cerrada como
- Los mínimos cuadrados totales (TLS) [5] es un enfoque para la estimación de mínimos cuadrados del modelo de regresión lineal que trata las covariables y la variable de respuesta de una manera geométricamente más simétrica que MCO. Es un enfoque para manejar el problema de los "errores en las variables" y también se utiliza a veces incluso cuando se supone que las covariables no tienen errores.
Además, los mínimos cuadrados porcentuales se enfocan en reducir los errores porcentuales, lo cual es útil en el campo de la predicción o el análisis de series de tiempo. También es útil en situaciones donde la variable dependiente tiene un rango amplio sin varianza constante, ya que aquí los residuos más grandes en el extremo superior del rango dominarían si se usaran MCO. Cuando el error porcentual o relativo se distribuye normalmente, la regresión porcentual de mínimos cuadrados proporciona estimaciones de máxima verosimilitud. La regresión porcentual está vinculada a un modelo de error multiplicativo, mientras que MCO está vinculado a modelos que contienen un término de error aditivo. [6]
En mínimos cuadrados restringidos , uno está interesado en resolver un problema de mínimos cuadrados lineales con una restricción adicional en la solución.
Función objetiva
En MCO (es decir, asumiendo observaciones no ponderadas), el valor óptimo de la función objetivo se encuentra sustituyendo la expresión óptima por el vector de coeficientes:
dónde , la última igualdad desde es simétrico e idempotente. Se puede demostrar de esto [7] que bajo una asignación apropiada de pesos, el valor esperado de S es m - n . Si en cambio se suponen pesos unitarios, el valor esperado de S es, dónde es la varianza de cada observación.
Si se supone que los residuos pertenecen a una distribución normal, la función objetivo, al ser una suma de los residuos al cuadrado ponderados, pertenecerá a un chi-cuadrado () distribución con m - n grados de libertad . Algunos valores percentiles ilustrativos dese dan en la siguiente tabla. [8]
Estos valores se pueden utilizar para un criterio estadístico en cuanto a la bondad del ajuste . Cuando se utilizan pesos unitarios, los números deben dividirse por la varianza de una observación.
Para WLS, la función objetivo ordinaria anterior se reemplaza por un promedio ponderado de residuos.
Discusión
En estadística y matemáticas , los mínimos cuadrados lineales son un enfoque para ajustar un modelo matemático o estadístico a los datos en los casos en que el valor idealizado proporcionado por el modelo para cualquier punto de datos se expresa linealmente en términos de los parámetros desconocidos del modelo. El modelo ajustado resultante se puede utilizar para resumir los datos, predecir valores no observados del mismo sistema y comprender los mecanismos que pueden subyacer al sistema.
Matemáticamente, lineal de mínimos cuadrados es el problema de la solución de aproximadamente un sistema sobredeterminado de ecuaciones lineales A x = b , donde b no es un elemento del espacio de la columna de la matriz A . La solución aproximada se realiza como una solución exacta para A x = b 'en donde b' es la proyección de b en el espacio columna de A . La mejor aproximación es entonces la que minimiza la suma de las diferencias cuadradas entre los valores de los datos y sus correspondientes valores modelados. El enfoque se denomina mínimos cuadrados lineales ya que la función asumida es lineal en los parámetros a estimar. Los problemas lineales de mínimos cuadrados son convexos y tienen una solución de forma cerrada que es única, siempre que el número de puntos de datos utilizados para el ajuste iguale o exceda el número de parámetros desconocidos, excepto en situaciones especiales degeneradas. Por el contrario, los problemas de mínimos cuadrados no lineales generalmente deben resolverse mediante un procedimiento iterativo , y los problemas pueden ser no convexos con múltiples óptimos para la función objetivo. Si hay distribuciones anteriores disponibles, incluso un sistema indeterminado puede resolverse utilizando el estimador Bayesiano MMSE .
En estadística, los problemas de mínimos cuadrados lineales corresponden a un tipo particularmente importante de modelo estadístico llamado regresión lineal que surge como una forma particular de análisis de regresión . Una forma básica de tal modelo es un modelo ordinario de mínimos cuadrados . El presente artículo se concentra en los aspectos matemáticos de los problemas lineales de mínimos cuadrados, con la discusión de la formulación e interpretación de modelos de regresión estadística y las inferencias estadísticas relacionadas con estos que se tratan en los artículos que se acaban de mencionar. Consulte el esquema del análisis de regresión para obtener un resumen del tema.
Propiedades
Si los errores experimentales, , no están correlacionados, tienen una media de cero y una varianza constante, , el teorema de Gauss-Markov establece que el estimador de mínimos cuadrados,, tiene la varianza mínima de todos los estimadores que son combinaciones lineales de las observaciones. En este sentido, es el mejor u óptimo estimador de los parámetros. Nótese particularmente que esta propiedad es independiente de la función de distribución estadística de los errores. En otras palabras, la función de distribución de los errores no necesita ser una distribución normal . Sin embargo, para algunas distribuciones de probabilidad, no hay garantía de que la solución de mínimos cuadrados sea posible dadas las observaciones; aún así, en tales casos, el mejor estimador es lineal e insesgado.
Por ejemplo, es fácil demostrar que la media aritmética de un conjunto de medidas de una cantidad es el estimador de mínimos cuadrados del valor de esa cantidad. Si se aplican las condiciones del teorema de Gauss-Markov, la media aritmética es óptima, cualquiera que sea la distribución de errores de las medidas.
Sin embargo, en el caso de que los errores experimentales pertenezcan a una distribución normal, el estimador de mínimos cuadrados también es un estimador de máxima verosimilitud . [9]
Estas propiedades sustentan el uso del método de mínimos cuadrados para todos los tipos de ajuste de datos, incluso cuando los supuestos no son estrictamente válidos.
Limitaciones
Un supuesto subyacente al tratamiento dado anteriormente es que la variable independiente, x , está libre de error. En la práctica, los errores en las mediciones de la variable independiente suelen ser mucho más pequeños que los errores en la variable dependiente y, por lo tanto, pueden ignorarse. Cuando este no es el caso , se deben utilizar modelos de mínimos cuadrados totales o, más generalmente, errores en las variables , o mínimos cuadrados rigurosos . Esto se puede hacer ajustando el esquema de ponderación para tener en cuenta los errores en las variables dependientes e independientes y luego siguiendo el procedimiento estándar. [10] [11]
En algunos casos, la matriz de ecuaciones normales (ponderadas) X T X está mal acondicionada . Al ajustar polinomios, la matriz de ecuaciones normales es una matriz de Vandermonde . Las matrices de Vandermonde se vuelven cada vez más mal condicionadas a medida que aumenta el orden de la matriz. [ cita requerida ] En estos casos, la estimación de mínimos cuadrados amplifica el ruido de medición y puede ser muy inexacta. [ cita requerida ] Se pueden aplicar varias técnicas de regularización en tales casos, la más común de las cuales se llama regresión de cresta . Si se conoce más información sobre los parámetros, por ejemplo, un rango de posibles valores de, entonces se pueden usar varias técnicas para aumentar la estabilidad de la solución. Por ejemplo, consulte mínimos cuadrados restringidos .
Otro inconveniente del estimador de mínimos cuadrados es el hecho de que la norma de los residuos, se minimiza, mientras que en algunos casos uno está realmente interesado en obtener un pequeño error en el parámetro , por ejemplo, un pequeño valor de . [ cita requerida ] Sin embargo, dado que el verdadero parámetroes necesariamente desconocida, esta cantidad no se puede minimizar directamente. Si una probabilidad previa ense conoce, entonces se puede utilizar un estimador de Bayes para minimizar el error cuadrático medio ,. El método de los mínimos cuadrados se aplica a menudo cuando no se conoce a priori. Sorprendentemente, cuando se estiman varios parámetros de forma conjunta, se pueden construir mejores estimadores, efecto conocido como fenómeno de Stein . Por ejemplo, si el error de medición es gaussiano , se conocen varios estimadores que dominan o superan a la técnica de mínimos cuadrados; el más conocido de ellos es el estimador de James-Stein . Este es un ejemplo de estimadores de contracción más generales que se han aplicado a problemas de regresión.
Aplicaciones
- Ajuste polinomial : los modelos son polinomios en una variable independiente, x :
- Línea recta: . [12]
- Cuadrático: .
- Polinomios cúbicos, cuarticos y superiores. Para la regresión con polinomios de orden superior , se recomienda el uso de polinomios ortogonales . [13]
- Suavizado numérico y diferenciación : esta es una aplicación de ajuste polinomial.
- Multinomios en más de una variable independiente, incluido el ajuste de superficie
- Ajuste de curvas con B-splines [10]
- Quimiometría , curva de calibración , de adición estándar , la trama Gran , análisis de mezclas
Usos en el ajuste de datos
La aplicación principal de los mínimos cuadrados lineales es el ajuste de datos . Dado un conjunto de m puntos de datosque consta de valores medidos experimentalmente tomados en valores m de una variable independiente ( pueden ser cantidades escalares o vectoriales), y dada una función modelo con se desea encontrar los parámetros de modo que la función del modelo se ajuste "mejor" a los datos. En mínimos cuadrados lineales, la linealidad debe ser con respecto a los parámetros. entonces
Aquí, las funciones puede ser no lineal con respecto a la variable x .
Idealmente, la función del modelo se ajusta exactamente a los datos, por lo que
para todos Por lo general, esto no es posible en la práctica, ya que hay más puntos de datos que parámetros por determinar. El enfoque elegido entonces es encontrar el valor mínimo posible de la suma de cuadrados de los residuos
para minimizar la función
Después de sustituir y luego para , este problema de minimización se convierte en el problema de minimización cuadrático anterior con
y el mejor ajuste se puede encontrar resolviendo las ecuaciones normales.
Ejemplo
Como resultado de un experimento, cuatro se obtuvieron puntos de datos, y (mostrado en rojo en el diagrama de la derecha). Esperamos encontrar una lineaque mejor se ajuste a estos cuatro puntos. En otras palabras, nos gustaría encontrar los números y que resuelven aproximadamente el sistema lineal sobredeterminado:
de cuatro ecuaciones en dos incógnitas en algún "mejor" sentido.
representa el residuo, en cada punto, entre el ajuste de la curva y los datos:
El enfoque de mínimos cuadrados para resolver este problema es tratar de hacer que la suma de los cuadrados de estos residuos sea lo más pequeña posible; es decir, para encontrar el mínimo de la función:
El mínimo se determina calculando las derivadas parciales de con respecto a y y poniéndolos a cero:
Esto da como resultado un sistema de dos ecuaciones en dos incógnitas, llamadas ecuaciones normales, que cuando se resuelven dan:
y la ecuación es la línea de mejor ajuste. Los residuos , es decir, las diferencias entre los valores de las observaciones y la las variables predicadas mediante el uso de la línea de mejor ajuste, se encuentran y (vea el diagrama de la derecha). El valor mínimo de la suma de cuadrados de los residuos es
De manera más general, uno puede tener regresores y un modelo lineal
Usando un modelo cuadrático
Es importante destacar que en "mínimos cuadrados lineales", no estamos restringidos a usar una línea como modelo como en el ejemplo anterior. Por ejemplo, podríamos haber elegido el modelo cuadrático restringido. Este modelo sigue siendo lineal en el parámetro, por lo que todavía podemos realizar el mismo análisis, construyendo un sistema de ecuaciones a partir de los puntos de datos:
Las derivadas parciales con respecto a los parámetros (esta vez solo hay uno) se calculan de nuevo y se ponen a 0:
y resuelto
conduciendo al modelo de mejor ajuste resultante
Ver también
- Intersección línea-línea # Punto más cercano a líneas que no se intersecan , una aplicación
- Ajuste de línea
- Mínimos cuadrados no lineales
- Mínimos cuadrados regularizados
- Regresión lineal simple
- Regresión de mínimos cuadrados parciales
- Función lineal
Referencias
- ^ Lai, TL; Robbins, H .; Wei, CZ (1978). "Fuerte consistencia de estimaciones de mínimos cuadrados en regresión múltiple" . PNAS . 75 (7): 3034-3036. Código Bibliográfico : 1978PNAS ... 75.3034L . doi : 10.1073 / pnas.75.7.3034 . JSTOR 68164 . PMC 392707 . PMID 16592540 .
- ^ del Pino, Guido (1989). "El papel unificador de mínimos cuadrados iterativos generalizados en algoritmos estadísticos" . Ciencia estadística . 4 (4): 394–403. doi : 10.1214 / ss / 1177012408 . JSTOR 2245853 .
- ^ Carroll, Raymond J. (1982). "Adaptación por heterocedasticidad en modelos lineales" . The Annals of Statistics . 10 (4): 1224-1233. doi : 10.1214 / aos / 1176345987 . JSTOR 2240725 .
- ^ Cohen, Michael; Dalal, Siddhartha R .; Tukey, John W. (1993). "Regresión de varianza robusta, suavemente heterogénea". Revista de la Sociedad Real de Estadística, Serie C . 42 (2): 339–353. JSTOR 2986237 .
- ^ Nievergelt, Yves (1994). "Mínimos cuadrados totales: regresión del estado del arte en análisis numérico". Revisión SIAM . 36 (2): 258–264. doi : 10.1137 / 1036055 . JSTOR 2132463 .
- ^ Tofallis, C (2009). "Regresión porcentual de mínimos cuadrados" . Revista de métodos estadísticos aplicados modernos . 7 : 526–534. doi : 10.2139 / ssrn.1406472 . SSRN 1406472 .
- ^ Hamilton, WC (1964). Estadística en Ciencias Físicas . Nueva York: Ronald Press.
- ^ Spiegel, Murray R. (1975). Esquema de teoría de Schaum y problemas de probabilidad y estadística . Nueva York: McGraw-Hill. ISBN 978-0-585-26739-5.
- ^ Margenau, Henry; Murphy, George Moseley (1956). Las matemáticas de la física y la química . Princeton: Van Nostrand.
- ^ a b Gans, Peter (1992). Ajuste de datos en Ciencias Químicas . Nueva York: Wiley. ISBN 978-0-471-93412-7.
- ^ Deming, WE (1943). Ajuste estadístico de datos . Nueva York: Wiley.
- ^ Acton, FS (1959). Análisis de datos en línea recta . Nueva York: Wiley.
- ^ Invitado, PG (1961). Métodos numéricos de ajuste de curvas . Cambridge: Cambridge University Press.[ página necesaria ]
Otras lecturas
- Bevington, Philip R .; Robinson, Keith D. (2003). Reducción de datos y análisis de errores para las ciencias físicas . McGraw-Hill. ISBN 978-0-07-247227-1.
enlaces externos
- Ajuste de mínimos cuadrados: de MathWorld
- Polinomio de ajuste de mínimos cuadrados - De MathWorld