Los splines de suavizado son estimaciones de funciones,, obtenido de un conjunto de observaciones ruidosas del objetivo , con el fin de equilibrar una medida de bondad de ajuste de a con una medida derivada de la suavidad de . Proporcionan un medio para suavizar los ruidosdatos. El ejemplo más familiar es el spline de suavizado cúbico, pero hay muchas otras posibilidades, incluido el caso en el que es una cantidad vectorial.
Definición de spline cúbico
Dejar ser un conjunto de observaciones, modelado por la relación donde el son variables aleatorias independientes de media cero (generalmente se supone que tienen varianza constante). La estimación de spline de suavizado cúbico de la función se define como el minimizador (sobre la clase de funciones dos veces diferenciables) de [1] [2]
Observaciones:
- es un parámetro de suavizado que controla la compensación entre la fidelidad a los datos y la aspereza de la estimación de la función. Esto a menudo se estima mediante validación cruzada generalizada, [3] o por probabilidad marginal restringida (REML) que explota el vínculo entre el suavizado de splines y la estimación bayesiana (la penalización de suavizado puede verse como inducida por un previo en el). [4]
- La integral a menudo se evalúa en toda la línea real, aunque también es posible restringir el rango al de .
- Como (sin suavizado), la spline de suavizado converge con la spline de interpolación .
- Como (suavizado infinito), la penalización por rugosidad se vuelve primordial y la estimación converge a una estimación de mínimos cuadrados lineales .
- La penalización por rugosidad basada en la segunda derivada es la más común en la literatura estadística moderna, aunque el método puede adaptarse fácilmente a penalizaciones basadas en otras derivadas.
- En la literatura antigua, con ordenados igualmente espaciados , se utilizaron diferencias de segundo o tercer orden en la penalización, en lugar de derivadas. [5]
- El objetivo de suavizado de suma de cuadrados penalizado se puede reemplazar por un objetivo de probabilidad penalizado en el que la suma de términos de cuadrados se reemplaza por otra medida de fidelidad a los datos basada en la probabilidad logarítmica. [1] El término de suma de cuadrados corresponde a la probabilidad penalizada con una suposición gaussiana en el.
Derivación del spline de suavizado cúbico
Es útil pensar en ajustar una spline de suavizado en dos pasos:
- Primero, deriva los valores .
- De estos valores, derivan para todo x .
Ahora, trate el segundo paso primero.
Dado el vector de valores ajustados, la parte de suma de cuadrados del criterio de spline es fija. Solo queda minimizar, y el minimizador es una spline cúbica natural que interpola los puntos. Esta spline de interpolación es un operador lineal y se puede escribir en la forma
dónde son un conjunto de funciones de base spline. Como resultado, la penalización por rugosidad tiene la forma
donde los elementos de A son. Las funciones base, y por tanto la matriz A , dependen de la configuración de las variables predictoras, pero no en las respuestas o .
A es una matriz n × n dada por.
Δ es una matriz (n-2) × n de segundas diferencias con elementos:
, ,
W es una matriz tri-diagonal simétrica (n-2) × (n-2) con elementos:
, y , las distancias entre nudos sucesivos (ox valores).
Ahora volvamos al primer paso. La suma de cuadrados penalizada se puede escribir como
dónde .
Minimizando sobre diferenciando contra . Esto resulta en: [6] y
El enfoque de De Boor
El enfoque de De Boor explota la misma idea, de encontrar un equilibrio entre tener una curva suave y estar cerca de los datos dados. [7]
dónde es un parámetro llamado factor suave y pertenece al intervalo , y son las cantidades que controlan el grado de suavizado (representan el peso de cada punto ). En la práctica, dado que se utilizan principalmente splines cúbicos , es usualmente . La solucion parafue propuesto por Reinsch en 1967. [8] Para, Cuándo enfoques , converge al interpolante spline "natural" de los datos dados. [7] Como enfoques , converge en una línea recta (la curva más suave). Dado que encontrar un valor adecuado de es una tarea de prueba y error, una constante redundante fue introducido por conveniencia. [8] se utiliza para determinar numéricamente el valor de para que la función cumple la siguiente condición:
El algoritmo descrito por de Boor comienza con y aumenta hasta que se cumpla la condición. [7] Si es una estimación de la desviación estándar para , el constante se recomienda elegir en el intervalo . Teniendosignifica que la solución es el interpolante spline "natural". [8] Incrementando significa que obtenemos una curva más suave alejándonos de los datos dados.
Splines multidimensionales
Hay dos clases principales de métodos para generalizar a partir del suavizado con respecto a un escalar. al suavizado con respecto a un vector . El primer enfoque simplemente generaliza la penalización por suavizado de splines al entorno multidimensional. Por ejemplo, si intenta estimarpodríamos usar la penalización de spline de placa delgada y encontrar el minimizando
El enfoque de la ranura de placa delgada se puede generalizar al suavizado con respecto a más de dos dimensiones y a otros órdenes de diferenciación en la penalización. [1] A medida que aumenta la dimensión, existen algunas restricciones sobre el orden más pequeño de diferencial que se puede usar, [1] pero en realidad el artículo original de Duchon, [9] da penalizaciones un poco más complicadas que pueden evitar esta restricción.
Las estrías de la placa delgada son isotrópicas, lo que significa que si giramos la sistema de coordenadas, la estimación no cambiará, pero también asumimos que el mismo nivel de suavizado es apropiado en todas las direcciones. Esto a menudo se considera razonable cuando se suaviza con respecto a la ubicación espacial, pero en muchos otros casos la isotropía no es una suposición apropiada y puede conducir a la sensibilidad a elecciones aparentemente arbitrarias de unidades de medida. Por ejemplo, si suaviza con respecto a la distancia y el tiempo un suavizante isotrópico dará resultados diferentes si la distancia se mide en metros y el tiempo en segundos, a lo que ocurrirá si cambiamos las unidades a centímetros y horas.
La segunda clase de generalizaciones para el suavizado multidimensional se ocupa directamente de este problema de invariancia de escala utilizando construcciones de splines de producto tensorial. [10] [11] [12] Tales splines tienen penalizaciones de suavizado con múltiples parámetros de suavizado, que es el precio que se debe pagar por no asumir que el mismo grado de suavidad es apropiado en todas las direcciones.
Métodos relacionados
El suavizado de splines está relacionado con, pero es distinto de:
- Splines de regresión. En este método, los datos se ajustan a un conjunto de funciones de base spline con un conjunto reducido de nudos, típicamente por mínimos cuadrados. No se aplica ninguna penalización por rugosidad. (Consulte también splines de regresión adaptativa multivariante ).
- Splines penalizados. Esto combina los nudos reducidos de las splines de regresión, con la penalización por rugosidad de suavizar las splines. [13] [14]
- Método de mapas elásticos para el aprendizaje múltiple . Este método combina la penalización por mínimos cuadrados por error de aproximación con la penalización por flexión y estiramiento del colector de aproximación y utiliza la discretización burda del problema de optimización; ver estrías de placa delgada .
Código fuente
El código fuente para el suavizado de splines se puede encontrar en los ejemplos del libro de Carl de Boor A Practical Guide to Splines . Los ejemplos están en el lenguaje de programación Fortran . Las fuentes actualizadas también están disponibles en el sitio oficial de Carl de Boor [1] .
Referencias
- ^ a b c d Verde, PJ; Silverman, BW (1994). Regresión no paramétrica y modelos lineales generalizados: un enfoque de penalización por rugosidad . Chapman y Hall.
- ^ Hastie, TJ; Tibshirani, RJ (1990). Modelos aditivos generalizados . Chapman y Hall. ISBN 978-0-412-34390-2.
- ^ Craven, P .; Wahba, G. (1979). "Suavizado de datos ruidosos con funciones spline". Numerische Mathematik . 31 (4): 377–403. doi : 10.1007 / bf01404567 .
- ^ Kimeldorf, GS; Wahba, G. (1970). "Una correspondencia entre la estimación bayesiana de procesos estocásticos y suavizado por splines" . Los Anales de Estadística Matemática . 41 (2): 495–502. doi : 10.1214 / aoms / 1177697089 .
- ^ Whittaker, ET (1922). "Sobre un nuevo método de graduación". Actas de la Sociedad Matemática de Edimburgo . 41 : 63–75.
- ^ Rodríguez, alemán (primavera de 2001). "Regresión de suavizado y no paramétrico" (PDF) . 2.3.1 Computación. pag. 12 . Consultado el 28 de agosto de 2017 .Mantenimiento de CS1: ubicación ( enlace )
- ^ a b c De Boor, C. (2001). Una guía práctica de splines (edición revisada) . Saltador. págs. 207–214. ISBN 978-0-387-90356-9.
- ^ a b c Reinsch, Christian H. (1967). "Suavizado por funciones de spline". Numerische Mathematik . 10 (3): 177–183. doi : 10.1007 / BF02162161 .
- ^ J. Duchon, 1976, Splines que minimizan las semi-normas invariantes de rotación en espacios de Sobolev. pp 85-100, en: Teoría constructiva de funciones de varias variables, Oberwolfach 1976, W. Schempp y K. Zeller , eds., Lecture Notes in Math., vol. 571, Springer, Berlín, 1977
- ^ Wahba, Grace. Modelos de spline para datos de observación . SIAM.
- ^ Gu, Chong (2013). Suavizar modelos de ANOVA de spline (2ª ed.) . Saltador.
- ^ Madera, SN (2017). Modelos aditivos generalizados: una introducción con R (2ª ed) . Chapman y Hall / CRC. ISBN 978-1-58488-474-3.
- ^ Eilers, PHC y Marx B. (1996). "Suavizado flexible con B-splines y penalizaciones". Ciencia estadística . 11 (2): 89-121.
- ^ Ruppert, David; Varita, MP; Carroll, RJ (2003). Regresión semiparamétrica . Prensa de la Universidad de Cambridge. ISBN 978-0-521-78050-6.
Otras lecturas
- Wahba, G. (1990). Modelos de spline para datos de observación . SIAM, Filadelfia.
- Green, PJ y Silverman, BW (1994). Regresión no paramétrica y modelos lineales generalizados . Prensa CRC.
- De Boor, C. (2001). Una guía práctica de splines (edición revisada) . Saltador.