La regresión no paramétrica es una categoría de análisis de regresión en la que el predictor no toma una forma predeterminada, sino que se construye de acuerdo con la información derivada de los datos. Es decir, no se asume una forma paramétrica para la relación entre predictores y variable dependiente. La regresión no paramétrica requiere tamaños de muestra más grandes que la regresión basada en modelos paramétricos porque los datos deben proporcionar la estructura del modelo, así como las estimaciones del modelo.
Definición
En la regresión no paramétrica, tenemos variables aleatorias y y asumir la siguiente relación:
dónde es una función determinista. La regresión lineal es un caso restringido de regresión no paramétrica dondese supone que es afín. Algunos autores utilizan una suposición de ruido aditivo ligeramente más fuerte:
donde la variable aleatoria es el 'término de ruido', con media 0. Sin el supuesto de que pertenece a una familia paramétrica específica de funciones, es imposible obtener una estimación insesgada para , sin embargo, la mayoría de los estimadores son consistentes en condiciones adecuadas.
Lista de algoritmos de regresión no paramétrica de propósito general
Esta es una lista no exhaustiva de algoritmos adecuados para problemas de regresión no paramétrica.
Ejemplos de
Regresión del proceso gaussiano o Kriging
En la regresión del proceso gaussiano, también conocida como Kriging, se supone un antecedente gaussiano para la curva de regresión. Se supone que los errores tienen una distribución normal multivariante y la curva de regresión se estima por su modo posterior . El prior gaussiano puede depender de hiperparámetros desconocidos, que generalmente se estiman mediante Bayes empíricos . Los hiperparámetros suelen especificar un kernel de covarianza anterior. En caso de que el kernel también deba inferirse de forma no paramétrica a partir de los datos, se puede utilizar el filtro crítico .
Los splines de suavizado se interpretan como el modo posterior de un proceso de regresión gaussiano.
Regresión de kernel
La regresión del kernel estima la variable dependiente continua de un conjunto limitado de puntos de datos convolucionando las ubicaciones de los puntos de datos con una función del kernel; aproximadamente, la función del kernel especifica cómo "difuminar" la influencia de los puntos de datos para que sus valores puedan ser utilizado para predecir el valor de ubicaciones cercanas.
Árboles de regresión
Los algoritmos de aprendizaje de árboles de decisión se pueden aplicar para aprender a predecir una variable dependiente a partir de los datos. [1] Aunque la formulación original del árbol de clasificación y regresión (CART) se aplicó solo para predecir datos univariados, el marco se puede utilizar para predecir datos multivariados, incluidas las series de tiempo. [2]
Ver también
Referencias
- ^ Breiman, Leo; Friedman, JH; Olshen, RA; Stone, CJ (1984). Árboles de clasificación y regresión . Monterey, CA: Wadsworth & Brooks / Cole Advanced Books & Software. ISBN 978-0-412-04841-8.
- ^ Segal, MR (1992). "Métodos estructurados en árbol para datos longitudinales". Revista de la Asociación Estadounidense de Estadística . Asociación Estadounidense de Estadística, Taylor & Francis. 87 (418): 407–418. doi : 10.2307 / 2290271 . JSTOR 2290271 .
Otras lecturas
- Bowman, AW; Azzalini, A. (1997). Técnicas de suavizado aplicadas para el análisis de datos . Oxford: Clarendon Press. ISBN 0-19-852396-3.
- Fan, J .; Gijbels, I. (1996). Modelado de polinomios locales y sus aplicaciones . Boca Raton: Chapman y Hall. ISBN 0-412-98321-4.
- Henderson, DJ; Parmeter, CF (2015). Econometría no paramétrica aplicada . Nueva York: Cambridge University Press. ISBN 978-1-107-01025-3.
- Li, Q .; Racine, J. (2007). Econometría no paramétrica: teoría y práctica . Princeton: Prensa de la Universidad de Princeton. ISBN 978-0-691-12161-1.
- Pagan, A .; Ullah, A. (1999). Econometría no paramétrica . Nueva York: Cambridge University Press. ISBN 0-521-35564-8.