En estadísticas , econometría y procesamiento de señales , un autorregresivo ( AR ) modelo es una representación de un tipo de proceso aleatorio ; como tal, se utiliza para describir ciertos procesos que varían en el tiempo en la naturaleza , la economía , etc. El modelo autorregresivo especifica que la variable de salida depende linealmente de sus propios valores previos y de un término estocástico (un término imperfectamente predecible); por lo tanto, el modelo tiene la forma de una ecuación en diferencias estocásticas(o relación de recurrencia que no debe confundirse con ecuación diferencial). Junto con el modelo de media móvil (MA) , es un caso especial y un componente clave de los modelos más generales de media móvil autorregresiva (ARMA) y media móvil integrada autorregresiva (ARIMA) de series de tiempo , que tienen un estocástico más complicado. estructura; también es un caso especial del modelo autorregresivo vectorial (VAR), que consiste en un sistema de más de una ecuación de diferencia estocástica entrelazada en más de una variable aleatoria en evolución.
A diferencia del modelo de media móvil (MA) , el modelo autorregresivo no siempre es estacionario, ya que puede contener una raíz unitaria .
Definición
La notación indica un modelo autorregresivo de orden p . El modelo AR ( p ) se define como
dónde son los parámetros del modelo, es una constante, y es ruido blanco . Esto se puede escribir de forma equivalente utilizando el operador de retroceso B como
de modo que, moviendo el término de suma hacia el lado izquierdo y usando la notación polinomial , tenemos
Por tanto, un modelo autorregresivo puede verse como la salida de un filtro de respuesta de impulso infinito de todos los polos cuya entrada es ruido blanco.
Algunas restricciones de parámetros son necesarias para que el modelo permanezca estacionario en sentido amplio . Por ejemplo, los procesos en el modelo AR (1) conno están estacionarios. De manera más general, para que un modelo AR ( p ) sea estacionario de sentido amplio, las raíces del polinomiodebe estar fuera del círculo unitario , es decir, cada raíz (compleja) debe satisfacer (véanse las páginas 88,90 [1] ).
Efecto intertemporal de los shocks
En un proceso de RA, un choque único afecta los valores de la variable en evolución infinitamente lejanos en el futuro. Por ejemplo, considere el modelo AR (1). Un valor distinto de cero paraen el momento t = 1 afecta por la cantidad . Luego, por la ecuación AR para en términos de , esto afecta por la cantidad . Luego, por la ecuación AR para en términos de , esto afecta por la cantidad . Continuar con este proceso muestra que el efecto denunca termina, aunque si el proceso es estacionario entonces el efecto disminuye hacia cero en el límite.
Debido a que cada choque afecta los valores de X infinitamente lejanos en el futuro desde que ocurren, cualquier valor dado X t se ve afectado por los choques que ocurren infinitamente en el pasado. Esto también se puede ver reescribiendo la autorregresión.
(donde el término constante se ha suprimido asumiendo que la variable se ha medido como desviaciones de su media) como
Cuando se lleva a cabo la división polinomial del lado derecho, el polinomio en el operador de desplazamiento hacia atrás aplicado a tiene un orden infinito, es decir, un número infinito de valores rezagados de aparecen en el lado derecho de la ecuación.
Polinomio característico
La función de autocorrelación de un proceso AR ( p ) se puede expresar como [ cita requerida ]
dónde son las raíces del polinomio
donde B es el operador de cambio hacia atrás , donde es la función que define la autorregresión, y donde son los coeficientes en la autorregresión.
La función de autocorrelación de un proceso AR ( p ) es una suma de exponenciales decrecientes.
- Cada raíz real aporta un componente a la función de autocorrelación que decae exponencialmente.
- De manera similar, cada par de raíces conjugadas complejas contribuye a una oscilación amortiguada exponencialmente.
Gráficos de procesos AR ( p )
El proceso AR más simple es AR (0), que no tiene dependencia entre los términos. Solo el término error / innovación / ruido contribuye a la salida del proceso, por lo que en la figura, AR (0) corresponde al ruido blanco.
Para un proceso AR (1) con un resultado positivo , solo el término anterior en el proceso y el término de ruido contribuyen a la salida. Si está cerca de 0, entonces el proceso todavía parece ruido blanco, pero como se acerca a 1, la salida obtiene una mayor contribución del término anterior en relación con el ruido. Esto da como resultado un "suavizado" o integración de la salida, similar a un filtro de paso bajo.
Para un proceso AR (2), los dos términos anteriores y el término de ruido contribuyen a la salida. Si ambos y son positivas, la salida se parecerá a un filtro de paso bajo, con la parte de alta frecuencia del ruido disminuida. Si es positivo mientras es negativo, entonces el proceso favorece cambios de signo entre los términos del proceso. La salida oscila. Esto se puede comparar con la detección de bordes o la detección de cambios de dirección.
Ejemplo: un proceso AR (1)
Un proceso AR (1) viene dado por:
dónde es un proceso de ruido blanco con media cero y varianza constante . (Nota: el subíndice enha sido eliminado.) El proceso es estacionario de sentido amplio siya que se obtiene como salida de un filtro estable cuya entrada es ruido blanco. (Si entonces la varianza de depende del retardo de tiempo t, de modo que la varianza de la serie diverge al infinito cuando t va al infinito y, por lo tanto, no es estacionaria en sentido amplio). , el significado es idéntico para todos los valores de t por la propia definición de estacionariedad de sentido amplio. Si la media se denota por, se sigue de
que
y por lo tanto
En particular, si , entonces la media es 0.
La varianza es
dónde es la desviación estándar de . Esto se puede demostrar notando que
y luego al notar que la cantidad anterior es un punto fijo estable de esta relación.
La autocovarianza está dada por
Puede verse que la función de autocovarianza decae con un tiempo de decaimiento (también llamado constante de tiempo ) de [para ver esto, escribe dónde es independiente de . Entonces nota que y haga coincidir esto con la ley de desintegración exponencial ].
La función de densidad espectral es la transformada de Fourier de la función de autocovarianza. En términos discretos, esta será la transformada de Fourier de tiempo discreto:
Esta expresión es periódica debido a la naturaleza discreta de la , que se manifiesta como el término coseno en el denominador. Si asumimos que el tiempo de muestreo () es mucho menor que el tiempo de decaimiento (), entonces podemos usar una aproximación continua para :
que produce un perfil de Lorentz para la densidad espectral:
dónde es la frecuencia angular asociada con el tiempo de caída .
Una expresión alternativa para se puede derivar sustituyendo primero por en la ecuación definitoria. Continuando con este proceso N veces se obtiene
Para N acercándose al infinito, se acercará a cero y:
Se ve que ¿Es el ruido blanco convolucionado con el kernel más la media constante. Si el ruido blancoes un proceso gaussiano entoncestambién es un proceso gaussiano. En otros casos, el teorema del límite central indica que se distribuirá aproximadamente normalmente cuando está cerca de uno.
Forma explícita de media / diferencia del proceso AR (1)
El modelo AR (1) es la analogía de tiempo discreto del proceso continuo de Ornstein-Uhlenbeck . Por lo tanto, a veces es útil comprender las propiedades del modelo AR (1) emitido en una forma equivalente. De esta forma, el modelo AR (1), con parámetro de proceso es dado por:
- , dónde y es la media del modelo.
Poniendo esto en el formulario y luego expandir la serie para , se puede demostrar que:
- , y
- .
Elegir el retraso máximo
La autocorrelación parcial de un proceso AR (p) es igual a cero en el retardo que no es mayor que el orden de p [ aclaración necesaria ] y proporciona un buen modelo para la correlación entrey , por lo que el retardo máximo apropiado es aquel más allá del cual las autocorrelaciones parciales son todas cero.
Cálculo de los parámetros AR
Hay muchas formas de estimar los coeficientes, como el procedimiento de mínimos cuadrados ordinarios o el método de momentos (a través de las ecuaciones de Yule-Walker).
El modelo AR ( p ) viene dado por la ecuación
Se basa en parámetros donde i = 1, ..., p . Existe una correspondencia directa entre estos parámetros y la función de covarianza del proceso, y esta correspondencia se puede invertir para determinar los parámetros a partir de la función de autocorrelación (que a su vez se obtiene de las covarianzas). Esto se hace usando las ecuaciones de Yule-Walker.
Ecuaciones de Yule-Walker
Las ecuaciones de Yule-Walker, llamadas así por Udny Yule y Gilbert Walker , [2] [3] son el siguiente conjunto de ecuaciones. [4]
donde m = 0,…, p , dando p + 1 ecuaciones. Aquíes la función de autocovarianza de X t , es la desviación estándar del proceso de ruido de entrada, y es la función delta de Kronecker .
Debido a que la última parte de una ecuación individual es distinta de cero solo si m = 0 , el conjunto de ecuaciones se puede resolver representando las ecuaciones para m > 0 en forma de matriz, obteniendo así la ecuación
que se puede resolver para todos La ecuación restante para m = 0 es
que, una vez son conocidos, se pueden resolver para
Una formulación alternativa es en términos de la función de autocorrelación . Los parámetros AR están determinados por los primeros elementos p +1de la función de autocorrelación. La función de autocorrelación completa se puede derivar calculando recursivamente [5]
Ejemplos de algunos procesos AR ( p ) de bajo orden
- p = 1
- Por eso
- p = 2
- Las ecuaciones de Yule-Walker para un proceso AR (2) son
- Recuérdalo
- Usando la primera ecuación se obtiene
- Usando la fórmula de recursividad se obtiene
- Las ecuaciones de Yule-Walker para un proceso AR (2) son
Estimación de los parámetros de AR
Las ecuaciones anteriores (las ecuaciones de Yule-Walker) proporcionan varias rutas para estimar los parámetros de un modelo AR ( p ), reemplazando las covarianzas teóricas con valores estimados. [6] Algunas de estas variantes se pueden describir de la siguiente manera:
- Estimación de autocovarianzas o autocorrelaciones. Aquí, cada uno de estos términos se estima por separado, utilizando estimaciones convencionales. Hay diferentes formas de hacer esto y la elección entre ellas afecta las propiedades del esquema de estimación. Por ejemplo, algunas elecciones pueden producir estimaciones negativas de la varianza.
- Formulación como un problema de regresión de mínimos cuadrados en el que se construye un problema ordinario de predicción de mínimos cuadrados, basando la predicción de valores de X t en los p valores previos de la misma serie. Esto se puede considerar como un esquema de predicción anticipada. Las ecuaciones normales para este problema se puede ver que corresponden a una aproximación de la forma de la matriz de las ecuaciones de Yule-Walker en el que cada aparición de un autocovarianza de la misma lag se sustituye por una estimación ligeramente diferente.
- Formulación como una forma extendida de un problema de predicción de mínimos cuadrados ordinarios. Aquí se combinan dos conjuntos de ecuaciones de predicción en un único esquema de estimación y un único conjunto de ecuaciones normales. Un conjunto es el conjunto de ecuaciones de predicción hacia adelante y el otro es un conjunto correspondiente de ecuaciones de predicción hacia atrás, relacionadas con la representación hacia atrás del modelo AR:
- Aquí, los valores predichos de X t se basarían en los p valores futuros de la misma serie. [ aclaración necesaria ] Esta forma de estimar los parámetros de AR se debe a Burg, [7] y se llama el método de Burg: [8] Burg y los autores posteriores llamaron a estas estimaciones particulares "estimaciones de entropía máxima", [9] pero el razonamiento detrás esto se aplica al uso de cualquier conjunto de parámetros AR estimados. En comparación con el esquema de estimación que utiliza solo las ecuaciones de predicción directa, se producen diferentes estimaciones de las autocovarianzas y las estimaciones tienen diferentes propiedades de estabilidad. Las estimaciones de Burg están particularmente asociadas con la estimación espectral de máxima entropía . [10]
Otros posibles enfoques para la estimación incluyen la estimación de máxima verosimilitud . Se encuentran disponibles dos variantes distintas de máxima verosimilitud: en una (ampliamente equivalente al esquema de mínimos cuadrados de predicción directa), la función de verosimilitud considerada es la correspondiente a la distribución condicional de valores posteriores en la serie dados los valores p iniciales en la serie; en el segundo, la función de verosimilitud considerada es la correspondiente a la distribución conjunta incondicional de todos los valores de la serie observada. Pueden ocurrir diferencias sustanciales en los resultados de estos enfoques si la serie observada es corta o si el proceso se acerca a la no estacionariedad.
Espectro
La densidad espectral de potencia (PSD) de un proceso AR ( p ) con variación de ruidoes [5]
AR (0)
Para ruido blanco (AR (0))
AR (1)
Para AR (1)
- Si hay un solo pico espectral en f = 0, a menudo denominado ruido rojo . Comose acerca a 1, hay una potencia más fuerte a bajas frecuencias, es decir, mayores retrasos de tiempo. Este es entonces un filtro de paso bajo, cuando se aplica a la luz de espectro completo, todo, excepto la luz roja, se filtrará.
- Si hay un mínimo en f = 0, a menudo denominado ruido azul . Esto actúa de manera similar como un filtro de paso alto, se filtrará todo excepto la luz azul.
AR (2)
Los procesos AR (2) se pueden dividir en tres grupos en función de las características de sus raíces:
- Cuándo , el proceso tiene un par de raíces conjugadas complejas, creando un pico de frecuencia media en:
De lo contrario, el proceso tiene raíces reales y:
- Cuándo actúa como un filtro de paso bajo en el ruido blanco con un pico espectral en
- Cuándo actúa como un filtro de paso alto en el ruido blanco con un pico espectral en .
El proceso no es estacionario cuando las raíces están fuera del círculo unitario. El proceso es estable cuando las raíces están dentro del círculo unitario, o de manera equivalente cuando los coeficientes están en el triángulo..
La función PSD completa se puede expresar en forma real como:
Implementaciones en paquetes de estadísticas
- R , el paquete de estadísticas incluye una función ar . [11]
- La caja de herramientas de econometría de MATLAB [12] y la caja de herramientas de identificación del sistema [13] incluyen modelos autorregresivos [14]
- Matlab y Octave : la caja de herramientas TSA contiene varias funciones de estimación para modelos autorregresivos univariados , multivariados y adaptativos. [15]
- PyMC3 : las estadísticas Bayesianas y probabilísticos apoya el marco de la programación de los modos autorregresivos con p rezagos.
- bayesloop admite la inferencia de parámetros y la selección de modelos para el proceso AR-1 con parámetros que varían en el tiempo. [dieciséis]
- Python : implementación en modelos de estadísticas. [17]
Respuesta impulsiva
La respuesta al impulso de un sistema es el cambio en una variable en evolución en respuesta a un cambio en el valor de un término de choque k periodos antes, en función de k . Dado que el modelo AR es un caso especial del modelo autorregresivo vectorial, aquí se aplica el cálculo de la respuesta al impulso en la respuesta al impulso # de autorregresión vectorial .
n -Previsión anticipada
Una vez que los parámetros de la autorregresión
estimados, la autorregresión se puede utilizar para pronosticar un número arbitrario de períodos en el futuro. Primero use t para referirse al primer período para el cual aún no hay datos disponibles; sustituya los valores anteriores conocidos X t-i por i = 1, ..., p en la ecuación autorregresiva mientras establece el término de errorigual a cero (porque pronosticamos que X t será igual a su valor esperado, y el valor esperado del término de error no observado es cero). El resultado de la ecuación autorregresiva es el pronóstico para el primer período no observado. A continuación, utilice t para referirse al siguiente período para el que aún no hay datos disponibles; nuevamente, la ecuación autorregresiva se usa para hacer el pronóstico, con una diferencia: el valor de X un período anterior al que se está pronosticando ahora no se conoce, por lo que su valor esperado (el valor pronosticado que surge del paso de pronóstico anterior) se usa en su lugar . Luego, para períodos futuros, se usa el mismo procedimiento, cada vez usando un valor de pronóstico más en el lado derecho de la ecuación predictiva hasta que, después de p predicciones, todos los valores p del lado derecho son valores predichos de los pasos anteriores.
Hay cuatro fuentes de incertidumbre con respecto a las predicciones obtenidas de esta manera: (1) incertidumbre sobre si el modelo autorregresivo es el modelo correcto; (2) incertidumbre sobre la precisión de los valores pronosticados que se utilizan como valores rezagados en el lado derecho de la ecuación autorregresiva; (3) incertidumbre sobre los valores reales de los coeficientes autorregresivos; y (4) incertidumbre sobre el valor del término de errorpara el período que se predice. Cada uno de los tres últimos se puede cuantificar y combinar para dar un intervalo de confianza para las predicciones de n pasos hacia adelante; el intervalo de confianza se ampliará a medida que n aumente debido al uso de un número creciente de valores estimados para las variables del lado derecho.
Evaluar la calidad de los pronósticos
El rendimiento predictivo del modelo autorregresivo se puede evaluar tan pronto como se haya realizado la estimación si se utiliza la validación cruzada . En este enfoque, algunos de los datos inicialmente disponibles se utilizaron para fines de estimación de parámetros, y algunos (de las observaciones disponibles más adelante en el conjunto de datos) se retuvieron para realizar pruebas fuera de la muestra. Alternativamente, después de que haya pasado algún tiempo después de que se realizó la estimación de los parámetros, habrá más datos disponibles y se podrá evaluar el rendimiento predictivo utilizando los nuevos datos.
En cualquier caso, hay dos aspectos del rendimiento predictivo que pueden evaluarse: rendimiento de un paso adelante y rendimiento de n pasos adelante. Para el rendimiento de un paso adelante, los parámetros estimados se utilizan en la ecuación autorregresiva junto con los valores observados de X para todos los períodos anteriores al que se predice, y el resultado de la ecuación es el pronóstico de un paso adelante; este procedimiento se utiliza para obtener pronósticos para cada una de las observaciones fuera de la muestra. Para evaluar la calidad de los pronósticos de n pasos hacia adelante, se emplea el procedimiento de pronóstico de la sección anterior para obtener las predicciones.
Dado un conjunto de valores predichos y un conjunto correspondiente de valores reales para X para varios períodos de tiempo, una técnica de evaluación común es utilizar el error de predicción cuadrático medio ; también hay otras medidas disponibles (ver pronóstico # precisión del pronóstico ).
Surge la pregunta de cómo interpretar la precisión de la predicción medida; por ejemplo, ¿qué es un valor "alto" (malo) o "bajo" (bueno) para el error de predicción cuadrático medio? Hay dos posibles puntos de comparación. En primer lugar, la precisión del pronóstico de un modelo alternativo, estimada bajo diferentes supuestos de modelado o diferentes técnicas de estimación, se puede utilizar con fines de comparación. En segundo lugar, la medida de precisión fuera de la muestra se puede comparar con la misma medida calculada para los puntos de datos dentro de la muestra (que se usaron para la estimación de parámetros) para los cuales hay suficientes valores de datos anteriores disponibles (es decir, descartando los primeros p datos puntos, para los cuales p puntos de datos previos no están disponibles). Dado que el modelo se estimó específicamente para ajustarse a los puntos dentro de la muestra lo mejor posible, normalmente ocurrirá que el rendimiento predictivo fuera de la muestra será más pobre que el rendimiento predictivo dentro de la muestra. Pero si la calidad predictiva se deteriora fuera de la muestra "no mucho" (que no se puede definir con precisión), entonces el pronosticador puede estar satisfecho con el desempeño.
Ver también
- Modelo de media móvil
- Ecuación de diferencia lineal
- Analítica predictiva
- Codificación predictiva lineal
- Resonancia
- Recursividad de Levinson
- Proceso de Ornstein-Uhlenbeck
Notas
- ^ Shumway, Robert; Stoffer, David (2010). Análisis de series de tiempo y sus aplicaciones: con ejemplos de R (3ª ed.). Saltador. ISBN 144197864X.
- ^ Yule, G. Udny (1927) "Sobre un método de investigación de periodicidades en series perturbadas, con especial referencia a los números de manchas solares de Wolfer" , Transacciones filosóficas de la Royal Society de Londres , Ser. A, vol. 226, 267–298.]
- ^ Walker, Gilbert (1931) "Sobre la periodicidad en una serie de términos relacionados" , Actas de la Royal Society of London , Ser. A, vol. 131, 518–532.
- ^ Theodoridis, Sergios (10 de abril de 2015). "Capítulo 1. Probabilidad y procesos estocásticos". Aprendizaje automático: una perspectiva bayesiana y de optimización . Academic Press, 2015. págs. 9–51. ISBN 978-0-12-801522-3.
- ^ a b Von Storch, H .; F. W Zwiers (2001). Análisis estadístico en investigación climática . Cambridge Univ Pr. ISBN 0-521-01230-9.[ página necesaria ]
- ^ Eshel, Gidon. "Las ecuaciones de Yule Walker para los coeficientes de AR" (PDF) . stat.wharton.upenn.edu .
- ^ Burg, JP (1968). "Una nueva técnica de análisis de datos de series de tiempo". En Modern Spectrum Analysis (Editado por DG Childers), Instituto de Estudios Avanzados de Procesamiento de Señales de la OTAN con énfasis en Acústica Submarina. IEEE Press, Nueva York.
- ^ Brockwell, Peter J .; Dahlhaus, Rainer; Trindade, A. Alexandre (2005). "Algoritmos de Burg modificados para la autorregresión de subconjuntos multivariantes" (PDF) . Statistica Sinica . 15 : 197–213. Archivado desde el original (PDF) el 21 de octubre de 2012.
- ^ Burg, JP (1967) "Análisis espectral de máxima entropía", Actas de la 37ª reunión de la Sociedad de geofísicos de exploración , Oklahoma City, Oklahoma.
- ^ Bos, R .; De Waele, S .; Broersen, PMT (2002). "Estimación espectral autorregresiva mediante la aplicación del algoritmo de burg a datos muestreados irregularmente" . Transacciones IEEE sobre instrumentación y medición . 51 (6): 1289. doi : 10.1109 / TIM.2002.808031 .
- ^ "Ajustar modelos autorregresivos a series de tiempo" (en R)
- ^ Descripción general de Econometrics Toolbox
- ^ Descripción general de la caja de herramientas de identificación del sistema
- ^ "Modelado autorregresivo en MATLAB"
- ^ "Caja de herramientas de análisis de series de tiempo para Matlab y Octave"
- ^ bayesloop: marco de programación probabilística que facilita la selección del modelo objetivo para modelos de parámetros variables en el tiempo.
- ^ "statsmodels.tsa.ar_model.AutoReg - documentación de statsmodels 0.12.2" . www.statsmodels.org . Consultado el 29 de abril de 2021 .
Referencias
- Mills, Terence C. (1990). Técnicas de series de tiempo para economistas . Prensa de la Universidad de Cambridge.
- Percival, Donald B .; Walden, Andrew T. (1993). Análisis espectral para aplicaciones físicas . Prensa de la Universidad de Cambridge.
- Pandit, Sudhakar M .; Wu, Shien-Ming (1983). Series de tiempo y análisis de sistemas con aplicaciones . John Wiley e hijos.
enlaces externos
- Análisis de autorregresión (AR) por Paul Bourke
- Conferencia de econometría (tema: modelos autorregresivos) en YouTube por Mark Thoma