En el análisis estadístico , la detección de cambios o la detección de puntos de cambio intenta identificar los momentos en los que cambia la distribución de probabilidad de un proceso estocástico o de una serie de tiempo . En general, el problema se refiere tanto a la detección de si se ha producido o no un cambio, como a la posibilidad de que se hayan producido varios cambios, y a la identificación de las horas de dichos cambios.
Las aplicaciones específicas, como la detección de pasos y la detección de bordes , pueden estar relacionadas con cambios en la media , varianza , correlación o densidad espectral del proceso. De manera más general, la detección de cambios también incluye la detección de comportamientos anómalos: detección de anomalías .
Introducción
Una serie de tiempo mide la progresión de una o más cantidades a lo largo del tiempo. Por ejemplo, la figura anterior muestra el nivel del agua en el río Nilo entre 1870 y 1970. La detección del punto de cambio se ocupa de identificar si el comportamiento de la serie cambia significativamente y, de ser así , cuándo . En el ejemplo del río Nilo, el volumen de agua cambia significativamente después de que se construyó una presa en el río. Es importante destacar que las observaciones anómalas que difieren del comportamiento en curso de la serie de tiempo generalmente no se consideran puntos de cambio siempre que la serie vuelva a su comportamiento anterior después.
Matemáticamente, podemos describir una serie de tiempo como una secuencia ordenada de observaciones. . Podemos escribir la distribución conjunta de un subconjunto de la serie temporal como . Si el objetivo es determinar si se produjo un punto de cambio a la vez en una serie de tiempo finita de duración , entonces realmente preguntamos si es igual a . Este problema se puede generalizar al caso de más de un punto de cambio.
El problema de la detección del punto de cambio puede reducirse aún más a problemas más específicos. En la detección de puntos de cambio fuera de línea , se supone que una secuencia de longitudestá disponible y el objetivo es identificar si se produjo algún punto de cambio en la serie. Este es un ejemplo de análisis post hoc y a menudo se aborda utilizando métodos de prueba de hipótesis . Por el contrario, la detección de puntos de cambio en línea se ocupa de detectar puntos de cambio en un flujo de datos entrante.
Detección de cambios en línea
Utilizando el enfoque de análisis secuencial ("en línea"), cualquier prueba de cambio debe hacer una compensación entre estas métricas comunes:
- Tasa de falsas alarmas
- Tasa de detección errónea
- Retraso de detección
En un problema de detección de cambios de Bayes , hay una distribución previa disponible para la hora de cambio.
La detección de cambios en línea también se realiza mediante algoritmos de transmisión .
Detección de cambios minimax
En la detección de cambios minimax , el objetivo es minimizar el retardo de detección esperado para alguna distribución de tiempo de cambio en el peor de los casos, sujeto a un costo o restricción de falsas alarmas.
Una técnica clave para la detección de cambios minimax es el procedimiento CUSUM .
Detección de cambios sin conexión
Basseville (1993, Sección 2.6) analiza la detección de cambios en la media fuera de línea con pruebas de hipótesis basadas en los trabajos de Page [2] y Picard [3] y la estimación de máxima verosimilitud del tiempo de cambio, relacionada con la regresión de dos fases . Otros enfoques emplean agrupaciones basadas en la estimación de máxima verosimilitud , [ cita requerida ] o utilizan la optimización para inferir el número y las veces de los cambios. [4]
Los enfoques "sin conexión" no se pueden utilizar en la transmisión de datos porque necesitan comparar con las estadísticas de la serie de tiempo completa y no pueden reaccionar a los cambios en tiempo real, pero a menudo proporcionan una estimación más precisa del tiempo y la magnitud del cambio.
Aplicaciones de detección de cambios
Las pruebas de detección de cambios se utilizan a menudo en la fabricación ( control de calidad ), detección de intrusiones , filtrado de spam , seguimiento de sitios web y diagnósticos médicos.
Detección de cambios lingüísticos
La detección de cambios lingüísticos se refiere a la capacidad de detectar cambios a nivel de palabra en múltiples presentaciones de la misma oración. Los investigadores han descubierto que la cantidad de superposición semántica (es decir, relación) entre la palabra cambiada y la nueva palabra influye en la facilidad con la que se realiza dicha detección (Sturt, Sanford, Stewart y Dawydiak, 2004). Investigaciones adicionales han descubierto que centrar la atención en la palabra que se cambiará durante la lectura inicial de la oración original puede mejorar la detección. Esto se mostró usando texto en cursiva para enfocar la atención, donde la palabra que cambiará aparece en cursiva en la oración original (Sanford, Sanford, Molle y Emmott, 2006), además de usar construcciones de hendiduras como " Fue el árbol que necesitaba agua ". (Kennette, Wurm y Van Havermaet, 2010). Estos fenómenos de detección de cambios parecen ser robustos, incluso ocurren de manera interlingüística cuando los bilingües leen la oración original en su idioma nativo y la oración modificada en su segundo idioma (Kennette, Wurm y Van Havermaet, 2010). Recientemente, los investigadores han detectado cambios a nivel de palabra en la semántica a través del tiempo mediante el análisis computacional corpus temporal (por ejemplo: la palabra "gay" ha s adquirido un nuevo significado con el tiempo ) usando la detección de punto de cambio. [5]
Ver también
- Rotura estructural: cambio en la estructura del modelo
- Teoría de la detección
- Evaluación de la hipótesis
- Tasa de recuperación
- Característica Operativa del Receptor
Referencias
- ↑ van den Burg, Gerrit JJ; Williams, Christopher KI (26 de mayo de 2020). "Una evaluación de los algoritmos de detección de puntos de cambio". arXiv : 2003.06222 [ stat.ML ].
- ^ Page, ES (junio de 1957). "Sobre problemas en los que se produce un cambio en un parámetro en un punto desconocido". Biometrika . 44 (1/2): 248–252. doi : 10.1093 / biomet / 44.1-2.248 . JSTOR 2333258 .
- ^ Picard, Dominique (1985). "Prueba y estimación de puntos de cambio en series de tiempo". Avances en probabilidad aplicada . 17 (4): 841–867. doi : 10.2307 / 1427090 . JSTOR 1427090 .
- ^ Yao, Yi-Ching (1 de febrero de 1988). "Estimación del número de puntos de cambio a través del criterio de Schwarz". Estadísticas y letras de probabilidad . 6 (3): 181–189. doi : 10.1016 / 0167-7152 (88) 90118-6 . ISSN 0167-7152 .
- ^ Kulkarni Vivek; Rfou Rami; Perozzi Bryan; Skiena Steven (2015). "Detección estadísticamente significativa de cambio lingüístico" . WWW '15 Actas de la 24ª Conferencia Internacional sobre la World Wide Web : 625–635. arXiv : 1411.3315 . doi : 10.1145 / 2736277.2741627 . ISBN 9781450334693. S2CID 9298083 .
Otras lecturas
- Michèle Basseville; Igor V. Nikiforov (abril de 1993). Detección de cambios bruscos: teoría y aplicación . Prentice-Hall , Englewood Cliffs , Nueva Jersey ISBN 0-13-126780-9.
- H. Vincent Poor; Olympia Hadjiliadis (2009). Detección más rápida . Prensa de la Universidad de Cambridge . ISBN 978-0-521-62104-5.