En la teoría matemática de la probabilidad , la tasa de entropía o tasa de información de la fuente de un proceso estocástico es, informalmente, la densidad de tiempo de la información promedio en un proceso estocástico. Para procesos estocásticos con un índice contable , la tasa de entropíaes el límite de la entropía conjunta de miembros del proceso dividido por , como tiende al infinito :
cuando existe el límite. Una cantidad alternativa relacionada es:
Para procesos estocásticos fuertemente estacionarios ,. La tasa de entropía se puede considerar como una propiedad general de las fuentes estocásticas; esta es la propiedad de equipartición asintótica . La tasa de entropía se puede utilizar para estimar la complejidad de los procesos estocásticos. Se utiliza en diversas aplicaciones que van desde la caracterización de la complejidad de los lenguajes, la separación ciega de fuentes hasta la optimización de cuantificadores y algoritmos de compresión de datos. Por ejemplo, se puede utilizar un criterio de tasa de entropía máxima para la selección de características en el aprendizaje automático . [1]
Tasas de entropía para cadenas de Markov
Dado que un proceso estocástico definido por una cadena de Markov que es irreducible , aperiódica y recurrente positiva tiene una distribución estacionaria , la tasa de entropía es independiente de la distribución inicial.
Por ejemplo, para tal cadena de Markov definido en un número contable de estados, dada la matriz de transición , es dado por:
dónde es la distribución asintótica de la cadena.
Una simple consecuencia de esta definición es que un proceso estocástico iid tiene una tasa de entropía que es la misma que la entropía de cualquier miembro individual del proceso.
Ver también
- Fuente de información (matemáticas)
- Fuente de información de Markov
- Propiedad de equipartición asintótica
- Paseo aleatorio de entropía máxima : elegido para maximizar la tasa de entropía
Referencias
- ^ Einicke, GA (2018). "Selección de la tasa de entropía máxima de características para clasificar los cambios en la dinámica de la rodilla y el tobillo durante la carrera". IEEE Journal of Biomedical and Health Informatics . 28 (4): 1097-1103. doi : 10.1109 / JBHI.2017.2711487 . PMID 29969403 .