En teoría de la información , la dimensión de la información es una medida de información para vectores aleatorios en el espacio euclidiano , basada en la entropía normalizada de versiones finamente cuantificadas de los vectores aleatorios . Este concepto fue introducido por primera vez por Alfréd Rényi en 1959. [1]
Simplemente hablando, es una medida de la dimensión fractal de una distribución de probabilidad . Caracteriza la tasa de crecimiento de la entropía de Shannon dada por discretizaciones sucesivamente más finas del espacio.
En 2010, Wu y Verdú dieron una caracterización operativa de la dimensión de información de Rényi como el límite fundamental de la compresión de datos casi sin pérdidas para fuentes analógicas bajo diversas restricciones de regularidad del codificador / decodificador.
Definición y propiedades
La entropía de una variable aleatoria discreta es
dónde es la medida de probabilidad de Cuándo , y el denota un conjunto .
Dejar ser una variable aleatoria arbitraria de valor real. Dado un número entero positivo , creamos una nueva variable aleatoria discreta
donde el es el operador de piso que convierte un número real en el mayor entero menor que él. Luego
y
se denominan dimensiones de información inferior y superior de respectivamente. Cuándo, llamamos a esta dimensión de información de valor de ,
Algunas propiedades importantes de la dimensión de la información :
- Si la condición leve se cumple, tenemos .
- Por un -vector aleatorio dimensional , la primera propiedad se puede generalizar a .
- Es suficiente calcular las dimensiones de información superior e inferior cuando se restringe a la subsecuencia exponencial.
- y se mantienen sin cambios si se utilizan funciones de redondeo o techo en la cuantificación.
-Entropía dimensional
Si la dimensión de la información existe, se puede definir el -entropía dimensional de esta distribución por
siempre que exista el límite. Si, la entropía de dimensión cero es igual a la entropía estándar de Shannon . Para dimensión entera, la -La entropía dimensional es la -pliegue integral que define la respectiva entropía diferencial .
Distribuciones de mezclas continuas y discretas
De acuerdo con el teorema de descomposición de Lebesgue , [2] una distribución de probabilidad puede ser representada de forma única por la mezcla
dónde y ; es una medida de probabilidad puramente atómica (parte discreta), es la medida de probabilidad absolutamente continua, y es una medida de probabilidad singular con respecto a la medida de Lebesgue pero sin átomos (parte singular). Dejarser una variable aleatoria tal que. Suponga la distribución de se puede representar como
dónde es una medida discreta y es la medida de probabilidad absolutamente continua con . Luego
Además, dado y entropía diferencial , la -La entropía dimensional está dada simplemente por
dónde es la entropía de Shannon de una variable aleatoria discreta con y y dado por
Ejemplo
Considere una señal que tiene una distribución de probabilidad gaussiana .
Pasamos la señal a través de un rectificador de media onda que convierte todos los valores negativos en 0 y mantiene todos los demás valores. El rectificador de media onda se puede caracterizar por la función
Luego, a la salida del rectificador, la señal tiene una distribución gaussiana rectificada . Se caracteriza por una masa atómica de peso 0,5 y tiene una PDF gaussiana para todos.
Con esta distribución de mezcla, aplicamos la fórmula anterior y obtenemos la dimensión de información de la distribución y calcular el -entropía dimensional.
La parte derecha normalizada de la distribución gaussiana de media cero tiene entropía , por eso
Conexión con la entropía diferencial
Se muestra [3] que la dimensión de la información y la entropía diferencial están estrechamente conectadas.
Dejar ser una variable aleatoria con densidad continua .
Supongamos que dividimos el rango de en contenedores de longitud . Por el teorema del valor medio , existe un valor dentro de cada contenedor de modo que
Considere la variable aleatoria discretizada Si .
La probabilidad de cada punto de apoyo. es
Dejar . La entropía de es
Si ponemos y entonces estamos haciendo exactamente la misma cuantificación que la definición de dimensión de información. Dado que volver a etiquetar los eventos de una variable aleatoria discreta no cambia su entropía, tenemos
Esto produce
y cuando es suficientemente grande,
que es la entropía diferencial de la variable aleatoria continua. En particular, si es Riemann integrable, entonces
Comparando esto con el -entropía dimensional muestra que la entropía diferencial es exactamente la entropía unidimensional
De hecho, esto se puede generalizar a dimensiones superiores. Rényi demuestra que, si es un vector aleatorio en un -espacio euclidiano dimensional con una distribución absolutamente continua con una función de densidad de probabilidad y entropía finita de la parte entera (), tenemos
y
si la integral existe.
Compresión de datos sin pérdida
La dimensión de información de una distribución da un límite superior teórico en la tasa de compresión, si se quiere comprimir una variable proveniente de esta distribución. En el contexto de la compresión de datos sin pérdida, tratamos de comprimir números reales con números menos reales, los cuales tienen una precisión infinita.
El objetivo principal de la compresión de datos sin pérdidas es encontrar representaciones eficientes para realizaciones de fuentes. por . Acódigo para es un par de asignaciones:
- codificador: que convierte la información de una fuente en símbolos para la comunicación o el almacenamiento;
- descifrador: es el proceso inverso, convirtiendo los símbolos de código en una forma que el destinatario comprenda.
La probabilidad de error de bloque es .
Definir ser el infame de tal que existe una secuencia de códigos tales que para todo lo suficientemente grande .
Entonces básicamente da la relación entre la longitud del código y la longitud de la fuente, muestra qué tan bueno es un par de decodificadores de codificador específico. Los límites fundamentales en la codificación de fuente sin pérdidas son los siguientes. [4]
Considere una función de codificador continuo con su función de decodificador continuo . Si no imponemos regularidad a y , debido a la rica estructura de , tenemos el mínimo -tasa alcanzable para todos . Significa que se puede construir un par de codificador-decodificador con una tasa de compresión infinita.
Para obtener algunas conclusiones significativas y no triviales, dejemos el mínimo velocidad alcanzable para codificador lineal y decodificador Borel. Si variable aleatoriaTiene una distribución que es una mezcla de parte discreta y continua. Luego para todos Supongamos que restringimos el decodificador para que sea una función continua de Lipschitz y sostiene, entonces el mínimo tasa alcanzable para todos .
Ver también
Notas
- ^ Ver Rényi 1959 .
- ^ Ver Çınlar 2011 .
- ^ Ver Portada y Thomas 2012 .
- ^ Ver Wu y Verdu 2010 .
Referencias
- Çınlar, Erhan (2011). Probabilidad y estocástico . Textos de Posgrado en Matemáticas. 261 . Saltador. doi : 10.1007 / 978-0-387-87859-1 . ISBN 978-0-387-87858-4.
- Portada, Thomas M .; Thomas, Joy A. (2012). Elementos de la teoría de la información (2ª ed.). Wiley. págs. 247–248. ISBN 9781118585771.
- Rényi, A. (marzo de 1959). "Sobre la dimensión y la entropía de las distribuciones de probabilidad". Acta Mathematica Academiae Scientiarum Hungaricae . 10 (1–2): 193–215. doi : 10.1007 / BF02063299 . ISSN 0001-5954 . S2CID 121006720 .
- Wu, Yihong; Verdu, S. (agosto de 2010). "Dimensión de información de Rényi: límites fundamentales de la compresión analógica casi sin pérdidas". Transacciones IEEE sobre teoría de la información . 56 (8): 3721–3748. doi : 10.1109 / TIT.2010.2050803 . ISSN 0018-9448 . S2CID 206737933 .