Entropía (teoría de la información)

En la teoría de la información , la entropía de una variable aleatoria es el nivel promedio de "información", "sorpresa" o "incertidumbre" inherente a los posibles resultados de la variable. Dada una variable aleatoria discreta , con posibles resultados , que ocurren con probabilidad, la entropía de se define formalmente como:${\ estilo de visualización X}$${\ estilo de visualización x_{1},...,x_{n}}$${\displaystyle \mathrm {P} (x_{1}),...,\mathrm {P} (x_{n}),}$${\ estilo de visualización X}$

${\displaystyle \mathrm {H} (X)=-\sum _{i=1}^{n}{\mathrm {P} (x_{i})\log \mathrm {P} (x_{i}) }}$

donde denota la suma de los posibles valores de la variable. La elección de la base para , el logaritmo , varía según las diferentes aplicaciones. La base 2 da la unidad de bits (o " shannons "), mientras que la base e da "unidades naturales" nat , y la base 10 da unidades de "dits", "bans" o " hartleys ". Una definición equivalente de entropía es el valor esperado de la autoinformación de una variable. ^[1]${\ estilo de visualización \ Sigma}$${\ estilo de visualización \ registro}$

El concepto de entropía de la información fue introducido por Claude Shannon en su artículo de 1948 " Una teoría matemática de la comunicación ", ^{[2] [3]} y también se conoce como entropía de Shannon . La teoría de Shannon define un sistema de comunicación de datos compuesto por tres elementos: una fuente de datos, un canal de comunicación y un receptor. El "problema fundamental de la comunicación" -como lo expresó Shannon- es que el receptor sea capaz de identificar qué datos generó la fuente, en función de la señal que recibe a través del canal. ^{[2] [3]}Shannon consideró varias formas de codificar, comprimir y transmitir mensajes desde una fuente de datos, y demostró en su famoso teorema de codificación de fuentes que la entropía representa un límite matemático absoluto sobre qué tan bien se pueden comprimir sin pérdidas los datos de la fuente en un canal perfectamente silencioso. Shannon reforzó considerablemente este resultado para canales ruidosos en su teorema de codificación de canales ruidosos .

La entropía en la teoría de la información es directamente análoga a la entropía en la termodinámica estadística . La analogía resulta cuando los valores de la variable aleatoria designan energías de microestados, por lo que la fórmula de Gibbs para la entropía es formalmente idéntica a la fórmula de Shannon. La entropía tiene relevancia para otras áreas de las matemáticas, como la combinatoria y el aprendizaje automático . La definición se puede derivar de un conjunto de axiomas que establecen que la entropía debe ser una medida de cuán "sorprendente" es el resultado promedio de una variable. Para una variable aleatoria continua, la entropía diferencial es análoga a la entropía.

Dos bits de entropía: en el caso de dos lanzamientos de moneda justos, la entropía de la información en bits es el logaritmo en base 2 del número de resultados posibles; con dos monedas hay cuatro resultados posibles y dos bits de entropía. Generalmente, la entropía de la información es la cantidad promedio de información transmitida por un evento, considerando todos los resultados posibles.

Entropía Η( X ) (es decir, la sorpresa esperada ) del lanzamiento de una moneda, medida en bits, graficada frente al sesgo de la moneda Pr( X = 1) , donde X = 1 representa un resultado de cara. ^{[10] : 14–15} Aquí, la entropía es como máximo de 1 bit, y para comunicar el resultado de un lanzamiento de moneda (2 valores posibles) se requerirá un promedio de como máximo 1 bit (exactamente 1 bit para una moneda justa). El resultado de un dado justo (6 valores posibles) tendría una entropía log ₂ 6 bits.