Entropía (teoría de la información)

En la teoría de la información , la entropía de una variable aleatoria es el nivel promedio de "información", "sorpresa" o "incertidumbre" inherente a los posibles resultados de la variable. El concepto de entropía de la información fue introducido por Claude Shannon en su artículo de 1948 " Una teoría matemática de la comunicación ", ^[1]^[2] y también se conoce como entropía de Shannon . Como ejemplo, considere una moneda sesgada con probabilidad $p$ de caer en cara y probabilidad $1 - p$ de caer en cruz. La sorpresa máxima es para $p = 1/2$ , cuando no hay razón para esperar un resultado sobre otro. En este caso, el lanzamiento de una moneda tiene una entropía de un bit . La sorpresa mínima es para $p = 0$ o $p = 1$ , cuando el evento es conocido y la entropía es cero bits. Cuando la entropía es cero bits, esto a veces se denomina unidad, donde no hay incertidumbre en absoluto, no hay libertad de elección, no hay información . Otros valores de p dan diferentes entropías entre cero y uno bits.

Dada una variable aleatoria discreta , con posibles resultados , que ocurren con probabilidad, la entropía de se define formalmente como: ${\ Displaystyle X}$ ${\ Displaystyle x_ {1}, ..., x_ {n}}$ ${\ Displaystyle \ mathrm {P} (x_ {1}), ..., \ mathrm {P} (x_ {n}),}$ ${\ Displaystyle X}$

${\ Displaystyle \ mathrm {H} (X) = - \ sum _ {i = 1} ^ {n} {\ mathrm {P} (x_ {i}) \ log \ mathrm {P} (x_ {i}) }}$

donde denota la suma de los posibles valores de la variable. La elección de la base para , el logaritmo , varía para diferentes aplicaciones. La base 2 da la unidad de bits (o " shannons "), mientras que la base e da las "unidades naturales" nat , y la base 10 da las unidades de "dits", "bans" o " hartleys ". Una definición equivalente de entropía es el valor esperado de la autoinformación de una variable. ^[3] ${\ Displaystyle \ Sigma}$ ${\ Displaystyle \ log}$

La entropía fue creada originalmente por Shannon como parte de su teoría de la comunicación, en la que un sistema de comunicación de datos se compone de tres elementos: una fuente de datos, un canal de comunicación y un receptor. El "problema fundamental de la comunicación" -como lo expresa Shannon- es que el receptor sea capaz de identificar qué datos generó la fuente, basándose en la señal que recibe a través del canal. ^[1]^[2] Shannon consideró varias formas de codificar, comprimir y transmitir mensajes desde una fuente de datos, y demostró en su famoso teorema de codificación de fuentes que la entropía representa un límite matemático absoluto sobre qué tan bien los datos de la fuente pueden ser sin pérdidas.comprimido en un canal perfectamente silencioso. Shannon reforzó este resultado considerablemente para canales ruidosos en su teorema de codificación de canales ruidosos .

Dos bits de entropía: en el caso de dos lanzamientos justos de una moneda, la entropía de la información en bits es el logaritmo en base 2 del número de resultados posibles; con dos monedas hay cuatro resultados posibles y dos bits de entropía. Generalmente, la entropía de la información es la cantidad promedio de información transmitida por un evento, al considerar todos los resultados posibles.

Entropía

Η (X)

(es decir, la sorpresa esperada ) de un lanzamiento de moneda, medida en bits, graficada frente al sesgo de la moneda

Pr (

X

= 1)

, donde

X

= 1

representa el resultado de caras. ^[10]^{: 14-15} Aquí, la entropía es como máximo 1 bit, y para comunicar el resultado de un lanzamiento de moneda (2 valores posibles) se requerirá un promedio de como máximo 1 bit (exactamente 1 bit para una moneda justa). El resultado de un dado justo (6 valores posibles) tendría entropía log ₂ 6 bits.