Contenido de informacion

En teoría de la información , el contenido de información , auto-información , surprisal , o la información de Shannon es una cantidad básico derivado de la probabilidad de un determinado evento que ocurre a partir de una variable aleatoria . Puede considerarse como una forma alternativa de expresar la probabilidad, muy similar a las probabilidades o logaritmos de probabilidades , pero que tiene ventajas matemáticas particulares en el contexto de la teoría de la información.

La información de Shannon se puede interpretar como una cuantificación del nivel de "sorpresa" de un resultado en particular. Como es una cantidad tan básica, también aparece en varios otros entornos, como la longitud de un mensaje necesaria para transmitir el evento dada una codificación de origen óptima de la variable aleatoria.

La información de Shannon está estrechamente relacionada con la entropía teórica de la información , que es el valor esperado de la autoinformación de una variable aleatoria, cuantificando cuán sorprendente es la variable aleatoria "en promedio". Esta es la cantidad promedio de autoinformación que un observador esperaría obtener sobre una variable aleatoria al medirla. ^[1]

El contenido de la información se puede expresar en varias unidades de información , de las cuales la más común es el "bit" (a veces también llamado "shannon"), como se explica a continuación.

Definición

La definición de autoinformación de Claude Shannon fue elegida para cumplir con varios axiomas:

1. Un evento con una probabilidad del 100% no es nada sorprendente y no proporciona información.
2. Cuanto menos probable es un evento, más sorprendente es y más información proporciona.
3. Si dos eventos independientes se miden por separado, la cantidad total de información es la suma de las autoinformaciones de los eventos individuales.

La derivación detallada se encuentra a continuación, pero se puede demostrar que hay una función única de probabilidad que cumple con estos tres axiomas, hasta un factor de escala multiplicativo. En general, dado un evento ${\displaystyle x}$con probabilidad ${\displaystyle P}$, el contenido de la información se define de la siguiente manera:

$${\displaystyle \operatorname {I} (x):=-\log _{b}{\left[\Pr {\left(x\right)}\right]}=-\log _{b}{\left(P\right)}.}$$

La base del registro no se especifica, lo que corresponde al factor de escala anterior. Las diferentes opciones de base corresponden a diferentes unidades de información: si la base logarítmica es 2, la unidad es un bit o shannon ; si el logaritmo es el logaritmo natural (base e ), la unidad es el nat , abreviatura de "natural"; y si la base es 10, las unidades son hartleys , dígitos decimales u ocasionalmente dits.

Formalmente, dada una variable aleatoria ${\displaystyle X}$con función de masa de probabilidad ${\displaystyle p_{X}{\left(x\right)}}$, la autoinformación de medir ${\displaystyle X}$como resultado ${\displaystyle x}$se define como ^[2]

$${\displaystyle \operatorname {I} _{X}(x):=-\log {\left[p_{X}{\left(x\right)}\right]}=\log {\left({\frac {1}{p_{X}{\left(x\right)}}}\right)}.}$$

La entropía de Shannon de la variable aleatoria${\displaystyle X}$arriba se define como

$${\displaystyle {\begin{alignedat}{2}\mathrm {H} (X)&=\sum _{x}{-p_{X}{\left(x\right)}\log {p_{X}{\left(x\right)}}}\\&=\sum _{x}{p_{X}{\left(x\right)}\operatorname {I} _{X}(x)}\\&{\overset {\underset {\mathrm {def} }{}}{=}}\ \operatorname {E} {\left[\operatorname {I} _{X}(X)\right]},\end{alignedat}}}$$

por definición igual al contenido de información esperado de la medición de${\displaystyle X}$. ^{[3] : 11 [4] : 19-20}

El uso de la notación ${\displaystyle I_{X}(x)}$porque la autoinformación anterior no es universal. Desde la notación${\displaystyle I(X;Y)}$también se usa a menudo para la cantidad relacionada de información mutua , muchos autores usan minúsculas${\displaystyle h_{X}(x)}$ para la autoentropía en cambio, reflejando el uso de la capital ${\displaystyle H(X)}$ para la entropía.

Propiedades

Función de probabilidad decreciente monótona

Para un espacio de probabilidad dado , la medición de eventos más raros es intuitivamente más "sorprendente" y produce más contenido de información que los valores más comunes. Por lo tanto, la autoinformación es una función monótona estrictamente decreciente de la probabilidad, o algunas veces llamada función "antitónica".

Mientras que las probabilidades estándar están representadas por números reales en el intervalo ${\displaystyle [0,1]}$, las autoinformaciones están representadas por números reales extendidos en el intervalo ${\displaystyle [0,\infty ]}$. En particular, tenemos lo siguiente, para cualquier elección de base logarítmica:

• Si un evento en particular tiene un 100% de probabilidad de ocurrir, entonces su autoinformación es ${\displaystyle -\log(1)=0}$: su ocurrencia es "perfectamente no sorprendente" y no proporciona información.
• Si un evento en particular tiene un 0% de probabilidad de ocurrir, entonces su autoinformación es ${\displaystyle -\log(0)=\infty }$: su ocurrencia es "infinitamente sorprendente".

De esto, podemos obtener algunas propiedades generales:

• De manera intuitiva, se obtiene más información al observar un evento inesperado: es "sorprendente".
  • Por ejemplo, si hay una probabilidad entre un millón de que Alice gane la lotería , su amigo Bob obtendrá mucha más información al saber que ella ganó que la que perdió en un día determinado. (Ver también: Matemáticas de lotería ).
• Esto establece una relación implícita entre la autoinformación de una variable aleatoria y su varianza .

Relación con log-odds

La información de Shannon está estrechamente relacionada con las probabilidades logarítmicas . En particular, dado algún evento${\displaystyle x}$, suponer que ${\displaystyle p(x)}$ es la probabilidad de ${\displaystyle x}$ ocurriendo, y que ${\displaystyle p(\lnot x)=1-p(x)}$ es la probabilidad de ${\displaystyle x}$no ocurre. Entonces tenemos la siguiente definición de log-odds:

$${\displaystyle {\text{log-odds}}(x)=\log \left({\frac {p(x)}{p(\lnot x)}}\right)}$$

Esto se puede expresar como una diferencia de dos informaciones de Shannon:

$${\displaystyle {\text{log-odds}}(x)=I(\lnot x)-I(x)}$$

En otras palabras, las probabilidades de registro se pueden interpretar como el nivel de sorpresa si el evento "no" ocurre, menos el nivel de sorpresa si el evento "sí" ocurre.

Aditividad de eventos independientes

El contenido de información de dos eventos independientes es la suma del contenido de información de cada evento. Esta propiedad se conoce como aditividad en matemáticas y aditividad sigma en particular en la teoría de medidas y probabilidades. Considere dos variables aleatorias independientes ${\textstyle X,\,Y}$con funciones de masa de probabilidad ${\displaystyle p_{X}(x)}$ y ${\displaystyle p_{Y}(y)}$respectivamente. La función de masa de probabilidad conjunta es

$${\displaystyle p_{X,Y}\!\left(x,y\right)=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)}$$

porque ${\textstyle X}$ y ${\textstyle Y}$son independientes . El contenido de información del resultado ${\displaystyle (X,Y)=(x,y)}$ es

$${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}(x,y)&=-\log _{2}\left[p_{X,Y}(x,y)\right]=-\log _{2}\left[p_{X}\!(x)p_{Y}\!(y)\right]\\[5pt]&=-\log _{2}\left[p_{X}{(x)}\right]-\log _{2}\left[p_{Y}{(y)}\right]\\[5pt]&=\operatorname {I} _{X}(x)+\operatorname {I} _{Y}(y)\end{aligned}}}$$

Consulte § Dos dados independientes distribuidos de forma idéntica a continuación para ver un ejemplo.

La propiedad correspondiente para las probabilidades es que la probabilidad logarítmica de eventos independientes es la suma de las probabilidades logarítmicas de cada evento. Al interpretar la probabilidad logarítmica como "apoyo" o sorpresa negativa (el grado en que un evento apoya un modelo dado: un modelo es compatible con un evento en la medida en que el evento no es sorprendente, dado el modelo), esto establece que los eventos independientes agregan apoyo: la información que los dos eventos juntos proporcionan para la inferencia estadística es la suma de su información independiente.

Notas

Esta medida también se ha llamado sorpresa , ya que representa la " sorpresa " de ver el resultado (un resultado altamente improbable es muy sorprendente). Este término (como una medida logarítmica de la probabilidad) fue acuñado por Myron Tribus en su libro de 1961 Thermostatics and Thermodynamics . ^{[5] [6]}

Cuando el evento es una realización aleatoria (de una variable), la autoinformación de la variable se define como el valor esperado de la autoinformación de la realización.

La autoinformación es un ejemplo de una regla de puntuación adecuada . ^{[ aclaración necesaria ]}

Ejemplos

Lanzamiento de moneda justa

Considere el juicio de Bernoulli de lanzar una moneda justa ${\displaystyle X}$. Las probabilidades de que los eventos de la moneda caigan como cara.${\displaystyle H}$ y colas ${\displaystyle T}$(ver moneda justa y anverso y reverso ) son la mitad cada uno,${\textstyle p_{X}{(H)}=p_{X}{(T)}={\tfrac {1}{2}}=0.5}$. Al medir la variable como cabezas, la ganancia de información asociada es

$${\displaystyle \operatorname {I} _{X}(H)=-\log _{2}{p_{X}{(H)}}=-\log _{2}\!{\tfrac {1}{2}}=1,}$$

por lo que la ganancia de información de una moneda justa que aterriza como cara es 1 shannon . ^[2] Asimismo, la ganancia de información de la medición${\displaystyle T}$ colas es

$${\displaystyle \operatorname {I} _{X}(T)=-\log _{2}{p_{X}{(T)}}=-\log _{2}\!{\tfrac {1}{2}}=1{\text{ shannon}}.}$$

Tirada justa

Supongamos que tenemos un dado de seis caras justo . El valor de una tirada de dados es una variable aleatoria uniforme discreta ${\displaystyle X\sim \mathrm {DU} [1,6]}$con función de masa de probabilidad

$${\displaystyle p_{X}(k)={\begin{cases}{\frac {1}{6}},&k\in \{1,2,3,4,5,6\}\\0,&{\text{otherwise}}\end{cases}}}$$

La probabilidad de sacar un 4 es ${\textstyle p_{X}(4)={\frac {1}{6}}}$, como para cualquier otra tirada válida. Por tanto, el contenido de información de sacar un 4 es

$${\displaystyle \operatorname {I} _{X}(4)=-\log _{2}{p_{X}{(4)}}=-\log _{2}{\tfrac {1}{6}}\approx 2.585\;{\text{shannons}}}$$

de información.

Dos dados independientes distribuidos de forma idéntica

Supongamos que tenemos dos variables aleatorias independientes distribuidas de manera idéntica ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$cada uno correspondiente a una tirada de dados justa independiente de 6 caras. La distribución conjunta de${\displaystyle X}$ y ${\displaystyle Y}$ es

$${\displaystyle {\begin{aligned}p_{X,Y}\!\left(x,y\right)&{}=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)\\&{}={\begin{cases}\displaystyle {1 \over 36},\ &x,y\in [1,6]\cap \mathbb {N} \\0&{\text{otherwise.}}\end{cases}}\end{aligned}}}$$

El contenido de información de la variante aleatoria ${\displaystyle (X,Y)=(2,\,4)}$ es

$${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=\log _{2}\!{36}=2\log _{2}\!{6}\\&\approx 5.169925{\text{ shannons}},\end{aligned}}}$$

y también se puede calcular por § Aditividad de eventos independientes

$${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=-\log _{2}\!{\left[p_{X}(2)\right]}-\log _{2}\!{\left[p_{Y}(4)\right]}\\&=2\log _{2}\!{6}\\&\approx 5.169925{\text{ shannons}}.\end{aligned}}}$$

Información de la frecuencia de los rollos

Si recibimos información sobre el valor de los dados sin saber qué dado tenía qué valor, podemos formalizar el enfoque con las llamadas variables de conteo.

$${\displaystyle C_{k}:=\delta _{k}(X)+\delta _{k}(Y)={\begin{cases}0,&\neg \,(X=k\vee Y=k)\\1,&\quad X=k\,\veebar \,Y=k\\2,&\quad X=k\,\wedge \,Y=k\end{cases}}}$$

por ${\displaystyle k\in \{1,2,3,4,5,6\}}$, luego ${\textstyle \sum _{k=1}^{6}{C_{k}}=2}$y los recuentos tienen la distribución multinomial

$${\displaystyle {\begin{aligned}f(c_{1},\ldots ,c_{6})&{}=\Pr(C_{1}=c_{1}{\text{ and }}\dots {\text{ and }}C_{6}=c_{6})\\&{}={\begin{cases}{\displaystyle {1 \over {18}}{1 \over c_{1}!\cdots c_{k}!}},\ &{\text{when }}\sum _{i=1}^{6}c_{i}=2\\0&{\text{otherwise,}}\end{cases}}\\&{}={\begin{cases}{1 \over 18},\ &{\text{when 2 }}c_{k}{\text{ are }}1\\{1 \over 36},\ &{\text{when exactly one }}c_{k}=2\\0,\ &{\text{otherwise.}}\end{cases}}\end{aligned}}}$$

Para verificar esto, los 6 resultados ${\textstyle (X,Y)\in \left\{(k,k)\right\}_{k=1}^{6}=\left\{(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)\right\}}$ corresponden al evento ${\displaystyle C_{k}=2}$y una probabilidad total de1/6. Estos son los únicos eventos que se conservan fielmente con la identidad de qué dados se tiraron y qué resultado porque los resultados son los mismos. Sin conocimiento para distinguir los dados tirando los otros números, el otro${\textstyle {\binom {6}{2}}=15}$ las combinaciones corresponden a un dado que lanza un número y el otro dado que lanza un número diferente, cada uno con probabilidad1/18. Por supuesto,${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$, según sea necesario.

Como era de esperar, el contenido de información de saber que ambos dados se lanzaron como el mismo número en particular es más que el contenido de información de saber que un dado era un número y el otro era un número diferente. Tomemos como ejemplos los eventos${\displaystyle A_{k}=\{(X,Y)=(k,k)\}}$ y ${\displaystyle B_{j,k}=\{c_{j}=1\}\cap \{c_{k}=1\}}$por ${\displaystyle j\neq k,1\leq j,k\leq 6}$. Por ejemplo,${\displaystyle A_{2}=\{X=2{\text{ and }}Y=2\}}$ y ${\displaystyle B_{3,4}=\{(3,4),(4,3)\}}$.

Los contenidos de la información son

$${\displaystyle \operatorname {I} (A_{2})=-\log _{2}\!{\tfrac {1}{36}}=5.169925{\text{ shannons}}}$$

$${\displaystyle \operatorname {I} \left(B_{3,4}\right)=-\log _{2}\!{\tfrac {1}{18}}=4.169925{\text{ shannons}}}$$

Dejar ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ ser el caso de que ambos dados arrojen el mismo valor y ${\displaystyle {\text{Diff}}={\overline {\text{Same}}}}$sea ​​el caso de que los dados difieran. Luego${\textstyle \Pr({\text{Same}})={\tfrac {1}{6}}}$ y ${\textstyle \Pr({\text{Diff}})={\tfrac {5}{6}}}$. Los contenidos de información de los eventos son

$${\displaystyle \operatorname {I} ({\text{Same}})=-\log _{2}\!{\tfrac {1}{6}}=2.5849625{\text{ shannons}}}$$

$${\displaystyle \operatorname {I} ({\text{Diff}})=-\log _{2}\!{\tfrac {5}{6}}=0.2630344{\text{ shannons}}.}$$

Información de la suma del dado

La masa de probabilidad o función de densidad ( medida de probabilidad colectiva ) de la suma de dos variables aleatorias independientes es la convolución de cada medida de probabilidad . En el caso de tiradas de dados justas e independientes de 6 caras, la variable aleatoria${\displaystyle Z=X+Y}$ tiene función de masa de probabilidad ${\textstyle p_{Z}(z)=p_{X}(x)*p_{Y}(y)={6-|z-7| \over 36}}$, donde ${\displaystyle *}$representa la convolución discreta . El resultado ${\displaystyle Z=5}$ tiene probabilidad ${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$. Por tanto, la información afirmada es

$${\displaystyle \operatorname {I} _{Z}(5)=-\log _{2}{\tfrac {1}{9}}=\log _{2}{9}\approx 3.169925{\text{ shannons.}}}$$

Distribución uniforme discreta general

Generalizando el ejemplo de tirada justa de dados anterior, considere una variable aleatoria uniforme discreta general (DURV)${\displaystyle X\sim \mathrm {DU} [a,b];\quad a,b\in \mathbb {Z} ,\ b\geq a.}$ Por conveniencia, defina ${\textstyle N:=b-a+1}$. El pmf es

$${\displaystyle p_{X}(k)={\begin{cases}{\frac {1}{N}},&k\in [a,b]\cap \mathbb {Z} \\0,&{\text{otherwise}}.\end{cases}}}$$

En general, los valores de DURV no necesitan ser números enteros , o para los propósitos de la teoría de la información, incluso espaciados uniformemente; solo necesitan ser equiprobables . ^[2] La ganancia de información de cualquier observación.${\displaystyle X=k}$ es

$${\displaystyle \operatorname {I} _{X}(k)=-\log _{2}{\frac {1}{N}}=\log _{2}{N}{\text{ shannons}}.}$$

Caso especial: variable aleatoria constante

Si ${\displaystyle b=a}$ encima, ${\displaystyle X}$ degenera en una variable aleatoria constante con distribución de probabilidad determinada determinísticamente por${\displaystyle X=b}$y medir la probabilidad la medida de Dirac ${\textstyle p_{X}(k)=\delta _{b}(k)}$. El único valor${\displaystyle X}$puede tomar es determinista ${\displaystyle b}$, por lo que el contenido de información de cualquier medida de ${\displaystyle X}$ es

$${\displaystyle \operatorname {I} _{X}(b)=-\log _{2}{1}=0.}$$

En general, no se obtiene información al medir un valor conocido. ^[2]

Distribución categórica

Generalizando todos los casos anteriores, considere una variable aleatoria discreta categórica con apoyo ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$y pmf dado por

$${\displaystyle p_{X}(k)={\begin{cases}p_{i},&k=s_{i}\in {\mathcal {S}}\\0,&{\text{otherwise}}.\end{cases}}}$$

A los efectos de la teoría de la información, los valores ${\displaystyle s\in {\mathcal {S}}}$no tienen que ser números ; pueden ser cualquier evento mutuamente excluyente en un espacio de medida de medida finita que se ha normalizado a una medida de probabilidad ${\displaystyle p}$. Sin pérdida de generalidad , podemos asumir que la distribución categórica es compatible con el conjunto${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$; la estructura matemática es isomórfica en términos de la teoría de la probabilidad y, por lo tanto, también de la teoría de la información .

La información del resultado ${\displaystyle X=x}$ es dado

$${\displaystyle \operatorname {I} _{X}(x)=-\log _{2}{p_{X}(x)}.}$$

A partir de estos ejemplos, es posible calcular la información de cualquier conjunto de DRV independientes con distribuciones conocidas por aditividad .

Relación con la entropía

La entropía es el valor esperado del contenido de información de la variable aleatoria discreta , con la expectativa asumida sobre los valores discretos que toma . A veces, la entropía misma se denomina "autoinformación" de la variable aleatoria, posiblemente porque la entropía satisface${\displaystyle \mathrm {H} (X)=\operatorname {I} (X;X)}$, donde ${\displaystyle \operatorname {I} (X;X)}$es la información mutua de${\displaystyle X}$consigo mismo. ^[7]

Para las variables aleatorias continuas, el concepto correspondiente es la entropía diferencial .

Derivación

Por definición, la información se transfiere desde una entidad de origen que posee la información a una entidad receptora solo cuando el receptor no conocía la información a priori . Si la entidad receptora había conocido previamente el contenido de un mensaje con certeza antes de recibir el mensaje, la cantidad de información del mensaje recibido es cero. Sólo cuando el conocimiento previo del contenido del mensaje por parte del receptor es menos del 100% seguro, el mensaje transmite realmente información.

Por ejemplo, citando a un personaje (el Hippy Dippy Weatherman) del comediante George Carlin , “Pronóstico del tiempo para esta noche: oscuro. Continuó la oscuridad durante la noche, con luz muy dispersa por la mañana ". ^[8] Suponiendo que uno no reside cerca de los polos o círculos polares de la Tierra , la cantidad de información transmitida en ese pronóstico es cero porque se sabe, antes de recibir el pronóstico, que la oscuridad siempre llega con la noche.

En consecuencia, la cantidad de autoinformación contenida en un mensaje que transmite contenido que informa sobre la ocurrencia de un evento ,${\displaystyle \omega _{n}}$, depende solo de la probabilidad de ese evento.

$${\displaystyle \operatorname {I} (\omega _{n})=f(\operatorname {P} (\omega _{n}))}$$

para alguna función ${\displaystyle f(\cdot )}$que se determinará a continuación. Si${\displaystyle \operatorname {P} (\omega _{n})=1}$, luego ${\displaystyle \operatorname {I} (\omega _{n})=0}$. Si${\displaystyle \operatorname {P} (\omega _{n})<1}$, luego ${\displaystyle \operatorname {I} (\omega _{n})>0}$.

Además, por definición, la medida de la autoinformación es aditiva y no negativa. Si un mensaje informando del evento${\displaystyle C}$es la intersección de dos eventos independientes${\displaystyle A}$ y ${\displaystyle B}$, luego la información del evento ${\displaystyle C}$ que ocurre es el del mensaje compuesto de ambos eventos independientes ${\displaystyle A}$ y ${\displaystyle B}$ocurriendo. La cantidad de información del mensaje compuesto.${\displaystyle C}$se esperaría que fuera igual a la suma de las cantidades de información de los mensajes de componentes individuales${\displaystyle A}$ y ${\displaystyle B}$ respectivamente:

$${\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B).}$$

Por la independencia de los eventos ${\displaystyle A}$ y ${\displaystyle B}$, la probabilidad del evento ${\displaystyle C}$ es

$${\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B).}$$

Sin embargo, aplicando la función ${\displaystyle f(\cdot )}$ resultados en

$${\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}$$

La clase de función ${\displaystyle f(\cdot )}$ tener la propiedad tal que

$${\displaystyle f(x\cdot y)=f(x)+f(y)}$$

es la función logarítmica de cualquier base. La única diferencia operativa entre logaritmos de diferentes bases es la de diferentes constantes de escala.

$${\displaystyle f(x)=K\log(x)}$$

Dado que las probabilidades de eventos están siempre entre 0 y 1 y la información asociada con estos eventos debe ser no negativa, eso requiere que ${\displaystyle K<0}$.

Teniendo en cuenta estas propiedades, la autoinformación ${\displaystyle \operatorname {I} (\omega _{n})}$ asociado con el resultado ${\displaystyle \omega _{n}}$ con probabilidad ${\displaystyle \operatorname {P} (\omega _{n})}$ Se define como:

$${\displaystyle \operatorname {I} (\omega _{n})=-\log(\operatorname {P} (\omega _{n}))=\log \left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)}$$

Cuanto menor sea la probabilidad de evento ${\displaystyle \omega _{n}}$, mayor es la cantidad de autoinformación asociada con el mensaje de que efectivamente ocurrió el evento. Si el logaritmo anterior es base 2, la unidad de${\displaystyle I(\omega _{n})}$son bits . Ésta es la práctica más común. Cuando se usa el logaritmo natural de base${\displaystyle e}$, la unidad será el nat . Para el logaritmo de base 10, la unidad de información es Hartley .

Como ilustración rápida, el contenido de información asociado con un resultado de 4 caras (o cualquier resultado específico) en 4 lanzamientos consecutivos de una moneda sería de 4 bits (probabilidad 1/16), y el contenido de información asociado con obtener un resultado diferente a el especificado sería ~ 0.09 bits (probabilidad 15/16). Consulte más arriba para ver ejemplos detallados.

Ver también

• Entropía
• Análisis sorpresa

Referencias

1. Jones, DS, Teoría de la información elemental , Vol., Clarendon Press, Oxford pp 11-15 1979
2. McMahon, David M. (2008). Explicación de la computación cuántica . Hoboken, Nueva Jersey: Wiley-Interscience. ISBN 9780470181386. OCLC  608622533 .
3. Borda, Monica (2011). Fundamentos en Teoría y Codificación de la Información . Saltador. ISBN 978-3-642-20346-6.
4. Han, Te Sun y Kobayashi, Kingo (2002). Matemáticas de la información y la codificación . Sociedad Matemática Estadounidense. ISBN 978-0-8218-4256-0.
5. RB Bernstein y RD Levine (1972) "Entropía y cambio químico. I. Caracterización de distribuciones de energía del producto (y reactivo) en colisiones moleculares reactivas: deficiencia de información y entropía", The Journal of Chemical Physics 57 , enlace 434-449.
6. Myron Tribus (1961) Termodinámica y termostática: una introducción a la energía, la información y los estados de la materia, con aplicaciones de ingeniería (D. Van Nostrand, 24 West 40 Street, Nueva York 18, Nueva York, EE. UU.) Tribus, Myron (1961) , págs. 64-66 tomar prestado .
7. Cubierta de Thomas M., Joy A. Thomas; Elementos de la teoría de la información; pag. 20; 1991.
8. "Una cita de George Carlin" . www.goodreads.com . Consultado el 1 de abril de 2021 .

Lectura adicional

• CE Shannon , una teoría matemática de la comunicación , Bell Systems Technical Journal , vol. 27, págs. 379–423, (Parte I), 1948.

Enlaces externos

• Ejemplos de medidas de sorpresa
• Entrada "sorpresa" en un glosario de teoría de la información molecular
• Teoría bayesiana de la sorpresa