Contenido de informacion

Este artículo puede requerir una limpieza para cumplir con los estándares de calidad de Wikipedia . El problema específico es: terminología poco clara . Si puede, ayude a mejorar este artículo . ( Junio ​​de 2017 ) ( Obtenga información sobre cómo y cuándo eliminar este mensaje de plantilla )

En teoría de la información , el contenido de información , auto-información , surprisal , o la información de Shannon es una cantidad básico derivado de la probabilidad de un determinado evento que ocurre a partir de una variable aleatoria . Puede considerarse como una forma alternativa de expresar la probabilidad, muy similar a las probabilidades o logaritmos de probabilidades , pero que tiene ventajas matemáticas particulares en el contexto de la teoría de la información.

La información de Shannon se puede interpretar como una cuantificación del nivel de "sorpresa" de un resultado en particular. Como es una cantidad tan básica, también aparece en varios otros entornos, como la longitud de un mensaje necesaria para transmitir el evento dada una codificación de origen óptima de la variable aleatoria.

La información de Shannon está estrechamente relacionada con la entropía teórica de la información , que es el valor esperado de la autoinformación de una variable aleatoria, cuantificando cuán sorprendente es la variable aleatoria "en promedio". Esta es la cantidad promedio de autoinformación que un observador esperaría obtener sobre una variable aleatoria al medirla. ^[1]

El contenido de la información se puede expresar en varias unidades de información , de las cuales la más común es el "bit" (a veces también llamado "shannon"), como se explica a continuación.

Definición

La definición de autoinformación de Claude Shannon fue elegida para cumplir con varios axiomas:

1. Un evento con una probabilidad del 100% no es nada sorprendente y no proporciona información.
2. Cuanto menos probable es un evento, más sorprendente es y más información proporciona.
3. Si dos eventos independientes se miden por separado, la cantidad total de información es la suma de las autoinformaciones de los eventos individuales.

La derivación detallada se encuentra a continuación, pero se puede demostrar que hay una función única de probabilidad que cumple con estos tres axiomas, hasta un factor de escala multiplicativo. En términos generales, dado un evento con probabilidad , el contenido de la información se define de la siguiente manera:${\displaystyle x}$ ${\displaystyle P}$

${\displaystyle \operatorname {I} (x):=-\log _{b}{\left[\Pr {\left(x\right)}\right]}=-\log _{b}{\left(P\right)}.}$

La base del registro no se especifica, lo que corresponde al factor de escala anterior. Las diferentes opciones de base corresponden a diferentes unidades de información: si la base logarítmica es 2, la unidad se denomina " bit " o "shannon" ; si el logaritmo es el logaritmo natural (correspondiente al número de base de Euler e ≈ 2,7182818284), la unidad se llama "nat" , abreviatura de "natural"; y si la base es 10, las unidades se denominan "hartleys" , "dígitos" decimales u ocasionalmente "dits".

Formalmente, dada una variable aleatoria con función de masa de probabilidad , la autoinformación de la medición como resultado se define como${\displaystyle X}$ ${\displaystyle p_{X}{\left(x\right)}}$${\displaystyle X}$ ${\displaystyle x}$

${\displaystyle \operatorname {I} _{X}(x):=-\log {\left[p_{X}{\left(x\right)}\right]}=\log {\left({\frac {1}{p_{X}{\left(x\right)}}}\right)}.}$^[2]

La entropía de Shannon de la variable aleatoria anterior se define como${\displaystyle X}$

$${\displaystyle {\begin{alignedat}{2}\mathrm {H} (X)&=\sum _{x}{-p_{X}{\left(x\right)}\log {p_{X}{\left(x\right)}}}\\&=\sum _{x}{p_{X}{\left(x\right)}\operatorname {I} _{X}(x)}\\&{\overset {\underset {\mathrm {def} }{}}{=}}\ \operatorname {E} {\left[\operatorname {I} _{X}(X)\right]},\end{alignedat}}}$$

por definición igual al contenido de información esperado de la medición de . ^{[3] : 11 [4] : 19-20}${\displaystyle X}$

El uso de la notación anterior para la autoinformación no es universal. Dado que la notación también se usa a menudo para la cantidad relacionada de información mutua , muchos autores usan minúsculas para la autoentropía en su lugar, reflejando el uso de la capital para la entropía.${\displaystyle I_{X}(x)}$${\displaystyle I(X;Y)}$${\displaystyle h_{X}(x)}$${\displaystyle H(X)}$

Propiedades

Esta sección necesita expansión . Puede ayudar agregando más . ( Octubre de 2018 )

Función de probabilidad decreciente monótona

Para un espacio de probabilidad dado , la medición de eventos más raros es intuitivamente más "sorprendente" y produce más contenido de información que los valores más comunes. Por lo tanto, la autoinformación es una función monótona estrictamente decreciente de la probabilidad, o algunas veces llamada función "antitónica".

Mientras que las probabilidades estándar están representadas por números reales en el intervalo , las autoinformaciones están representadas por números reales extendidos en el intervalo . En particular, tenemos lo siguiente, para cualquier elección de base logarítmica:${\displaystyle [0,1]}$${\displaystyle [0,\infty ]}$

• Si un evento en particular tiene un 100% de probabilidad de que ocurra, entonces su autoinformación es : su ocurrencia es "perfectamente no sorprendente" y no proporciona información.${\displaystyle -\log(1)=0}$
• Si un evento en particular tiene un 0% de probabilidad de ocurrir, entonces su autoinformación es : su ocurrencia es "infinitamente sorprendente".${\displaystyle -\log(0)=\infty }$

De esto, podemos obtener algunas propiedades generales:

• De manera intuitiva, se obtiene más información al observar un evento inesperado: es "sorprendente".
  • Por ejemplo, si hay una posibilidad entre un millón de que Alice gane la lotería , su amigo Bob obtendrá mucha más información al saber que ella ganó que la que perdió en un día determinado. (Ver también: Matemáticas de lotería ).
• Esto establece una relación implícita entre la autoinformación de una variable aleatoria y su varianza .

Relación con log-odds

La información de Shannon está estrechamente relacionada con las probabilidades logarítmicas . En particular, dado algún evento , suponga que esa es la probabilidad de que ocurra, y esa es la probabilidad de que no ocurra. Entonces tenemos la siguiente definición de log-odds:${\displaystyle x}$${\displaystyle p(x)}$${\displaystyle x}$${\displaystyle p(\lnot x)=1-p(x)}$${\displaystyle x}$

${\displaystyle {\text{log-odds}}(x)=\log \left({\frac {p(x)}{p(\lnot x)}}\right)}$

Esto se puede expresar como una diferencia de dos informaciones de Shannon:

${\displaystyle {\text{log-odds}}(x)=I(\lnot x)-I(x)}$

En otras palabras, las probabilidades de registro se pueden interpretar como el nivel de sorpresa si el evento "no" ocurre, menos el nivel de sorpresa si el evento "sí" ocurre.

Aditividad de eventos independientes

El contenido de información de dos eventos independientes es la suma del contenido de información de cada evento. Esta propiedad se conoce como aditividad en matemáticas y aditividad sigma en particular en la teoría de medidas y probabilidades. Considere dos variables aleatorias independientes con funciones de masa de probabilidad y respectivamente. La función de masa de probabilidad conjunta es${\textstyle X,\,Y}$ ${\displaystyle p_{X}(x)}$${\displaystyle p_{Y}(y)}$

$${\displaystyle p_{X,Y}\!\left(x,y\right)=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)}$$

porque y son independientes . El contenido de información del resultado es${\textstyle X}$${\textstyle Y}$ ${\displaystyle (X,Y)=(x,y)}$

$${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}(x,y)&=-\log _{2}\left[p_{X,Y}(x,y)\right]=-\log _{2}\left[p_{X}\!(x)p_{Y}\!(y)\right]\\&=-\log _{2}\left[p_{X}{(x)}\right]-\log _{2}\left[p_{Y}{(y)}\right]\\&=\operatorname {I} _{X}(x)+\operatorname {I} _{Y}(y)\end{aligned}}}$$

Consulte § Dos dados independientes distribuidos de forma idéntica a continuación para ver un ejemplo.

La propiedad correspondiente para las probabilidades es que la probabilidad logarítmica de eventos independientes es la suma de las probabilidades logarítmicas de cada evento. Al interpretar la probabilidad logarítmica como "apoyo" o sorpresa negativa (el grado en que un evento apoya un modelo dado: un modelo es compatible con un evento en la medida en que el evento no es sorprendente, dado el modelo), esto establece que los eventos independientes agregan apoyo: la información que los dos eventos juntos proporcionan para la inferencia estadística es la suma de su información independiente.

Notas

Esta medida también se ha llamado sorpresa , ya que representa la " sorpresa " de ver el resultado (un resultado altamente improbable es muy sorprendente). Este término (como una medida logarítmica de la probabilidad) fue acuñado por Myron Tribus en su libro de 1961 Thermostatics and Thermodynamics . ^{[5] [6]}

Cuando el evento es una realización aleatoria (de una variable), la autoinformación de la variable se define como el valor esperado de la autoinformación de la realización.

La autoinformación es un ejemplo de una regla de puntuación adecuada . ^{[ aclaración necesaria ]}

Ejemplos

Lanzamiento de moneda justa

Considere la prueba de Bernoulli de lanzar una moneda justa . Las probabilidades de los eventos de la moneda caiga en cara y cruz (ver moneda al aire y el anverso y el reverso ) son una mitad cada uno, . Al medir la variable como cabezas, la ganancia de información asociada es${\displaystyle X}$${\displaystyle H}$${\displaystyle T}$${\textstyle p_{X}{(H)}=p_{X}{(T)}={\tfrac {1}{2}}=0.5}$

$${\displaystyle \operatorname {I} _{X}(H)=-\log _{2}{p_{X}{(H)}}=-\log _{2}\!{\tfrac {1}{2}}=1,}$$

por lo que la ganancia de información de una moneda justa que aterriza como cara es 1 shannon . ^[2] Asimismo, la ganancia de información de las colas de medición es${\displaystyle T}$

$${\displaystyle \operatorname {I} _{X}(T)=-\log _{2}{p_{X}{(T)}}=-\log _{2}\!{\tfrac {1}{2}}=1{\text{ shannon}}.}$$

Tirada justa

Supongamos que tenemos un dado de seis caras justo . El valor de una tirada de dados es una variable aleatoria uniforme discreta con función de masa de probabilidad${\displaystyle X\sim \mathrm {DU} [1,6]}$

$${\displaystyle p_{X}(k)={\begin{cases}{\frac {1}{6}},&k\in \{1,2,3,4,5,6\}\\0,&{\text{otherwise}}\end{cases}}}$$

La probabilidad de sacar un 4 es , como para cualquier otra tirada válida. Por lo tanto, el contenido de información de sacar un 4 es${\textstyle p_{X}(4)={\frac {1}{6}}}$

$${\displaystyle \operatorname {I} _{X}(4)=-\log _{2}{p_{X}{(4)}}=-\log _{2}{\tfrac {1}{6}}\approx 2.585\;{\text{shannons}}}$$

de información.

Dos dados independientes distribuidos de forma idéntica

Supongamos que tenemos dos variables aleatorias independientes distribuidas de manera idéntica, cada una de las cuales corresponde a una tirada de dados justa independiente de 6 lados. La distribución conjunta de y es${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$${\displaystyle X}$${\displaystyle Y}$

$${\displaystyle {\begin{aligned}p_{X,Y}\!\left(x,y\right)&{}=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)\\&{}={\begin{cases}\displaystyle {1 \over 36},\ &x,y\in [1,6]\cap \mathbb {N} \\0&{\text{otherwise.}}\end{cases}}\end{aligned}}}$$

El contenido de información de la variante aleatoria es${\displaystyle (X,Y)=(2,\,4)}$

$${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=\log _{2}\!{36}=2\log _{2}\!{6}\\&\approx 5.169925{\text{ shannons}},\end{aligned}}}$$

y también se puede calcular mediante § Aditividad de eventos independientes

$${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=-\log _{2}\!{\left[p_{X}(2)\right]}-\log _{2}\!{\left[p_{Y}(4)\right]}\\&=2\log _{2}\!{6}\\&\approx 5.169925{\text{ shannons}}.\end{aligned}}}$$

Información de la frecuencia de los rollos

Si recibimos información sobre el valor de los dados sin saber qué dado tenía qué valor, podemos formalizar el enfoque con las llamadas variables de conteo.

$${\displaystyle C_{k}:=\delta _{k}(X)+\delta _{k}(Y)={\begin{cases}0,&\neg \,(X=k\vee Y=k)\\1,&\quad X=k\,\veebar \,Y=k\\2,&\quad X=k\,\wedge \,Y=k\end{cases}}}$$

pues , entonces y los recuentos tienen la distribución multinomial${\displaystyle k\in \{1,2,3,4,5,6\}}$${\textstyle \sum _{k=1}^{6}{C_{k}}=2}$

$${\displaystyle {\begin{aligned}f(c_{1},\ldots ,c_{6})&{}=\Pr(C_{1}=c_{1}{\text{ and }}\dots {\text{ and }}C_{6}=c_{6})\\&{}={\begin{cases}{\displaystyle {1 \over {18}}{1 \over c_{1}!\cdots c_{k}!}},\ &{\text{when }}\sum _{i=1}^{6}c_{i}=2\\0&{\text{otherwise,}}\end{cases}}\\&{}={\begin{cases}{1 \over 18},\ &{\text{when 2 }}c_{k}{\text{ are }}1\\{1 \over 36},\ &{\text{when exactly one }}c_{k}=2\\0,\ &{\text{otherwise.}}\end{cases}}\end{aligned}}}$$

Para verificar esto, los 6 resultados corresponden al evento y una probabilidad total de${\textstyle (X,Y)\in \left\{(k,k)\right\}_{k=1}^{6}=\left\{(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)\right\}}$${\displaystyle C_{k}=2}$1/6. Estos son los únicos eventos que se conservan fielmente con la identidad de qué dados se tiraron y qué resultado porque los resultados son los mismos. Sin conocimiento para distinguir los dados tirando los otros números, las otras combinaciones corresponden a un dado tirando un número y el otro dado tirando un número diferente, cada uno con probabilidad${\textstyle {\binom {6}{2}}=15}$ 1/18. De hecho, según sea necesario.${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$

Como era de esperar, el contenido de información de saber que ambos dados se lanzaron como el mismo número en particular es más que el contenido de información de saber que un dado era un número y el otro era un número diferente. Tomemos como ejemplos los eventos y para . Por ejemplo, y .${\displaystyle A_{k}=\{(X,Y)=(k,k)\}}$${\displaystyle B_{j,k}=\{c_{j}=1\}\cap \{c_{k}=1\}}$${\displaystyle j\neq k,1\leq j,k\leq 6}$${\displaystyle A_{2}=\{X=2{\text{ and }}Y=2\}}$${\displaystyle B_{3,4}=\{(3,4),(4,3)\}}$

Los contenidos de la información son

$${\displaystyle \operatorname {I} (A_{2})=-\log _{2}\!{\tfrac {1}{36}}=5.169925{\text{ shannons}}}$$

$${\displaystyle \operatorname {I} \left(B_{3,4}\right)=-\log _{2}\!{\tfrac {1}{18}}=4.169925{\text{ shannons}}}$$

Sea el evento de que ambos dados arrojen el mismo valor y sea ​​el evento de que los dados hayan sido diferentes. Entonces y . Los contenidos de información de los eventos son${\textstyle Same=\bigcup _{i=1}^{6}{A_{i}}}$${\displaystyle Diff={\overline {Same}}}$${\textstyle \Pr(Same)={\tfrac {1}{6}}}$${\textstyle \Pr(Diff)={\tfrac {5}{6}}}$

$${\displaystyle \operatorname {I} (Same)=-\log _{2}\!{\tfrac {1}{6}}=2.5849625{\text{ shannons}}}$$

$${\displaystyle \operatorname {I} (Diff)=-\log _{2}\!{\tfrac {5}{6}}=0.2630344{\text{ shannons}}.}$$

Información de la suma del dado

La masa de probabilidad o función de densidad ( medida de probabilidad colectiva ) de la suma de dos variables aleatorias independientes es la convolución de cada medida de probabilidad . En el caso de tiradas de dados de 6 caras independientes, la variable aleatoria tiene una función de masa de probabilidad , donde representa la convolución discreta . El resultado tiene probabilidad . Por tanto, la información afirmada es${\displaystyle Z=X+Y}$${\textstyle p_{Z}(z)=p_{X}(x)*p_{Y}(y)={6-|z-7| \over 36}}$${\displaystyle *}$ ${\displaystyle Z=5}$${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$

$${\displaystyle \operatorname {I} _{Z}(5)=-\log _{2}{\tfrac {1}{9}}=\log _{2}{9}\approx 3.169925{\text{ shannons.}}}$$

Distribución uniforme discreta general

Generalizando el ejemplo anterior de tirada justa de dados , considere una variable aleatoria uniforme discreta general (DURV). Por conveniencia, defina . El pmf es${\displaystyle X\sim \mathrm {DU} [a,b];\quad a,b\in \mathbb {Z} ,\ b\geq a.}$${\textstyle N:=b-a+1}$

$${\displaystyle p_{X}(k)={\begin{cases}{\frac {1}{N}},&k\in [a,b]\cap \mathbb {Z} \\0,&{\text{otherwise}}\end{cases}}.}$$

En general, los valores de DURV no necesitan ser números enteros , o para los propósitos de la teoría de la información, incluso espaciados uniformemente; solo necesitan ser equiprobables . ^[2] La ganancia de información de cualquier observación es${\displaystyle X=k}$

$${\displaystyle \operatorname {I} _{X}(k)=-\log _{2}{\frac {1}{N}}=\log _{2}{N}{\text{ shannons}}.}$$

Caso especial: variable aleatoria constante

Si es superior, degenera a una variable aleatoria constante con distribución de probabilidad determinada determinísticamente por y medida de probabilidad la medida de Dirac . El único valor que puede tomar es determinista , por lo que el contenido de información de cualquier medida de es${\displaystyle b=a}$${\displaystyle X}$ ${\displaystyle X=b}$ ${\textstyle p_{X}(k)=\delta _{b}(k)}$${\displaystyle X}$ ${\displaystyle b}$${\displaystyle X}$

$${\displaystyle \operatorname {I} _{X}(b)=-\log _{2}{1}=0.}$$

En general, no se obtiene información al medir un valor conocido. ^[2]

Distribución categórica

Generalizando todos los casos anteriores, considere una variable aleatoria discreta categórica con apoyo y pmf dado por ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$

$${\displaystyle p_{X}(k)={\begin{cases}p_{i},&k=s_{i}\in {\mathcal {S}}\\0,&{\text{otherwise}}\end{cases}}.}$$

A los efectos de la teoría de la información, los valores no tienen por qué ser números ; pueden ser cualquier evento mutuamente excluyente en un espacio de medida de medida finita que se ha normalizado a una medida de probabilidad . Sin pérdida de generalidad , podemos asumir que la distribución categórica se apoya en el conjunto ; la estructura matemática es isomórfica en términos de teoría de la probabilidad y, por tanto, también de la teoría de la información .${\displaystyle s\in {\mathcal {S}}}$ ${\displaystyle p}$${\textstyle [N]=\left\{1,2,...,N\right\}}$

La información del resultado se da${\displaystyle X=x}$

$${\displaystyle \operatorname {I} _{X}(x)=-\log _{2}{p_{X}(x)}.}$$

A partir de estos ejemplos, es posible calcular la información de cualquier conjunto de DRV independientes con distribuciones conocidas por aditividad .

Relación con la entropía

La entropía es el valor esperado del contenido de información de la variable aleatoria discreta , con la expectativa asumida sobre los valores discretos que toma . A veces, la entropía misma se llama "autoinformación" de la variable aleatoria, posiblemente porque la entropía satisface , donde está la información mutua de consigo misma. ^[7]${\displaystyle \mathrm {H} (X)=\operatorname {I} (X;X)}$${\displaystyle \operatorname {I} (X;X)}$${\displaystyle X}$

Para las variables aleatorias continuas, el concepto correspondiente es la entropía diferencial .

Derivación

Por definición, la información se transfiere desde una entidad de origen que posee la información a una entidad receptora solo cuando el receptor no conocía la información a priori . Si la entidad receptora había conocido previamente el contenido de un mensaje con certeza antes de recibir el mensaje, la cantidad de información del mensaje recibido es cero. Sólo cuando el conocimiento previo del contenido del mensaje por parte del receptor es menos del 100% seguro, el mensaje transmite realmente información.

Por ejemplo, citando a un personaje (el Hippy Dippy Weatherman) del comediante George Carlin , “Pronóstico del tiempo para esta noche: oscuro. Continuó la oscuridad durante la noche, con luz muy dispersa por la mañana ". ^[8] Suponiendo que uno no reside cerca de los polos o círculos polares de la Tierra , la cantidad de información transmitida en ese pronóstico es cero porque se sabe, antes de recibir el pronóstico, que la oscuridad siempre viene con la noche.

Por consiguiente, la cantidad de auto-información contenida en un mensaje de transporte contenido informar a una ocurrencia de evento , , sólo depende de la probabilidad de ese evento.${\displaystyle \omega _{n}}$

${\displaystyle \operatorname {I} (\omega _{n})=f(\operatorname {P} (\omega _{n}))}$

para que alguna función se determine a continuación. Si , entonces . Si , entonces .${\displaystyle f(\cdot )}$${\displaystyle \operatorname {P} (\omega _{n})=1}$${\displaystyle \operatorname {I} (\omega _{n})=0}$${\displaystyle \operatorname {P} (\omega _{n})<1}$${\displaystyle \operatorname {I} (\omega _{n})>0}$

Además, por definición, la medida de la autoinformación es aditiva y no negativa. Si un mensaje que informa de un evento es la intersección de dos eventos independientes y , entonces la información del evento que ocurre es la del mensaje compuesto de ambos eventos independientes y que ocurren. Se esperaría que la cantidad de información del mensaje compuesto fuera igual a la suma de las cantidades de información de los mensajes componentes individuales y respectivamente:${\displaystyle C}$${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$${\displaystyle A}$${\displaystyle B}$

${\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)}$.

Debido a la independencia de eventos y , la probabilidad de evento es${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$

${\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}$.

Sin embargo, la aplicación de la función da como resultado${\displaystyle f(\cdot )}$

${\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}$

La clase de función que tiene la propiedad tal que${\displaystyle f(\cdot )}$

${\displaystyle f(x\cdot y)=f(x)+f(y)}$

es la función logarítmica de cualquier base. La única diferencia operativa entre logaritmos de diferentes bases es la de diferentes constantes de escala.

${\displaystyle f(x)=K\log(x)}$

Dado que las probabilidades de eventos están siempre entre 0 y 1 y la información asociada con estos eventos debe ser no negativa, eso requiere .${\displaystyle K<0}$

Teniendo en cuenta estas propiedades, la autoinformación asociada al resultado con probabilidad se define como:${\displaystyle \operatorname {I} (\omega _{n})}$${\displaystyle \omega _{n}}$${\displaystyle \operatorname {P} (\omega _{n})}$

${\displaystyle \operatorname {I} (\omega _{n})=-\log(\operatorname {P} (\omega _{n}))=\log \left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)}$

Cuanto menor sea la probabilidad del evento , mayor será la cantidad de autoinformación asociada con el mensaje de que el evento efectivamente ocurrió. Si el logaritmo anterior es base 2, la unidad de es bits . Ésta es la práctica más común. Cuando se usa el logaritmo natural de base , la unidad será el nat . Para el logaritmo de base 10, la unidad de información es Hartley .${\displaystyle \omega _{n}}$${\displaystyle \displaystyle I(\omega _{n})}$${\displaystyle \displaystyle e}$

Como ilustración rápida, el contenido de información asociado con un resultado de 4 caras (o cualquier resultado específico) en 4 lanzamientos consecutivos de una moneda sería de 4 bits (probabilidad 1/16), y el contenido de información asociado con obtener un resultado diferente a el especificado sería ~ 0.09 bits (probabilidad 15/16). Consulte más arriba para ver ejemplos detallados.

Ver también

• Entropía
• Análisis sorpresa

Referencias

1. Jones, DS, Teoría de la información elemental , Vol., Clarendon Press, Oxford pp 11-15 1979
2. McMahon, David M. (2008). Explicación de la computación cuántica . Hoboken, Nueva Jersey: Wiley-Interscience. ISBN 9780470181386. OCLC  608622533 .
3. Borda, Monica (2011). Fundamentos en Teoría y Codificación de la Información . Saltador. ISBN 978-3-642-20346-6.
4. Han, Te Sun y Kobayashi, Kingo (2002). Matemáticas de la información y la codificación . Sociedad Matemática Estadounidense. ISBN 978-0-8218-4256-0.
5. RB Bernstein y RD Levine (1972) "Entropía y cambio químico. I. Caracterización de distribuciones de energía del producto (y reactivo) en colisiones moleculares reactivas: deficiencia de información y entropía", The Journal of Chemical Physics 57 , enlace 434-449.
6. Myron Tribus (1961) Termodinámica y termostática: una introducción a la energía, la información y los estados de la materia, con aplicaciones de ingeniería (D. Van Nostrand, 24 West 40 Street, Nueva York 18, Nueva York, EE. UU.) Tribus, Myron (1961) , págs. 64-66 tomar prestado .
7. Cubierta de Thomas M., Joy A. Thomas; Elementos de la teoría de la información; pag. 20; 1991.
8. "Una cita de George Carlin" . www.goodreads.com . Consultado el 1 de abril de 2021 .

Lectura adicional

• CE Shannon , una teoría matemática de la comunicación , Bell Systems Technical Journal , vol. 27, págs. 379–423, (Parte I), 1948.

Enlaces externos

• Ejemplos de medidas de sorpresa
• Entrada "sorpresa" en un glosario de teoría de la información molecular
• Teoría bayesiana de la sorpresa