La teoría de la información es el estudio científico de la cuantificación , almacenamiento y comunicación de información digital . [1] El campo fue establecido fundamentalmente por las obras de Harry Nyquist y Ralph Hartley , en la década de 1920, y de Claude Shannon en la década de 1940. [2] : vii El campo se encuentra en la intersección de la teoría de la probabilidad , la estadística , la informática , la mecánica estadística , la ingeniería de la información y la ingeniería eléctrica..
Una medida clave en la teoría de la información es la entropía . La entropía cuantifica la cantidad de incertidumbre involucrada en el valor de una variable aleatoria o el resultado de un proceso aleatorio . Por ejemplo, identificar el resultado de un lanzamiento de moneda justo (con dos resultados igualmente probables) proporciona menos información (menor entropía) que especificar el resultado de un lanzamiento de un dado (con seis resultados igualmente probables). Algunas otras medidas importantes en la teoría de la información son la información mutua , la capacidad del canal, los exponentes de error y la entropía relativa . Los subcampos importantes de la teoría de la información incluyen la codificación de fuentes ,teoría de la complejidad algorítmica , la teoría algorítmica de la información y la seguridad de la información teórica .
Las aplicaciones de temas fundamentales de la teoría de la información incluyen la compresión de datos sin pérdida (por ejemplo, archivos ZIP ), la compresión de datos con pérdida (por ejemplo, MP3 y JPEG ) y la codificación de canales (por ejemplo, para DSL ). Su impacto ha sido crucial para el éxito de las misiones Voyager al espacio profundo, la invención del disco compacto , la viabilidad de los teléfonos móviles y el desarrollo de Internet. La teoría también ha encontrado aplicaciones en otras áreas, incluida la inferencia estadística , [3] criptografía , neurobiología , [4] percepción , [5] lingüística, evolución [6] y función [7] de códigos moleculares ( bioinformática ), física térmica , [8] dinámica molecular , [9] computación cuántica , agujeros negros , recuperación de información , recopilación de inteligencia , detección de plagio , [10] reconocimiento de patrones , detección de anomalías [11] e incluso creación de arte.
La teoría de la información estudia la transmisión, procesamiento, extracción y utilización de información. De manera abstracta, la información puede considerarse como la resolución de la incertidumbre. En el caso de la comunicación de información a través de un canal ruidoso, este concepto abstracto fue formalizado en 1948 por Claude Shannon en un artículo titulado A Mathematical Theory of Communication , en el que se piensa en la información como un conjunto de posibles mensajes, y el objetivo es enviar estos mensajes por un canal ruidoso y hacer que el receptor reconstruya el mensaje con baja probabilidad de error, a pesar del ruido del canal. El resultado principal de Shannon, el teorema de codificación de canales ruidososdemostró que, en el límite de muchos usos del canal, la tasa de información que se puede lograr asintóticamente es igual a la capacidad del canal, una cantidad que depende simplemente de las estadísticas del canal por el que se envían los mensajes. [4]
La teoría de la codificación se ocupa de encontrar métodos explícitos, llamados códigos , para aumentar la eficiencia y reducir la tasa de error de la comunicación de datos a través de canales ruidosos hasta cerca de la capacidad del canal. Estos códigos se pueden subdividir aproximadamente en técnicas de compresión de datos (codificación de fuente) y corrección de errores (codificación de canal). En el último caso, se necesitaron muchos años para encontrar los métodos que el trabajo de Shannon demostró que eran posibles.
Una tercera clase de códigos de teoría de la información son los algoritmos criptográficos (tanto códigos como cifrados ). Los conceptos, métodos y resultados de la teoría de la codificación y la teoría de la información se utilizan ampliamente en criptografía y criptoanálisis . Consulte la prohibición del artículo (unidad) para obtener una aplicación histórica.