En diversas aplicaciones de ciencia / ingeniería, como análisis de componentes independientes , [1] análisis de imágenes , [2] análisis genético , [3] reconocimiento de voz , [4] aprendizaje múltiple , [5] y estimación de retardo de tiempo [6] , es útil para estimar la entropía diferencial de un sistema o proceso, dadas algunas observaciones.
El enfoque más simple y común utiliza la estimación basada en histogramas , pero se han desarrollado y utilizado otros enfoques, cada uno con sus propios beneficios e inconvenientes. [7] El factor principal en la elección de un método es a menudo una compensación entre el sesgo y la varianza de la estimación, [8] aunque la naturaleza de la distribución (sospechada) de los datos también puede ser un factor. [7]
Estimador de histograma
El enfoque del histograma utiliza la idea de que la entropía diferencial de una distribución de probabilidad para una variable aleatoria continua ,
puede aproximarse aproximando primero con un histograma de las observaciones, y luego encontrar la entropía discreta de una cuantificación de
con probabilidades bin dadas por ese histograma. El histograma es en sí mismo una estimación de máxima verosimilitud (ML) de la distribución de frecuencia discretizada [ cita requerida ] ), donde es el ancho de la th bin. Los histogramas pueden ser rápidos de calcular y simples, por lo que este enfoque tiene cierto atractivo. Sin embargo, la estimación producida está sesgada y, aunque se pueden hacer correcciones a la estimación, es posible que no siempre sean satisfactorias. [9]
Un método más adecuado para funciones de densidad de probabilidad multidimensionales (pdf) es hacer primero una estimación de pdf con algún método y luego, a partir de la estimación de pdf, calcular la entropía. Un método útil de estimación de PDF es, por ejemplo, el modelado de mezcla gaussiana (GMM), donde el algoritmo de maximización de expectativas (EM) se utiliza para encontrar una estimación ML de una suma ponderada de PDF gaussianos que se aproxima a los datos PDF.
Estimaciones basadas en espacios de muestra
Si los datos son unidimensionales, podemos imaginar tomar todas las observaciones y ordenarlas según su valor. El espaciado entre un valor y el siguiente nos da una idea aproximada de (el recíproco de) la densidad de probabilidad en esa región: cuanto más cerca estén los valores, mayor será la densidad de probabilidad. Esta es una estimación muy aproximada con alta varianza , pero puede mejorarse, por ejemplo, pensando en el espacio entre un valor dado y el que está a un m de él, donde m es un número fijo. [7]
La densidad de probabilidad estimada de esta manera se puede usar para calcular la estimación de entropía, de una manera similar a la que se proporcionó anteriormente para el histograma, pero con algunos pequeños ajustes.
Uno de los principales inconvenientes de este enfoque es ir más allá de una dimensión: la idea de alinear los puntos de datos en orden se desmorona en más de una dimensión. Sin embargo, utilizando métodos análogos, se han desarrollado algunos estimadores de entropía multidimensionales. [10] [11]
Estimaciones basadas en vecinos más cercanos
Para cada punto de nuestro conjunto de datos, podemos encontrar la distancia a su vecino más cercano . De hecho, podemos estimar la entropía a partir de la distribución de la distancia del vecino más cercano de nuestros puntos de datos. [7] (En una distribución uniforme, todas estas distancias tienden a ser bastante similares, mientras que en una distribución fuertemente no uniforme pueden variar mucho más).
Estimador bayesiano
En el régimen de submuestreo, tener un prior en la distribución puede ayudar a la estimación. Uno de estos estimadores bayesianos se propuso en el contexto de la neurociencia conocido como estimador NSB ( Nemenman –Shafee– Bialek ). [12] [13] El estimador NSB utiliza una mezcla de Dirichlet a priori , elegida de manera que la inducida a priori sobre la entropía sea aproximadamente uniforme.
Estimaciones basadas en la entropía esperada
Un nuevo enfoque al problema de la evaluación de la entropía es comparar la entropía esperada de una muestra de secuencia aleatoria con la entropía calculada de la muestra. El método da resultados muy precisos, pero se limita a cálculos de secuencias aleatorias modeladas como cadenas de Markov de primer orden con pequeños valores de sesgo y correlaciones. Este es el primer método conocido que tiene en cuenta el tamaño de la secuencia de la muestra y su impacto en la precisión del cálculo de la entropía. [14] [15]
Referencias
- ^ Dinh-Tuan Pham (2004) Algoritmos rápidos para análisis de componentes independientes basados en información mutua. En procesamiento de señales . Volumen 52, Número 10, 2690–2700, doi : 10.1109 / TSP.2004.834398
- ^ Chang, C.-I .; Du, Y .; Wang, J .; Guo, S.-M .; Thouin, PD (2006) Estudio y análisis comparativo de las técnicas de umbralización de entropía y entropía relativa. En Vision, Image and Signal Processing , volumen 153, número 6, 837–850, doi : 10.1049 / ip-vis: 20050032
- ^ Martins, DC y col. (2008) Genes predictivos intrínsecamente multivariados. En temas seleccionados en procesamiento de señales . Volumen 2, Número 3, 424–439, doi : 10.1109 / JSTSP.2008.923841
- ^ Gue Jun Jung; Yung-Hwan Oh (2008) Agrupación de subvectores basada en la distancia de información para la cuantificación de parámetros de ASR. En Cartas de procesamiento de señales , volumen 15, 209–212, doi : 10.1109 / LSP.2007.913132
- ^ Costa, JA; Hero, AO (2004), Gráficos entrópicos geodésicos para estimación de dimensión y entropía en el aprendizaje múltiple. En Signal Processing , Volume 52, Issue 8, 2210–2221, doi : 10.1109 / TSP.2004.831130
- ^ Benesty, J .; Yiteng Huang; Jingdong Chen (2007) Estimación del retardo de tiempo a través de la entropía mínima. En Cartas de procesamiento de señales , volumen 14, número 3, marzo de 2007157–160 doi : 10.1109 / LSP.2006.884038
- ^ a b c d J. Beirlant, EJ Dudewicz, L. Gyorfi y EC van der Meulen (1997) Estimación de entropía no paramétrica: una descripción general . En Revista Internacional de Ciencias Matemáticas y Estadísticas , Volumen 6, págs. 17–39.
- ^ T. Schürmann, Análisis de sesgo en la estimación de entropía. En J. Phys. A: Matemáticas. Gen , 37 (2004), págs. L295 – L301. doi : 10.1088 / 0305-4470 / 37/27 / L02
- ^ G. Miller (1955) Nota sobre el sesgo de las estimaciones de información. En Teoría de la información en psicología: problemas y métodos , págs. 95–100.
- ^ EG Learned-Miller (2003) Una nueva clase de estimadores de entropía para densidades multidimensionales, en Proceedings of the International Conference on Acustics, Speech, and Signal Processing (ICASSP'03) , vol. 3, abril de 2003, págs. 297–300.
- ^ I. Lee (2010) Estimadores de densidad y entropía basados en espacios de muestra para datos multidimensionales esféricamente invariantes, In Neural Computation , vol. 22, número 8, abril de 2010, págs. 2208–2227.
- ^ Ilya Nemenman, Fariel Shafee, William Bialek (2003) Entropía e inferencia, revisadas. Avances en el procesamiento de información neuronal
- ^ Ilya Nemenman, William Bialek , de Ruyter (2004) Entropía e información en trenes de picos neurales: Progreso en el problema de muestreo. Revisión física E
- ^ Marek Lesniewicz (2014) Entropía esperada como medida y criterio de aleatoriedad de secuencias binarias [1] en Przeglad Elektrotechniczny, volumen 90, 1/2014, págs. 42-46.
- ^ Marek Lesniewicz (2016) Análisis y medidas de secuencias binarias aleatorias generadas por hardware modeladas como cadenas de Markov [2] en Przeglad Elektrotechniczny, volumen 92, 11/2016, págs. 268-274.