La mayoría de los conjuntos de datos del mundo real constan de vectores de datos cuyos componentes individuales no son estadísticamente independientes . En otras palabras, conocer el valor de un elemento proporcionará información sobre el valor de los elementos en el vector de datos. Cuando esto ocurre, puede ser deseable crear un código factorial de los datos, es decir, una nueva representación con valores vectoriales de cada vector de datos de manera que se codifique de forma única por el vector de código resultante (codificación sin pérdidas), pero el código los componentes son estadísticamente independientes.
El aprendizaje supervisado posterior generalmente funciona mucho mejor cuando los datos de entrada sin procesar se traducen por primera vez a un código factorial de este tipo. Por ejemplo, suponga que el objetivo final es clasificar imágenes con píxeles altamente redundantes. Un clasificador de Bayes ingenuo asumirá que los píxeles son variables aleatorias estadísticamente independientes y, por lo tanto, no producirán buenos resultados. Sin embargo, si los datos se codifican primero de forma factorial, el clasificador de Bayes ingenuo logrará su rendimiento óptimo (comparar con Schmidhuber et al. 1996).
Para crear códigos factoriales, Horace Barlow y sus colaboradores sugirieron minimizar la suma de las entropías de bits de los componentes del código de los códigos binarios (1989). Jürgen Schmidhuber (1992) reformuló el problema en términos de predictores y detectores de características binarias , cada uno de los cuales recibe los datos brutos como entrada. Para cada detector hay un predictor que ve los otros detectores y aprende a predecir la salida de su propio detector en respuesta a los diversos vectores o imágenes de entrada. Pero cada detector utiliza un algoritmo de aprendizaje automático para volverse lo más impredecible posible. El óptimo global de esta función objetivo corresponde a un código factorial representado de forma distribuida a través de las salidas de los detectores de características.
Painsky, Rosset y Feder (2016, 2017) estudiaron más a fondo este problema en el contexto del análisis de componentes independientes sobre tamaños de alfabeto finitos. A través de una serie de teoremas, muestran que el problema de codificación factorial puede resolverse con precisión con un algoritmo de árbol de búsqueda de ramas y límites, o bien aproximarse con una serie de problemas lineales. Además, introducen una transformación simple (es decir, permutación de orden) que proporciona una aproximación ávida pero muy efectiva de la solución óptima. En la práctica, muestran que con una implementación cuidadosa, las propiedades favorables de la permutación de órdenes pueden lograrse en una complejidad computacional asintóticamente óptima. Es importante destacar que proporcionan garantías teóricas, mostrando que si bien no todos los vectores aleatorios se pueden descomponer de manera eficiente en componentes independientes, la mayoría de los vectores se descomponen muy bien (es decir, con un pequeño costo constante), a medida que aumenta la dimensión. Además, demuestran el uso de códigos factoriales para la compresión de datos en múltiples configuraciones (2017).
Ver también
Referencias
- Horace Barlow , TP Kaushal y GJ Mitchison. Encontrar códigos de entropía mínima. Computación neuronal, 1: 412-423, 1989.
- Jürgen Schmidhuber . Aprendizaje de códigos factoriales por minimización de previsibilidad. Computación neuronal, 4 (6): 863-879, 1992
- J. Schmidhuber y M. Eldracher y B. Foltin. La minimización de la predictibilidad semilineal produce detectores de características bien conocidos. Computación neuronal, 8 (4): 773-786, 1996
- A. Painsky, S. Rosset y M. Feder. Análisis de componentes independientes generalizados sobre alfabetos finitos. Transacciones IEEE sobre teoría de la información, 62 (2): 1038-1053, 2016
- A. Painsky, S. Rosset y M. Feder. Codificación de fuente alfabética grande mediante análisis de componentes independientes. Transacciones IEEE sobre teoría de la información, 63 (10): 6514 - 6529, 2017