La complejidad de la fluctuación de la información es una cantidad teórica de la información definida como la fluctuación de la información sobre la entropía . Se deriva de las fluctuaciones en el predominio del orden y el caos en un sistema dinámico y se ha utilizado como medida de complejidad en muchos campos diversos. Fue introducido en un artículo de 1993 por Bates y Shepard. [1]
Definición
La complejidad de la fluctuación de la información de un sistema dinámico discreto es una función de la distribución de probabilidad de sus estados cuando está sujeto a datos de entrada externos aleatorios. El propósito de impulsar el sistema con una fuente de información rica, como un generador de números aleatorios o una señal de ruido blanco, es sondear la dinámica interna del sistema de la misma manera que se utiliza un impulso rico en frecuencia en el procesamiento de señales .
Si un sistema tiene estados posibles y las probabilidades de estado son conocidos, entonces su entropía de información es
dónde es el contenido de información del estado.
La complejidad de la fluctuación de la información del sistema se define como la desviación estándar o la fluctuación de sobre su media :
o
La fluctuación de la información estatal es cero en un sistema con desorden máximo con todos ; el sistema simplemente imita sus entradas aleatorias. también es cero cuando el sistema está perfectamente ordenado con un solo estado fijo , independientemente de las entradas. es distinto de cero entre estos dos extremos con una mezcla de estados de mayor probabilidad y estados de menor probabilidad que pueblan el espacio de estados .
La fluctuación de la información permite la memoria y el cálculo.
A medida que un sistema dinámico complejo evoluciona en el tiempo, la forma en que transita entre estados depende de estímulos externos de manera irregular. En ocasiones puede ser más sensible a estímulos externos (inestable) y en otras ocasiones menos sensible (estable). Si un estado en particular tiene varios estados siguientes posibles, la información externa determina cuál será el siguiente y el sistema obtiene esa información siguiendo una trayectoria particular en el espacio de estados. Pero si varios estados diferentes conducen al mismo estado siguiente, al entrar en el estado siguiente, el sistema pierde información sobre qué estado lo precedió. Por lo tanto, un sistema complejo exhibe ganancia y pérdida de información alternadas a medida que evoluciona en el tiempo. La alternancia o fluctuación de la información equivale a recordar y olvidar - almacenamiento temporal de información o memoria - una característica esencial de la computación no trivial.
La ganancia o pérdida de información asociada con las transiciones entre estados puede estar relacionada con la información de estado. La ganancia neta de información de una transición de estado a estado es la información obtenida al salir del estado menos la información perdida al entrar en estado :
Aquí es la probabilidad condicional hacia adelante de que si el estado actual es entonces el siguiente estado es y es la probabilidad condicional inversa de que si el estado actual es entonces el estado anterior fue . Las probabilidades condicionales están relacionadas con la probabilidad de transición. , la probabilidad de que una transición de estado a estado ocurre, por:
Eliminando las probabilidades condicionales:
Por lo tanto, la información neta obtenida por el sistema como resultado de la transición depende solo del aumento en la información de estado desde el estado inicial al final. Se puede demostrar que esto es cierto incluso para múltiples transiciones consecutivas. [1]
recuerda la relación entre fuerza y energía potencial . es como potencial y es como fuerza en . La información externa "empuja" un sistema "cuesta arriba" a un estado de mayor potencial de información para lograr el almacenamiento de memoria, de manera muy similar a empujar una masa cuesta arriba a un estado de mayor potencial gravitacional que almacena energía. La cantidad de almacenamiento de energía depende solo de la altura final, no del camino hacia la colina. Asimismo, la cantidad de almacenamiento de información no depende de la ruta de transición entre dos estados en el espacio de estados. Una vez que un sistema alcanza un estado raro con un alto potencial de información, puede "caer" a un estado más común, perdiendo la información almacenada previamente.
Puede resultar útil calcular la desviación estándar desobre su media (que es cero), es decir, la fluctuación de la ganancia neta de información , [1] perotiene en cuenta los bucles de memoria de transición múltiple en el espacio de estados y, por lo tanto, debería ser un mejor indicador de la potencia de cálculo de un sistema. Es más, es más fácil de calcular porque puede haber muchas más transiciones que estados.
Caos y orden
Un sistema dinámico que es sensible a la información externa (inestable) exhibe un comportamiento caótico , mientras que uno que es insensible a la información externa (estable) exhibe un comportamiento ordenado. Un sistema complejo exhibe ambos comportamientos, fluctuando entre ellos en equilibrio dinámico cuando está sujeto a una fuente de información rica. El grado de fluctuación se cuantifica por; captura la alternancia en el predominio del caos y el orden en un sistema complejo a medida que evoluciona en el tiempo.
Ejemplo: variante de la regla 110 del autómata celular elemental
Se ha demostrado que la variante de la regla 110 del autómata celular elemental es capaz de realizar cálculos universales . La prueba se basa en la existencia e interacciones de patrones celulares cohesivos y autoperpetuosos conocidos como planeadores o naves espaciales , fenómenos emergentes , que implican la capacidad de grupos de células autómatas para recordar que un planeador los atraviesa. Por lo tanto, es de esperar que haya bucles de memoria en el espacio de estados como resultado de alternancias de ganancia y pérdida de información, inestabilidad y estabilidad, caos y orden.
Considere un grupo de 3 celdas de celdas de autómatas adyacentes que obedecen la regla 110: extremo-centro-extremo. El siguiente estado de la celda central depende del estado actual de sí mismo y de las celdas finales según lo especificado por la regla:
Grupo de 3 celdas | 1-1-1 | 1-1-0 | 1-0-1 | 1-0-0 | 0-1-1 | 0-1-0 | 0-0-1 | 0-0-0 |
---|---|---|---|---|---|---|---|---|
siguiente celda central | 0 | 1 | 1 | 0 | 1 | 1 | 1 | 0 |
Para calcular la complejidad de la fluctuación de la información de este sistema, conecte una celda impulsora a cada extremo del grupo de 3 celdas para proporcionar un estímulo externo aleatorio como este,controlador → extremo-centro-extremo ← controlador, de modo que la regla se pueda aplicar a las dos celdas finales. A continuación, determine cuál es el siguiente estado para cada posible estado presente y para cada posible combinación de contenido de la celda del controlador, para determinar las probabilidades condicionales de avance.
El diagrama de estado de este sistema se muestra a continuación, con círculos que representan los estados y flechas que representan las transiciones entre estados. Los ocho estados de este sistema,1-1-1 a 0-0-0están etiquetados con el equivalente decimal del contenido de 3 bits del grupo de 3 celdas: 7 a 0. Las flechas de transición están etiquetadas con probabilidades condicionales hacia adelante. Nótese que existe variabilidad en la divergencia y convergencia de flechas correspondiente a una variabilidad en el caos y el orden, sensibilidad e insensibilidad, ganancia y pérdida de información externa de las celdas impulsoras.
Las probabilidades condicionales de avance están determinadas por la proporción de posibles contenidos de la celda impulsora que impulsan una transición particular. Por ejemplo, para las cuatro combinaciones posibles de dos contenidos de celda de controlador, el estado 7 conduce a los estados 5, 4, 1 y 0, por lo que, , , y son cada uno 1/4 o 25%. Del mismo modo, el estado 0 conduce a los estados 0, 1, 0 y 1, por lo quey son cada uno 1/2 o 50%. Etcétera.
Las probabilidades de estado están relacionadas por
- y
Estas ecuaciones algebraicas lineales se pueden resolver manualmente o con la ayuda de un programa de computadora para las probabilidades de estado, con los siguientes resultados:
p 0 | p 1 | p 2 | p 3 | p. 4 | p 5 | p 6 | p. 7 |
2/17 | 2/17 | 1/34 | 5/34 | 2/17 | 2/17 | 2/17 | 17/4 |
La entropía y la complejidad de la información se pueden calcular a partir de las probabilidades de estado:
Tenga en cuenta que la entropía máxima posible para ocho estados es que sería el caso si los ocho estados fueran igualmente probables con probabilidades de 1/8 (aleatoriedad). Por tanto, la regla 110 tiene una entropía o utilización de estado relativamente alta a 2,86 bits. Pero esto no excluye una fluctuación sustancial de la información estatal sobre la entropía y, por tanto, un valor sustancial de complejidad. Considerando que, de máxima entropía sería impedir la complejidad.
Se puede utilizar un método alternativo para obtener las probabilidades de estado cuando el método analítico utilizado anteriormente no sea factible. Simplemente maneje el sistema en sus entradas (las celdas impulsoras) con una fuente aleatoria durante muchas generaciones y observe las probabilidades de estado empíricamente. Cuando esto se hace mediante simulación por computadora durante 10 millones de generaciones, los resultados son los siguientes: [2]
número de celdas | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 |
---|---|---|---|---|---|---|---|---|---|---|---|
(bits) | 2,86 | 3,81 | 4,73 | 5,66 | 6.56 | 7,47 | 8,34 | 9.25 | 10.09 | 10,97 | 11,78 |
(bits) | 0,56 | 0,65 | 0,72 | 0,73 | 0,79 | 0,81 | 0,89 | 0,90 | 1,00 | 1.01 | 1,15 |
0,20 | 0,17 | 0,15 | 0,13 | 0,12 | 0,11 | 0,11 | 0,10 | 0,10 | 0,09 | 0,10 |
Ya que ambos y aumentan con el tamaño del sistema, su relación adimensional , la complejidad relativa de la fluctuación de la información , se incluye para comparar mejor los sistemas de diferentes tamaños. Observe que los resultados empíricos y analíticos concuerdan para el autómata de 3 celdas.
En el documento de Bates y Shepard, [1] se calcula para todas las reglas elementales de autómatas celulares y se observó que los que exhiben planeadores de movimiento lento y posiblemente objetos estacionarios, como lo hace la regla 110, están altamente correlacionados con valores grandes de . por lo tanto, se puede usar como filtro para seleccionar reglas candidatas para el cálculo universal, lo cual es tedioso de probar.
Aplicaciones
Aunque la derivación de la fórmula de complejidad de la fluctuación de la información se basa en las fluctuaciones de la información en un sistema dinámico, la fórmula depende solo de las probabilidades de estado y, por lo tanto, también es aplicable a cualquier distribución de probabilidad, incluidas las derivadas de imágenes estáticas o texto.
A lo largo de los años, investigadores de diversos campos se han referido al artículo original [1] : teoría de la complejidad, [3] ciencia de sistemas complejos, [4] dinámica caótica, [5] ingeniería ambiental, [6] complejidad ecológica, [7] ] análisis ecológico de series de tiempo, [8] sostenibilidad del ecosistema, [9] contaminación del aire [10] y del agua [11] , análisis hidrológico de ondas, [12] flujo de agua del suelo, [13] humedad del suelo, [14] escorrentía de cabecera, [15] profundidad del agua subterránea, [16] control del tráfico aéreo, [17] patrones de flujo [18] y eventos de inundación, [19] topología, [20] previsión del mercado de precios de metales [21] y electricidad [22] , informática de la salud, [23] cognición humana, [24] cinemática de la marcha humana, [25] neurología, [26] análisis EEG, [27] análisis del habla, [28] educación, [29] inversión, [30] y estética. [31]
Referencias
- ^ a b c d e Bates, John E .; Shepard, Harvey K. (18 de enero de 1993). "Medir la complejidad mediante la fluctuación de la información". Physics Letters A . 172 (6): 416–425. doi : 10.1016 / 0375-9601 (93) 90232-O . ISSN 0375-9601 .
- ^ Bates, John E. (30 de marzo de 2020). "Medir la complejidad mediante la fluctuación de la información: un tutorial" . Puerta de investigación .
- ^ Atmanspacher, Harald (septiembre de 1997). "Corte cartesiano, corte de Heisenberg y el concepto de complejidad". Futuros mundiales . 49 (3–4): 333–355. doi : 10.1080 / 02604027.1997.9972639 . ISSN 0260-4027 .
- ^ Shalizi, Cosma Rohilla (2006), Deisboeck, Thomas S .; Kresh, J. Yasha (eds.), "Methods and Techniques of Complex Systems Science: An Overview", Complex Systems Science in Biomedicine , Topics in Biomedical Engineering International Book Series, Springer US, págs. 33-114, arXiv : nlin / 0307015 , doi : 10.1007 / 978-0-387-33532-2_2 , ISBN 978-0-387-33532-2, S2CID 11972113
- ^ Wackerbauer, Renate (1 de noviembre de 1995). "Estabilización inducida por ruido del sistema de Lorenz". Revisión E física . 52 (5): 4745–4749. doi : 10.1103 / PhysRevE.52.4745 . PMID 9963970 .
- ^ Singh, Vijay P. (10 de enero de 2013). Teoría de la entropía y su aplicación en ingeniería ambiental y del agua . John Wiley e hijos. ISBN 978-1-118-42860-3.
- ^ Parrott, Lael (1 de noviembre de 2010). "Midiendo la complejidad ecológica" . Indicadores ecológicos . 10 (6): 1069–1076. doi : 10.1016 / j.ecolind.2010.03.014 . ISSN 1470-160X .
- ^ Lange, Holger (2006), "Análisis de series de tiempo en ecología", eLS , American Cancer Society, doi : 10.1038 / npg.els.0003276 , ISBN 978-0-470-01590-2
- ^ Wang, Chaojun; Zhao, Hongrui (18 de abril de 2019). "Análisis de datos de series temporales de teledetección para fomentar la sostenibilidad del ecosistema: uso de la entropía de información temporal". Revista Internacional de Percepción Remota . 40 (8): 2880–2894. doi : 10.1080 / 01431161.2018.1533661 . ISSN 0143-1161 . S2CID 135003743 .
- ^ Klemm, Otto; Lange, Holger (1 de diciembre de 1999). "Tendencias de la contaminación del aire en las montañas Fichtelgebirge, Baviera". Investigación en Ciencias Ambientales y Contaminación . 6 (4): 193-199. doi : 10.1007 / BF02987325 . ISSN 1614-7499 . PMID 19005662 . S2CID 35043 .
- ^ Wang, Kang; Lin, Zhongbing (2018). "Caracterización de la contaminación de fuente difusa en río a diferentes escalas espaciales". Revista Agua y Medio Ambiente . 32 (3): 453–465. doi : 10.1111 / wej.12345 . ISSN 1747-6593 .
- ^ Labat, David (25 de noviembre de 2005). "Avances recientes en análisis de ondículas: Parte 1. Una revisión de conceptos" . Revista de hidrología . 314 (1): 275–288. doi : 10.1016 / j.jhydrol.2005.04.003 . ISSN 0022-1694 .
- ^ Pachepsky, Yakov; Guber, Andrey; Jacques, Diederik; Simunek, Jiri; Van Genuchten, Marthinus Th .; Nicholson, Thomas; Cady, Ralph (1 de octubre de 2006). "Contenido de la información y complejidad de los flujos de agua del suelo simulados" . Geoderma . Geometría fractal aplicada al suelo y sistemas jerárquicos relacionados: fractales, complejidad y heterogeneidad. 134 (3): 253–266. doi : 10.1016 / j.geoderma.2006.03.003 . ISSN 0016-7061 .
- ^ Kumar, Sujay V .; Dirmeyer, Paul A .; Peters-Lidard, Christa D .; Bindlish, Rajat; Bolten, John (1 de enero de 2018). "Evaluación teórica de la información de las recuperaciones de humedad del suelo por satélite" . Teledetección del medio ambiente . 204 : 392–400. doi : 10.1016 / j.rse.2017.10.016 . hdl : 2060/20180003069 . ISSN 0034-4257 . PMC 7340154 . PMID 32636571 .
- ^ Hauhs, Michael; Lange, Holger (2008). "Clasificación de la escorrentía en captaciones de cabeceras: ¿un problema físico?". Brújula de geografía . 2 (1): 235–254. doi : 10.1111 / j.1749-8198.2007.00075.x . ISSN 1749-8198 .
- ^ Liu, Meng; Liu, Dong; Liu, Le (1 de septiembre de 2013). "Investigación de la complejidad de la serie regional de profundidad del agua subterránea basada en la entropía multiescala: un estudio de caso de la oficina de la sucursal de Jiangsanjiang en China". Ciencias ambientales de la tierra . 70 (1): 353–361. doi : 10.1007 / s12665-012-2132-y . ISSN 1866-6299 . S2CID 128958458 .
- ^ Xing, Jing; Manning, Carol A. (abril de 2005). "Pantallas de complejidad y automatización del control del tráfico aéreo: revisión y análisis de la literatura" . Cite journal requiere
|journal=
( ayuda ) - ^ Wang, Kang; Li, Li (noviembre de 2008). "Caracterización de patrones de flujo heterogéneos mediante mediciones de información". 2008 Primera Conferencia Internacional sobre Redes Inteligentes y Sistemas Inteligentes : 654–657. doi : 10.1109 / ICINIS.2008.110 . S2CID 8867649 .
- ^ Al Sawaf, Mohamad Basel; Kawanisi, Kiyosi (1 de noviembre de 2020). "Evaluación de los patrones de flujo de los ríos de montaña y eventos de inundación utilizando información y medidas de complejidad" . Revista de hidrología . 590 : 125508. doi : 10.1016 / j.jhydrol.2020.125508 . ISSN 0022-1694 .
- ^ Javaheri Javid, Mohammad Ali; Alghamdi, Wajdi; Zimmer, Robert; al-Rifaie, Mohammad Majid (2016), Bi, Yaxin; Kapoor, Supriya; Bhatia, Rahul (eds.), "Un análisis comparativo de detección de simetrías en topología toroidal" (PDF) , Sistemas y aplicaciones inteligentes: resultados seleccionados y extendidos de la Conferencia de sistemas inteligentes SAI (IntelliSys) 2015 , Estudios en inteligencia computacional, Springer International Publishing, págs. 323–344, doi : 10.1007 / 978-3-319-33386-1_16 , ISBN 978-3-319-33386-1
- ^ Él, Kaijian; Lu, Xingjing; Zou, Yingchao; Keung Lai, Kin (1 de septiembre de 2015). "Pronóstico de precios de metales con una metodología multiescala basada en curvas" . Política de recursos . 45 : 144-150. doi : 10.1016 / j.resourpol.2015.03.011 . ISSN 0301-4207 .
- ^ Él, Kaijian; Xu, Yang; Zou, Yingchao; Tang, Ling (1 de mayo de 2015). "Previsiones de precios de la electricidad utilizando un enfoque basado en la eliminación de ruido de Curvelet" . Physica A: Mecánica estadística y sus aplicaciones . 425 : 1–9. doi : 10.1016 / j.physa.2015.01.012 . ISSN 0378-4371 .
- ^ Ahmed, Mosabber Uddin (2021), Ahad, Md Atiqur Rahman; Ahmed, Mosabber Uddin (eds.), "Análisis de complejidad en informática de la salud" , Técnicas de procesamiento de señales para informática de salud computacional , Biblioteca de referencia de sistemas inteligentes, Cham: Springer International Publishing, págs. 103-121, doi : 10.1007 / 978-3- 030-54932-9_4 , ISBN 978-3-030-54932-9, consultado 2021-02-01
- ^ Shi Xiujian; Sun Zhiqiang; Li Long; Xie Hongwei (2009). "Análisis de la complejidad cognitiva humana en los sistemas de transporte". Logística . Actas: 4361–4368. doi : 10.1061 / 40996 (330) 637 . ISBN 9780784409961.
- ^ Zhang, Shutao; Qian, Jinwu; Shen, Linyong; Wu, Xi; Hu, Xiaowu (octubre de 2015). "Análisis de contenido de frecuencia y complejidad de la marcha de pacientes con enfermedad de Parkinson". 2015 Simposio internacional sobre bioelectrónica y bioinformática (ISBB) : 87–90. doi : 10.1109 / ISBB.2015.7344930 . ISBN 978-1-4673-6609-0. S2CID 2891655 .
- ^ Wang, Jisung; Noh, Gyu-Jeong; Choi, Byung-Moon; Ku, Seung-Woo; Joo, Pangyu; Jung, Woo-Sung; Kim, Seunghwan; Lee, Heonsoo (13 de julio de 2017). "Complejidad neuronal suprimida durante la inconsciencia inducida por ketamina y propofol" . Cartas de neurociencia . 653 : 320–325. doi : 10.1016 / j.neulet.2017.05.045 . ISSN 0304-3940 . PMID 28572032 . S2CID 13767209 .
- ^ Bola, Michał; Orłowski, Paweł; Płomecka, Martyna; Marchewka, Artur (30 de enero de 2019). "Diversidad de la señal de EEG durante la sedación con propofol: un aumento en los sujetos sedados pero que responden, una disminución en los sujetos sedados y que no responden" . bioRxiv : 444281. doi : 10.1101 / 444281 . S2CID 214726084 .
- ^ Fan Yingle; Wu Chuanyan; Li Yi; Pang Quan (15 de diciembre de 2006). "Estudio sobre la aplicación de la medición de la complejidad de la fluctuación en la detección del punto final del habla" . Medicina Aeroespacial e Ingeniería Médica . 19 (6). ISSN 1002-0837 .
- ^ Dilger, Alexander (1 de enero de 2012). "Complejidad endógena, especialización y educación general". En el horizonte . 20 (1): 49–53. doi : 10.1108 / 10748121211202062 . ISSN 1074-8121 .
- ^ Ivanyuk, Vera Alekseevna (2015). "Modelo dinámico de gestión estratégica de carteras de inversión" . elibrary.ru .
- ^ Javaheri Javid, Mohammad Ali (30 de noviembre de 2019). Autómatas estéticos: síntesis y simulación del comportamiento estético en autómatas celulares (tesis doctoral). Goldsmiths, Universidad de Londres. doi : 10.25602 / oro.00027681 .