En física , la termodinámica de máxima entropía (coloquialmente, termodinámica MaxEnt ) ve la termodinámica de equilibrio y la mecánica estadística como procesos de inferencia . Más específicamente, MaxEnt aplica técnicas de inferencia basadas en la teoría de la información de Shannon , la probabilidad bayesiana y el principio de máxima entropía . Estas técnicas son relevantes para cualquier situación que requiera la predicción de datos incompletos o insuficientes (por ejemplo, reconstrucción de imágenes , procesamiento de señales , análisis espectral y problemas inversos). La termodinámica MaxEnt comenzó con dos artículos de Edwin T. Jaynes publicados en la Physical Review de 1957 . [1] [2]
Máxima entropía de Shannon
Un elemento central de la tesis de MaxEnt es el principio de máxima entropía . Exige como dado algún modelo parcialmente especificado y algunos datos específicos relacionados con el modelo. Selecciona una distribución de probabilidad preferida para representar el modelo. Los datos dados indican "información comprobable" [3] [4] acerca de la distribución de probabilidad , por ejemplo , valores esperados particulares , pero no son en sí mismos suficientes para determinarlos de forma única. El principio establece que se debe preferir la distribución que maximiza la entropía de información de Shannon ,
Esto se conoce como el algoritmo de Gibbs , que fue introducido por J. Willard Gibbs en 1878, para establecer conjuntos estadísticos para predecir las propiedades de los sistemas termodinámicos en equilibrio. Es la piedra angular del análisis mecánico estadístico de las propiedades termodinámicas de los sistemas de equilibrio (ver función de partición ).
Así, se establece una conexión directa entre la entropía termodinámica de equilibrio S Th , una función de estado de presión, volumen, temperatura, etc., y la entropía de información para la distribución predicha con máxima incertidumbre condicionada únicamente a los valores esperados de esas variables:
k B , la constante de Boltzmann , no tiene aquí un significado físico fundamental, pero es necesario para mantener la coherencia con la definición histórica previa de entropía de Clausius (1865) (ver la constante de Boltzmann ).
Sin embargo, la escuela MaxEnt argumenta que el enfoque MaxEnt es una técnica general de inferencia estadística, con aplicaciones mucho más allá de esto. Por lo tanto, también se puede utilizar para predecir una distribución de "trayectorias" Γ "durante un período de tiempo" maximizando:
Esta "entropía de información" no tiene necesariamente una correspondencia simple con la entropía termodinámica. Pero se puede utilizar para predecir características de sistemas termodinámicos de desequilibrio a medida que evolucionan con el tiempo.
Para escenarios de no equilibrio, en una aproximación que asume equilibrio termodinámico local , con el enfoque de máxima entropía, las relaciones recíprocas de Onsager y las relaciones Green-Kubo caen directamente. El enfoque también crea un marco teórico para el estudio de algunos casos muy especiales de escenarios lejos del equilibrio, lo que simplifica la derivación del teorema de fluctuación de la producción de entropía . Para los procesos de no equilibrio, como ocurre con las descripciones macroscópicas, también falta una definición general de entropía para las cuentas mecánicas estadísticas microscópicas.
Nota técnica : Por las razones discutidas en el artículo sobre entropía diferencial , la definición simple de entropía de Shannon deja de ser directamente aplicable para variables aleatorias con funciones de distribución de probabilidad continua . En cambio, la cantidad apropiada para maximizar es la "entropía de información relativa",
H c es el negativo de la divergencia de Kullback-Leibler , o información de discriminación, de m ( x ) de p ( x ), donde m ( x ) es una medida invariante previa para la (s) variable (s). La entropía relativa H c es siempre menor que cero, y puede considerarse como (el negativo de) el número de bits de incertidumbre perdidos al fijar p ( x ) en lugar de m ( x ). A diferencia de la entropía de Shannon, la entropía relativa H c tiene la ventaja de permanecer finita y bien definida para x continuo , e invariante bajo transformaciones de coordenadas 1 a 1. Las dos expresiones coinciden para distribuciones de probabilidad discretas , si se puede suponer que m ( x i ) es uniforme, es decir, el principio de probabilidad igual a priori , que subyace a la termodinámica estadística.
Implicaciones filosóficas
Los adherentes al punto de vista de MaxEnt toman una posición clara sobre algunas de las cuestiones conceptuales / filosóficas en termodinámica. Esta posición se bosqueja a continuación.
La naturaleza de las probabilidades en mecánica estadística.
Jaynes (1985, [5] 2003, [6] et passim ) discutieron el concepto de probabilidad. Según el punto de vista de MaxEnt, las probabilidades en mecánica estadística se determinan conjuntamente por dos factores: por modelos particulares especificados respectivamente para el espacio de estados subyacente (por ejemplo , espacio de fase de Liouvillian ); y por descripciones parciales particulares especificadas respectivamente del sistema (la descripción macroscópica del sistema utilizada para restringir la asignación de probabilidad MaxEnt). Las probabilidades son objetivas en el sentido de que, dadas estas entradas, resultará una distribución de probabilidad definida unívocamente, la misma para cada investigador racional, independientemente de la subjetividad u opinión arbitraria de personas particulares. Las probabilidades son epistémicas en el sentido de que se definen en términos de datos específicos y se derivan de esos datos mediante reglas de inferencia definidas y objetivas, las mismas para todo investigador racional. [7] Aquí la palabra epistémico, que se refiere al conocimiento científico objetivo e impersonal, igual para todo investigador racional, se usa en el sentido que la contrasta con opinativo, que se refiere a las creencias subjetivas o arbitrarias de personas particulares; este contraste fue utilizado por Platón y Aristóteles , y hoy es confiable.
Jaynes también usó la palabra 'subjetivo' en este contexto porque otros la han usado en este contexto. Aceptó que, en cierto sentido, un estado de conocimiento tiene un aspecto subjetivo, simplemente porque se refiere al pensamiento, que es un proceso mental. Pero enfatizó que el principio de máxima entropía se refiere solo al pensamiento que es racional y objetivo, independiente de la personalidad del pensador. En general, desde un punto de vista filosófico, las palabras "subjetivo" y "objetivo" no son contradictorias; a menudo una entidad tiene aspectos tanto subjetivos como objetivos. Jaynes rechazó explícitamente la crítica de algunos escritores de que, solo porque se puede decir que el pensamiento tiene un aspecto subjetivo, el pensamiento es automáticamente no objetivo. Rechazó explícitamente la subjetividad como base del razonamiento científico, la epistemología de la ciencia; requería que el razonamiento científico tuviera una base completa y estrictamente objetiva. [8] Sin embargo, los críticos continúan atacando a Jaynes, alegando que sus ideas son "subjetivas". Un escritor incluso llega a etiquetar el enfoque de Jaynes como "ultraubjetivista", [9] y mencionar "el pánico que el término subjetivismo creó entre los físicos". [10]
Las probabilidades representan tanto el grado de conocimiento como la falta de información en los datos y el modelo utilizado en la descripción macroscópica del sistema por parte del analista, y también lo que esos datos dicen sobre la naturaleza de la realidad subyacente.
La idoneidad de las probabilidades depende de si las restricciones del modelo macroscópico especificado son una descripción suficientemente precisa y / o completa del sistema para capturar todo el comportamiento reproducible experimentalmente. Esto no se puede garantizar, a priori . Por esta razón, los proponentes de MaxEnt también llaman al método mecánica estadística predictiva . Las predicciones pueden fallar. Pero si lo hacen, esto es informativo, porque señala la presencia de nuevas restricciones necesarias para capturar un comportamiento reproducible en el sistema, que no se había tenido en cuenta.
¿Es la entropía "real"?
La entropía termodinámica (en equilibrio) es una función de las variables de estado de la descripción del modelo. Por tanto, es tan "real" como las demás variables de la descripción del modelo. Si las restricciones del modelo en la asignación de probabilidad son una "buena" descripción, que contiene toda la información necesaria para predecir resultados experimentales reproducibles, entonces eso incluye todos los resultados que uno podría predecir usando las fórmulas que involucran entropía de la termodinámica clásica. En esa medida, el MaxEnt S Th es tan "real" como la entropía en la termodinámica clásica.
Por supuesto, en realidad solo hay un estado real del sistema. La entropía no es una función directa de ese estado. Es una función del estado real sólo a través de la descripción del modelo macroscópico (elegido subjetivamente).
¿Es relevante la teoría ergódica?
El conjunto de Gibbs idealiza la noción de repetir un experimento una y otra vez en diferentes sistemas, no una y otra vez en el mismo sistema. Por lo tanto, los promedios de tiempo a largo plazo y la hipótesis ergódica , a pesar del intenso interés en ellos en la primera parte del siglo XX, estrictamente hablando, no son relevantes para la asignación de probabilidad para el estado en el que se podría encontrar el sistema.
Sin embargo, esto cambia si hay conocimiento adicional de que el sistema se está preparando de una manera particular algún tiempo antes de la medición. A continuación, se debe considerar si esto proporciona información adicional que aún sea relevante en el momento de la medición. La cuestión de cuán 'rápidamente se mezclan' las diferentes propiedades del sistema se vuelve entonces de gran interés. La información sobre algunos grados de libertad del sistema combinado puede volverse inutilizable muy rápidamente; la información sobre otras propiedades del sistema puede seguir siendo relevante durante un tiempo considerable.
Por lo menos, las propiedades de correlación de tiempo a medio y largo plazo del sistema son temas interesantes para la experimentación en sí mismos. El hecho de no predecirlos con precisión es un buen indicador de que puede faltar en el modelo la física relevante determinable macroscópicamente.
La segunda ley
Según el teorema de Liouville para la dinámica hamiltoniana , el hipervolumen de una nube de puntos en el espacio de fase permanece constante a medida que evoluciona el sistema. Por lo tanto, la entropía de la información también debe permanecer constante, si condicionamos la información original, y luego seguimos cada uno de esos microestados hacia adelante en el tiempo:
Sin embargo, a medida que pasa el tiempo, la información inicial que teníamos se vuelve menos accesible de forma directa. En lugar de ser fácilmente resumible en la descripción macroscópica del sistema, se relaciona cada vez más con correlaciones muy sutiles entre las posiciones y momentos de moléculas individuales. (Compare con el teorema H de Boltzmann .) De manera equivalente, significa que la distribución de probabilidad para todo el sistema, en un espacio de fase de dimensión 6N, se vuelve cada vez más irregular, extendiéndose en dedos largos y delgados en lugar del volumen inicial de posibilidades estrictamente definido.
La termodinámica clásica se basa en el supuesto de que la entropía es una función de estado de las variables macroscópicas , es decir, que nada de la historia del sistema importa, por lo que todo puede ser ignorado.
La distribución de probabilidad extendida, tenue y evolucionada, que todavía tiene la entropía de Shannon inicial S Th (1) , debería reproducir los valores esperados de las variables macroscópicas observadas en el tiempo t 2 . Sin embargo, ya no será necesariamente una distribución de entropía máxima para esa nueva descripción macroscópica. Por otra parte, el nuevo entropía termodinámica S Th (2) seguramente será medir la distribución de entropía máxima, por construcción. Por tanto, esperamos:
En un nivel abstracto, este resultado implica que parte de la información que teníamos originalmente sobre el sistema "ya no es útil" a nivel macroscópico. En el nivel de la distribución de probabilidad de 6 N- dimensiones, este resultado representa un granulado grueso , es decir, la pérdida de información al suavizar los detalles de escala muy fina.
Advertencias con el argumento
Se deben considerar algunas advertencias con lo anterior.
1. Como todos los resultados mecánicos estadísticos según la escuela MaxEnt, este aumento en la entropía termodinámica es solo una predicción . Asume en particular que la descripción macroscópica inicial contiene toda la información relevante para predecir el estado macroscópico posterior. Este puede no ser el caso, por ejemplo, si la descripción inicial no refleja algún aspecto de la preparación del sistema que luego se vuelve relevante. En ese caso, el "fallo" de una predicción de MaxEnt nos dice que hay algo más relevante que podemos haber pasado por alto en la física del sistema.
A veces también se sugiere que la medición cuántica , especialmente en la interpretación de la decoherencia , puede dar una reducción aparentemente inesperada en la entropía según este argumento, ya que parece implicar que se dispone de información macroscópica que antes era inaccesible. (Sin embargo, la contabilidad de la entropía de la medición cuántica es complicada, porque para obtener la decoherencia completa se puede asumir un entorno infinito, con una entropía infinita).
2. El argumento hasta ahora ha pasado por alto la cuestión de las fluctuaciones . También ha supuesto implícitamente que la incertidumbre predicha en el tiempo t 1 para las variables en el tiempo t 2 será mucho menor que el error de medición. Pero si las mediciones actualizan significativamente nuestro conocimiento del sistema, nuestra incertidumbre en cuanto a su estado se reduce, dando un nuevo S I (2) que es menor que S I (1) . (Tenga en cuenta que si nos permitimos las habilidades del demonio de Laplace , las consecuencias de esta nueva información también se pueden mapear hacia atrás, por lo que nuestra incertidumbre sobre el estado dinámico en el tiempo t 1 ahora también se reduce de S I (1) a S I ( 2) ).
Sabemos que S Th (2) > S I (2) ; pero ahora ya no podemos estar seguros de que sea mayor que S Th (1) = S I (1) . Esto deja abierta la posibilidad de fluctuaciones en S Th . La entropía termodinámica puede ir tanto hacia abajo como hacia arriba. Un análisis más sofisticado viene dado por el teorema de fluctuación de la entropía , que puede establecerse como consecuencia de la imagen MaxEnt dependiente del tiempo.
3. Como se acaba de indicar, la inferencia de MaxEnt funciona igualmente bien a la inversa. Entonces, dado un estado final particular, podemos preguntarnos, ¿qué podemos "modificar" para mejorar nuestro conocimiento sobre los estados anteriores? Sin embargo, el argumento de la Segunda Ley anterior también funciona a la inversa: dada la información macroscópica en el tiempo t 2 , deberíamos esperar que también sea menos útil. Los dos procedimientos son simétricos en el tiempo. Pero ahora la información será cada vez menos útil en épocas cada vez más tempranas. (Compare con la paradoja de Loschmidt .) La inferencia MaxEnt predeciría que el origen más probable de un estado de baja entropía actual sería como una fluctuación espontánea de un estado anterior de alta entropía. Pero esto entra en conflicto con lo que sabemos que sucedió, es decir, que la entropía ha aumentado constantemente, incluso en el pasado.
La respuesta de los proponentes de MaxEnt a esto sería que tal falla sistemática en la predicción de una inferencia de MaxEnt es algo "bueno". [11] Significa que, por tanto, existe una clara evidencia de que se ha omitido alguna información física importante en la especificación del problema. Si es correcto que las dinámicas "son" simétricas en el tiempo , parece que necesitamos introducir a mano una probabilidad previa de que las configuraciones iniciales con una entropía termodinámica baja sean más probables que las configuraciones iniciales con una entropía termodinámica alta. Esto no se puede explicar por la dinámica inmediata. Muy posiblemente, surge como un reflejo de la evidente evolución asimétrica en el tiempo del universo en una escala cosmológica (ver flecha del tiempo ).
Criticas
La termodinámica de máxima entropía tiene una oposición importante, en parte debido a la relativa escasez de resultados publicados de la escuela MaxEnt, especialmente con respecto a nuevas predicciones comprobables lejos del equilibrio. [12]
La teoría también ha sido criticada por motivos de coherencia interna. Por ejemplo, Radu Balescu ofrece una fuerte crítica a la Escuela MaxEnt y al trabajo de Jaynes. Balescu afirma que la teoría de Jaynes y colaboradores se basa en una ley de evolución no transitiva que produce resultados ambiguos. Aunque algunas dificultades de la teoría pueden subsanarse, la teoría "carece de una base sólida" y "no ha conducido a ningún resultado concreto nuevo". [13]
Aunque el enfoque de máxima entropía se basa directamente en la entropía informativa, es aplicable a la física solo cuando existe una definición física clara de entropía. No existe una definición física general única clara de entropía para los sistemas que no están en equilibrio, que son sistemas físicos generales considerados durante un proceso en lugar de sistemas termodinámicos en sus propios estados internos de equilibrio termodinámico. [14] De ello se deduce que el enfoque de máxima entropía no será aplicable a sistemas que no estén en equilibrio hasta que no se encuentre una definición física clara de entropía. Este problema está relacionado con el hecho de que el calor puede transferirse de un sistema físico más caliente a uno más frío incluso cuando el equilibrio termodinámico local no se mantiene, de modo que ninguno de los sistemas tiene una temperatura bien definida. La entropía clásica se define para un sistema en su propio estado interno de equilibrio termodinámico, que se define por variables de estado, sin flujos distintos de cero, de modo que las variables de flujo no aparecen como variables de estado. Pero para un sistema fuertemente fuera de equilibrio, durante un proceso, las variables de estado deben incluir variables de flujo distintas de cero. Las definiciones físicas clásicas de entropía no cubren este caso, especialmente cuando los flujos son lo suficientemente grandes como para destruir el equilibrio termodinámico local. En otras palabras, para la entropía de los sistemas que no están en equilibrio en general, la definición deberá incluir al menos la especificación del proceso, incluidos los flujos distintos de cero, más allá de las variables de estado termodinámicas estáticas clásicas. La "entropía" que se maximiza debe definirse adecuadamente para el problema en cuestión. Si se maximiza una 'entropía' inapropiada, es probable que se obtenga un resultado incorrecto. En principio, la termodinámica de máxima entropía no se refiere estrictamente y solo a la entropía termodinámica clásica. Se trata de la entropía informativa aplicada a la física, dependiendo explícitamente de los datos utilizados para formular el problema en cuestión. Según Attard, para los problemas físicos analizados por termodinámica fuertemente no equilibrada, es necesario considerar varios tipos de entropía físicamente distintos, incluida lo que él llama segunda entropía. Attard escribe: "Maximizar la segunda entropía sobre los microestados en el macroestado inicial dado da el macroestado objetivo más probable". [15] La segunda entropía definida físicamente también se puede considerar desde un punto de vista informativo.
Ver también
- Edwin Thompson Jaynes
- Primera ley de la termodinámica
- Segunda ley de la termodinámica
- Principio de máxima entropía
- Principio de información mínima sobre discriminación
- Divergencia de Kullback-Leibler
- Entropía relativa cuántica
- Teoría de la información y teoría de la medida
- Desigualdad de poder de entropía
Referencias
- ^ Jaynes, ET (1957). "Teoría de la información y mecánica estadística" (PDF) . Revisión física . 106 (4): 620–630. Código Bibliográfico : 1957PhRv..106..620J . doi : 10.1103 / PhysRev.106.620 .
- ^ - (1957). "Teoría de la información y mecánica estadística II" (PDF) . Revisión física . 108 (2): 171-190. Código bibliográfico : 1957PhRv..108..171J . doi : 10.1103 / PhysRev.108.171 .
- ^ Jaynes, ET (1968), p. 229.
- ^ Jaynes, ET (1979), págs.30, 31, 40.
- ^ Jaynes, ET (1985).
- ^ Jaynes, ET (2003).
- ^ Jaynes, ET (1979), p. 28.
- ^ Jaynes, ET (1968), p. 228.
- ^ Guttmann, YM (1999), págs. 28, 36, 38, 57, 61.
- ^ Guttmann, YM (1999), p. 29.
- ^ Jaynes, ET (1979).
- ^ Kleidon, A., Lorenz, RD (2005).
- ^ Balescu, R. (1997).
- ^ Lieb, EH, Yngvason, J. (2003). La entropía de la termodinámica clásica, Capítulo 8 de Greven, A., Keller, G., Warnecke (editores) (2003). Entropía , Princeton University Press, Princeton NJ, ISBN 0-691-11338-6 , página 190.
- ^ Attard, P. (2012). Termodinámica sin equilibrio y mecánica estadística: fundamentos y aplicaciones , Oxford University Press, Oxford Reino Unido, ISBN 978-0-19-966276-0 , pág. 161.
Bibliografía de referencias citadas
- Balescu, Radu (1997). Dinámica estadística: Materia fuera de equilibrio . Londres: Imperial College Press.
- Jaynes, ET (septiembre de 1968). "Probabilidades previas" (PDF) . Transacciones IEEE sobre ciencia de sistemas y cibernética . SSC – 4 (3): 227–241. doi : 10.1109 / TSSC.1968.300117 .
- Guttmann, YM (1999). El concepto de probabilidad en física estadística , Cambridge University Press, Cambridge Reino Unido, ISBN 978-0-521-62128-1 .
- Jaynes, ET (1979). "¿Dónde nos encontramos con la máxima entropía?" (PDF) . En Levine, R .; Tribus M. (eds.). El formalismo de máxima entropía . MIT Press. ISBN 978-0-262-12080-7.CS1 maint: ref duplica el valor predeterminado ( enlace )
- Jaynes, ET (1985). "Algunas observaciones aleatorias". Síntesis . 63 : 115-138. doi : 10.1007 / BF00485957 . S2CID 46975520 .
- Jaynes, ET (2003). Bretthorst, GL (ed.). Teoría de la probabilidad: la lógica de la ciencia . Cambridge: Cambridge University Press. ISBN 978-0-521-59271-0.
- Kleidon, Axel; Lorenz, Ralph D. (2005). Termodinámica del desequilibrio y producción de entropía: vida, tierra y más allá . Saltador. págs. 42–. ISBN 978-3-540-22495-2.
Otras lecturas
- Bajkova, AT (1992). "La generalización del método de máxima entropía para la reconstrucción de funciones complejas". Transacciones astronómicas y astrofísicas . 1 (4): 313–320. Bibcode : 1992A y AT .... 1..313B . doi : 10.1080 / 10556799208230532 .
- Caticha, Ariel (2012). Inferencia entrópica y los fundamentos de la física (PDF) .
- Dewar, RC (2003). "Explicación de la teoría de la información del teorema de la fluctuación, máxima producción de entropía y criticidad autoorganizada en estados estacionarios de no equilibrio". J. Phys. A: Matemáticas. Gen . 36 (3): 631–41. arXiv : cond-mat / 0005382 . Código Bibliográfico : 2003JPhA ... 36..631D . doi : 10.1088 / 0305-4470 / 36/3/303 . S2CID 44217479 .
- - (2005). "Producción máxima de entropía y teorema de fluctuación". J. Phys. A: Matemáticas. Gen . 38 (21): L371–81. Código bibliográfico : 2005JPhA ... 38L.371D . doi : 10.1088 / 0305-4470 / 38/21 / L01 .
- Grinstein, G .; Linsker, R. (2007). "Comentarios sobre una derivación y aplicación del principio de 'máxima producción de entropía'" . J. Phys. A: Matemáticas. Theor . 40 (31): 9717-20. Código Bibliográfico : 2007JPhA ... 40.9717G . doi : 10.1088 / 1751-8113 / 40/31 / N01 . Muestra la invalidez de las derivaciones de Dewar (a) de máxima producción de entropía (MaxEP) a partir del teorema de fluctuación para sistemas lejos del equilibrio, y (b) de un vínculo pretendido entre MaxEP y criticidad autoorganizada.
- Grandy, WT, 1987. Fundamentos de la mecánica estadística. Vol. 1: Teoría del equilibrio; Vol. 2: Fenómenos de desequilibrio . Dordrecht: D. Reidel. Vol. 1 : ISBN 90-277-2489-X . Vol. 2 : ISBN 90-277-2649-3 .
- - (2004). "Tres trabajos en mecánica estadística de desequilibrio" . Encontró. Phys . 34 (1): 21–57. arXiv : cond-mat / 0303291 . Código Bibliográfico : 2004FoPh ... 34 ... 21G . doi : 10.1023 / B: FOOP.0000012008.36856.c1 . S2CID 18573684 .
- Gaviota, SF (1991). "Algunos conceptos erróneos sobre la entropía" . En Buck, B .; Macaulay, VA (eds.). Máxima entropía en acción . Prensa de la Universidad de Oxford. ISBN 978-0-19-853963-6.
- Jaynes 1979
- Amplio archivo de otros artículos de ET Jaynes sobre probabilidad y física. Muchos se recogen en Rosenkrantz, RD, ed. (1983). ET Jaynes: artículos sobre probabilidad, estadística y física estadística . Dordrecht, Países Bajos: D. Reidel. ISBN 978-90-277-1448-0.
- Lorenz, R. (2003). "A todo vapor, probablemente" (PDF) . Ciencia . 299 (5608): 837–8. doi : 10.1126 / science.1081280 . PMID 12574610 . S2CID 118583810 .
- Rau, Jochen (1998). "Mecánica estadística en pocas palabras". arXiv : física / 9805024 .