En teoría de la información , la desigualdad de Fano (también conocida como el inverso de Fano y el lema de Fano ) relaciona la información promedio perdida en un canal ruidoso con la probabilidad del error de categorización. Fue derivado por Robert Fano a principios de la década de 1950 mientras enseñaba un doctorado. seminario en teoría de la información en el MIT , y más tarde registrado en su libro de texto de 1961.
Se utiliza para encontrar un límite inferior en la probabilidad de error de cualquier decodificador, así como los límites inferiores para los riesgos minimax en la estimación de densidad .
Deje que las variables aleatorias y representar mensajes de entrada y salida con una probabilidad conjunta . Dejarrepresentan una ocurrencia de error; es decir, que, con siendo una versión aproximada de . La desigualdad de Fano es
dónde denota el apoyo de ,
es la entropía condicional ,
es la probabilidad del error de comunicación, y
es la entropía binaria correspondiente .
Formulación alternativa
Dejar ser una variable aleatoria con densidad igual a uno de posibles densidades . Además, la divergencia de Kullback-Leibler entre cualquier par de densidades no puede ser demasiado grande,
- para todos
Dejar ser una estimación del índice. Luego
dónde es la probabilidad inducida por
Generalización
La siguiente generalización se debe a Ibragimov y Khasminskii (1979), Assouad y Birge (1983).
Sea F una clase de densidades con una subclase de r + 1 densidades ƒ θ tal que para cualquier θ ≠ θ ′
Entonces, en el peor de los casos, el valor esperado del error de estimación se limita desde abajo,
donde ƒ n es cualquier estimador de densidad basado en una muestra de tamaño n .
Referencias
- P. Assouad, "Deux remarques sur l'estimation", Comptes Rendus de l'Académie des Sciences de Paris , vol. 296, págs. 1021-1024, 1983.
- L. Birge, "Estimación de una densidad bajo restricciones de orden: riesgo minimax no asintótico", Informe técnico, UER de Sciences Économiques, Universite Paris X, Nanterre, Francia, 1983.
- T. Cover, J. Thomas (1991). Elementos de la teoría de la información . págs. 38–42 . ISBN 978-0-471-06259-2.
- L. Devroye, Un curso de estimación de densidad . Progreso en probabilidad y estadística, Vol 14. Boston, Birkhauser, 1987. ISBN 0-8176-3365-0 , ISBN 3-7643-3365-0 .
- Fano, Robert (1968). Transmisión de información: una teoría estadística de las comunicaciones . Cambridge, Mass: MIT Press. ISBN 978-0-262-56169-3. OCLC 804123877 .
- también: Cambridge, Massachusetts, MIT Press, 1961. ISBN 0-262-06001-9
- R. Fano, Fano Desigualdad Scholarpedia , 2008.
- IA Ibragimov, RZ Has′minskii, Estimación estadística, teoría asintótica . Aplicaciones de las matemáticas, vol. 16, Springer-Verlag, Nueva York, 1981. ISBN 0-387-90523-5