En la teoría de la probabilidad , el teorema de Glivenko-Cantelli , que lleva el nombre de Valery Ivanovich Glivenko y Francesco Paolo Cantelli , determina el comportamiento asintótico de la función de distribución empírica a medida que aumenta el número de observaciones independientes e idénticamente distribuidas . [1]
Declaración
La convergencia uniforme de medidas empíricas más generales se convierte en una propiedad importante de las clases de funciones o conjuntos de Glivenko-Cantelli . [2] Las clases de Glivenko-Cantelli surgen en la teoría de Vapnik-Chervonenkis , con aplicaciones al aprendizaje automático . Las solicitudes se pueden encontrar en la econometría que hacen uso de los M-estimadores .
Asumir que son variables aleatorias independientes e idénticamente distribuidas encon función de distribución acumulativa común . La función de distribución empírica para es definido por
dónde es la función indicadora del conjunto. Por cada (fijo), es una secuencia de variables aleatorias que convergen para casi con seguridad por la fuerte ley de los grandes números , es decir, converge a puntual . Glivenko y Cantelli reforzaron este resultado demostrando una convergencia uniforme de a .
Teorema
- casi seguro. [3]
Este teorema se origina con Valery Glivenko , [4] y Francesco Cantelli , [5] en 1933.
Observaciones
- Si es un proceso ergódico estacionario , entonces converge casi con seguridad a . El teorema de Glivenko-Cantelli da un modo de convergencia más fuerte que este en el caso iid .
- Un resultado de convergencia uniforme aún más fuerte para la función de distribución empírica está disponible en la forma de un tipo extendido de ley del logaritmo iterado . [6] Consulte las propiedades asintóticas de la función de distribución empírica para este y los resultados relacionados.
Prueba
Para simplificar, considere un caso de variable aleatoria continua . Reparar tal que por . Ahora para todos existe tal que . Tenga en cuenta que
Por lo tanto,
Desde por la ley fuerte de los grandes números, podemos garantizar que para cualquier positivo y cualquier entero tal que , podemos encontrar tal que para todos , tenemos . Combinado con el resultado anterior, esto implica además que, que es la definición de convergencia casi segura.
Medidas empíricas
Se puede generalizar la función de distribución empírica reemplazando el conjuntopor un conjunto arbitrario C de una clase de conjuntospara obtener una medida empírica indexada por conjuntos
Dónde es la función indicadora de cada conjunto.
Una mayor generalización es el mapa inducido por en funciones medibles de valor real f , que viene dada por
Entonces se convierte en una propiedad importante de estas clases que la ley fuerte de los grandes números se mantiene uniformemente en o .
Clase Glivenko-Cantelli
Considere un conjunto con un álgebra sigma de Borel subconjuntos A y una medida de probabilidad P . Para una clase de subconjuntos,
y una clase de funciones
definir variables aleatorias
dónde es la medida empírica, es el mapa correspondiente, y
- , asumiendo que existe.
Definiciones
- Una clase se denomina clase Glivenko-Cantelli (o clase GC ) con respecto a una medida de probabilidad P si alguna de las siguientes afirmaciones equivalentes es verdadera.
- 1. casi seguramente como .
- 2. en probabilidad como .
- 3. , como (convergencia en la media).
- Las clases de funciones Glivenko-Cantelli se definen de manera similar.
- Una clase se denomina clase universal Glivenko-Cantelli si es una clase GC con respecto a cualquier medida de probabilidad P en ( S , A ).
- Una clase se llama uniformemente Glivenko-Cantelli si la convergencia ocurre uniformemente en todas las medidas de probabilidad P en ( S , A ):
Teorema ( Vapnik y Chervonenkis , 1968) [7]
- Una clase de conjuntos es uniformemente GC si y solo si es una clase Vapnik – Chervonenkis .
Ejemplos de
- Dejar y . El teorema clásico de Glivenko-Cantelli implica que esta clase es una clase GC universal. Además, según el teorema de Kolmogorov ,
- , es decir es uniformemente clase Glivenko-Cantelli.
- Sea P una medida de probabilidad no atómica en S yser una clase de todos los subconjuntos finitos en S . Porque, , , tenemos eso y entonces es no una clase de GC con respecto a P .
Ver también
- Teorema de Donsker
- La desigualdad de Dvoretzky-Kiefer-Wolfowitz - refuerza el teorema de Glivenko-Cantelli al cuantificar la tasa de convergencia.
Referencias
- ^ Howard G. Tucker (1959). "Una generalización del teorema de Glivenko-Cantelli" . Los Anales de Estadística Matemática . 30 (3): 828–830. doi : 10.1214 / aoms / 1177706212 . JSTOR 2237422 .
- ^ van der Vaart, AW (1998). Estadística asintótica . Prensa de la Universidad de Cambridge. pag. 279 . ISBN 978-0-521-78450-4.
- ^ van der Vaart, AW (1998). Estadística asintótica . Prensa de la Universidad de Cambridge. pag. 265 . ISBN 978-0-521-78450-4.
- ↑ Glivenko, V. (1933). Sulla determinazione empirica delle leggi di probabilità. Giorn. Ist. Ital. Attuari 4, 92-99.
- ↑ Cantelli, FP (1933). Sulla determinazione empirica delle leggi di probabilità. Giorn. Ist. Ital. Attuari 4, 421-424.
- ^ van der Vaart, AW (1998). Estadística asintótica . Prensa de la Universidad de Cambridge. pag. 268 . ISBN 978-0-521-78450-4.
- ^ Vapnik, VN; Chervonenkis, A. Ya (1971). "Sobre la convergencia uniforme de frecuencias relativas de eventos a sus probabilidades". Teoría de la probabilidad y sus aplicaciones . 16 (2): 264–280. doi : 10.1137 / 1116025 .
Otras lecturas
- Dudley, RM (1999). Teoremas uniformes del límite central . Prensa de la Universidad de Cambridge. ISBN 0-521-46102-2.
- Pitman, EJG (1979). "La función de distribución de la muestra". Alguna teoría básica para la inferencia estadística . Londres: Chapman y Hall. pag. 79–97. ISBN 0-470-26554-X.
- Shorack, GR; Wellner, JA (1986). Procesos empíricos con aplicaciones a la estadística . Wiley. ISBN 0-471-86725-X.
- van der Vaart, AW ; Wellner, JA (1996). Convergencia débil y procesos empíricos . Saltador. ISBN 0-387-94640-3.
- van der Vaart, Aad W .; Wellner, Jon A. (1996). Teoremas de Glivenko-Cantelli . Saltador.
- van der Vaart, Aad W .; Wellner, Jon A. (2000). Teoremas de preservación para clases Glivenko-Cantelli y uniformes Glivenko-Cantelli . Saltador.