En estadística , la estimación de espaciado máximo ( MSE o MSP ), o el producto máximo de estimación de espaciado (MPS) , es un método para estimar los parámetros de un modelo estadístico univariado . [1] El método requiere la maximización de la media geométrica de los espacios en los datos, que son las diferencias entre los valores de la función de distribución acumulativa en los puntos de datos vecinos.
El concepto subyacente al método se basa en la transformación integral de probabilidad , en el sentido de que un conjunto de muestras aleatorias independientes derivadas de cualquier variable aleatoria debe distribuirse uniformemente en promedio con respecto a la función de distribución acumulada de la variable aleatoria. El método MPS elige los valores de los parámetros que hacen que los datos observados sean lo más uniformes posible, de acuerdo con una medida cuantitativa específica de uniformidad.
Uno de los métodos más comunes para estimar los parámetros de una distribución a partir de datos, el método de máxima verosimilitud (MLE), puede fallar en varios casos, como cuando se involucran ciertas mezclas de distribuciones continuas. [2] En estos casos, el método de estimación de espaciamiento máximo puede tener éxito.
Además de su uso en matemáticas puras y estadística, las aplicaciones de prueba del método se han informado utilizando datos de campos como hidrología , [3] econometría , [4] imágenes por resonancia magnética , [5] y otros. [6]
Historia y uso
El método MSE fue derivado de forma independiente por Russel Cheng y Nik Amin en el Instituto de Ciencia y Tecnología de la Universidad de Gales , y Bo Ranneby en la Universidad Sueca de Ciencias Agrícolas . [2] Los autores explicaron que debido a la transformación integral de probabilidad en el parámetro verdadero, el "espaciamiento" entre cada observación debe distribuirse uniformemente. Esto implicaría que la diferencia entre los valores de la función de distribución acumulativa en observaciones consecutivas debería ser igual. Este es el caso que maximiza la media geométrica de dichos espaciamientos, por lo que resolviendo los parámetros que maximizan la media geométrica se lograría el "mejor" ajuste tal como se define de esta manera. Ranneby (1984) justificó el método demostrando que es un estimador de la divergencia Kullback-Leibler , similar a la estimación de máxima verosimilitud , pero con propiedades más robustas para algunas clases de problemas.
Hay ciertas distribuciones, especialmente aquellas con tres o más parámetros, cuyas probabilidades pueden volverse infinitas a lo largo de ciertos caminos en el espacio de parámetros . El uso de la probabilidad máxima para estimar estos parámetros a menudo se rompe, con un parámetro que tiende al valor específico que hace que la probabilidad sea infinita, lo que hace que los otros parámetros sean inconsistentes. Sin embargo, el método de espaciamientos máximos, que depende de la diferencia entre los puntos de la función de distribución acumulativa y no los puntos de probabilidad individuales, no tiene este problema y devolverá resultados válidos en una gama de distribuciones mucho más amplia. [1]
Las distribuciones que tienden a tener problemas de probabilidad son a menudo las que se utilizan para modelar fenómenos físicos. Hall & al. (2004) buscan analizar los métodos de alivio de inundaciones, lo que requiere modelos precisos de los efectos de las inundaciones de los ríos. Las distribuciones que mejor modelan estos efectos son todos los modelos de tres parámetros, que adolecen del problema de probabilidad infinita descrito anteriormente, lo que lleva a la investigación de Hall del procedimiento de espaciado máximo. Wong y Li (2006) , al comparar el método con la máxima verosimilitud, utilizan varios conjuntos de datos que van desde un conjunto sobre las edades más antiguas al morir en Suecia entre 1905 y 1958 hasta un conjunto que contiene velocidades máximas anuales del viento.
Definición
Dada una muestra aleatoria iid { x 1 , ..., x n } de tamaño n de una distribución univariante con función de distribución acumulativa continua F ( x ; θ 0 ), donde θ 0 ∈ Θ es un parámetro desconocido para estimar , sea { x (1) , ..., x ( n ) } sea la muestra ordenada correspondiente , que es el resultado de ordenar todas las observaciones de menor a mayor. Por conveniencia, también denote x (0) = −∞ y x ( n +1) = + ∞.
Definir las separaciones como los “huecos” entre los valores de la función de distribución en los puntos ordenados adyacentes: [7]
Entonces, el estimador de espaciado máximo de θ 0 se define como un valor que maximiza el logaritmo de la media geométrica de los espaciamientos muestrales:
Por la desigualdad de las medias geométricas y aritméticas , la función S n ( θ ) está acotada desde arriba por −ln ( n +1), y por lo tanto el máximo tiene que existir al menos en el sentido superior .
Tenga en cuenta que algunos autores definen la función S n ( θ ) de forma algo diferente. En particular, Ranneby (1984) multiplica cada D i por un factor de ( n +1), mientras que Cheng y Stephens (1989) omiten el factor 1 ⁄ n +1 delante de la suma y agregan el signo "-" en orden para convertir la maximización en minimización. Como se trata de constantes con respecto a θ , las modificaciones no alteran la ubicación del máximo de la función S n .
Ejemplos de
Esta sección presenta dos ejemplos de cálculo del estimador de espaciado máximo.
Ejemplo 1
Suponga que se muestrearon dos valores x (1) = 2, x (2) = 4 de la distribución exponencial F ( x ; λ ) = 1 - e - xλ , x ≥ 0 con parámetro desconocido λ > 0. Para construir el MSE primero tenemos que encontrar los espacios:
I | F ( x ( i ) ) | F ( x ( i −1) ) | D yo = F ( x ( i ) ) - F ( x ( i −1) ) |
---|---|---|---|
1 | 1 - e −2 λ | 0 | 1 - e −2 λ |
2 | 1 - e −4 λ | 1 - e −2 λ | e −2 λ - e −4 λ |
3 | 1 | 1 - e −4 λ | e −4 λ |
El proceso continúa encontrando el λ que maximiza la media geométrica de la columna de "diferencia". Usando la convención que ignora tomar la raíz ( n +1) st, esto se convierte en la maximización del siguiente producto: (1 - e −2 λ ) · (e −2 λ - e −4 λ ) · (e −4 λ ). Dejando μ = e −2 λ , el problema se convierte en encontrar el máximo de μ 5 −2 μ 4 + μ 3 . Para diferenciar, μ debe satisfacer 5 μ 4 −8 μ 3 +3 μ 2 = 0. Esta ecuación tiene raíces 0, 0.6 y 1. Como μ es en realidad e −2 λ , tiene que ser mayor que cero pero menor de una. Por tanto, la única solución aceptable es
que corresponde a una distribución exponencial con una media de 1 ⁄ λ ≈ 3.915. A modo de comparación, la estimación de máxima verosimilitud de λ es la inversa de la media muestral, 3, por lo que λ MLE = ⅓ ≈ 0.333.
Ejemplo 2
Supongamos { x (1) , ..., x ( n ) } es la muestra ordenado de una distribución uniforme U ( un , b ) con los puntos finales desconocidos una y b . La función de distribución acumulativa es F ( x ; a , b ) = ( x - a ) / ( b - a ) cuando x ∈ [ a , b ]. Por lo tanto, los espacios individuales vienen dados por
Calculando la media geométrica y luego tomando el logaritmo, el estadístico S n será igual a
Aquí sólo tres términos dependen de los parámetros de una y b . Diferenciando con respecto a esos parámetros y resolviendo el sistema lineal resultante, las estimaciones de espaciamiento máximo serán
Se sabe que estos son los estimadores insesgados de varianza mínima uniforme (UMVU) para la distribución uniforme continua. [1] En comparación, las estimaciones de máxima verosimilitud para este problema y están sesgados y tienen un error cuadrático medio más alto .
Propiedades
Consistencia y eficiencia
El estimador de espaciado máximo es un estimador consistente en el sentido de que converge en probabilidad al valor verdadero del parámetro, θ 0 , a medida que el tamaño de la muestra aumenta hasta el infinito. [2] La consistencia de la estimación de espaciamiento máximo se mantiene en condiciones mucho más generales que para los estimadores de máxima verosimilitud . En particular, en los casos en que la distribución subyacente tiene forma de J, la probabilidad máxima fallará cuando el MSE tenga éxito. [1] Un ejemplo de densidad en forma de J es la distribución de Weibull , específicamente un Weibull desplazado , con un parámetro de forma menor que 1. La densidad tenderá al infinito cuando x se aproxime al parámetro de ubicación, lo que hace que las estimaciones de los otros parámetros sean inconsistentes.
Los estimadores de espaciamiento máximo también son al menos tan asintóticamente eficientes como los estimadores de máxima verosimilitud, cuando estos últimos existen. Sin embargo, pueden existir MPE en los casos en que no existan MLE. [1]
Sensibilidad
Los estimadores de espaciamiento máximo son sensibles a observaciones poco espaciadas, y especialmente a los lazos. [8] Dado
obtenemos
Cuando los empates se deben a múltiples observaciones, los espaciamientos repetidos (aquellos que de otra manera serían cero) deben ser reemplazados por la probabilidad correspondiente. [1] Es decir, se debe sustituir por , como
desde .
Cuando los empates se deben a un error de redondeo, Cheng y Stephens (1989) sugieren otro método para eliminar los efectos. [nota 1] Dadas r observaciones vinculadas desde x i hasta x i + r −1 , sea δ el error de redondeo . Todos los valores verdaderos deberían caer en el rango. Los puntos correspondientes de la distribución ahora deberían estar entre y . Cheng y Stephens sugieren asumir que los valores redondeados están espaciados uniformemente en este intervalo, definiendo
El método MSE también es sensible a la agrupación secundaria. [8] Un ejemplo de este fenómeno es cuando se piensa que un conjunto de observaciones proviene de una única distribución normal , pero de hecho proviene de una mezcla de normales con diferentes medios. Un segundo ejemplo es cuando se cree que los datos provienen de una distribución exponencial , pero en realidad provienen de una distribución gamma . En el último caso, pueden ocurrir espaciamientos más pequeños en la cola inferior. Un valor alto de M ( θ ) indicaría este efecto de agrupamiento secundario, y sugiere que se requiere una mirada más cercana a los datos. [8]
Prueba de Moran
El estadístico S n ( θ ) también es una forma del estadístico de Moran o Moran-Darling, M ( θ ), que se puede utilizar para probar la bondad del ajuste . [nota 2] Se ha demostrado que la estadística, cuando se define como
es asintóticamente normal y que existe una aproximación chi-cuadrado para muestras pequeñas. [8] En el caso de que conozcamos el verdadero parámetro, Cheng y Stephens (1989) muestran que la estadísticatiene una distribución normal con
donde γ es la constante de Euler-Mascheroni que es aproximadamente 0.57722. [nota 3]
La distribución también se puede aproximar a la de , dónde
- ,
en el cual
y donde sigue una distribución chi-cuadrado con grados de libertad . Por lo tanto, para probar la hipótesis que una muestra aleatoria de los valores provienen de la distribución , la estadística se puede calcular. Luegodebe ser rechazado con significado si el valor es mayor que el valor crítico de la distribución chi-cuadrado apropiada. [8]
Donde θ 0 está siendo estimado por, Cheng y Stephens (1989) demostraron quetiene la misma media asintótica y varianza que en el caso conocido. Sin embargo, la estadística de prueba que se utilizará requiere la adición de un término de corrección de sesgo y es:
dónde es el número de parámetros en la estimación.
Espaciado máximo generalizado
Medidas y espaciamientos alternativos
Ranneby y Ekström (1997) generalizaron el método MSE para aproximar otras medidas además de la medida de Kullback-Leibler. Ekström (1997) amplió aún más el método para investigar las propiedades de los estimadores utilizando espaciamientos de orden superior, donde un espaciado de orden m se definiría como.
Distribuciones multivariadas
Ranneby y col. (2005) discuten los métodos de espaciado máximo extendido al caso multivariado . Como no existe un orden natural para, discuten dos enfoques alternativos: un enfoque geométrico basado en celdas de Dirichlet y un enfoque probabilístico basado en una métrica de "bola vecina más cercana".
Ver también
- Divergencia de Kullback-Leibler
- Máxima verosimilitud
- Distribución de probabilidad
Notas
- ^ Parece haber algunos errores tipográficos menores en el artículo. Por ejemplo, en la sección 4.2, ecuación (4.1), el reemplazo de redondeo para, no debería tener el término logarítmico. En la sección 1, ecuación (1.2), se define como el espaciado en sí mismo, y es la suma negativa de los registros de . Sise registra en este paso, el resultado es siempre ≤ 0, ya que la diferencia entre dos puntos adyacentes en una distribución acumulativa es siempre ≤ 1, y estrictamente <1 a menos que solo haya dos puntos en los sujetalibros. Además, en la sección 4.3, en la página 392, el cálculo muestra que es la varianza que tiene una estimación de MPS de 6,87, no la desviación estándar . - editor
- ↑ La literatura se refiere a estadísticas relacionadas como estadísticas de Moran o Moran-Darling. Por ejemplo, Cheng y Stephens (1989) analizan la forma dónde se define como arriba. Wong y Li (2006) también utilizan la misma forma. Sin embargo, Beirlant & al. (2001) usa la forma, con el factor adicional de dentro de la suma registrada. Los factores adicionales marcarán la diferencia en términos de la media esperada y la varianza de la estadística. Para mantener la coherencia, este artículo seguirá utilizando el formulario Cheng & Amin / Wong & Li. - editor
- ^ Wong y Li (2006) dejan de lado la constante de Euler-Mascheroni desde su descripción. - editor
Referencias
Citas
- ↑ a b c d e f Cheng y Amin (1983)
- ↑ a b c Ranneby (1984)
- ^ Hall y col. (2004)
- ^ Anatolyev y Kosenok (2004)
- ↑ Pieciak (2014)
- ^ Wong y Li (2006)
- ↑ Pyke (1965)
- ↑ a b c d e Cheng y Stephens (1989)
Trabajos citados
- Anatolyev, Stanislav; Kosenok, Grigory (2005). "Una alternativa a la máxima verosimilitud basada en espaciados" (PDF) . Teoría econométrica . 21 (2): 472–476. CiteSeerX 10.1.1.494.7340 . doi : 10.1017 / S0266466605050255 . S2CID 123004317 . Consultado el 21 de enero de 2009 .
- Beirlant, J .; Dudewicz, EJ; Györfi, L .; van der Meulen, CE (1997). "Estimación de la entropía no paramétrica: una descripción general" (PDF) . Revista Internacional de Ciencias Matemáticas y Estadísticas . 6 (1): 17–40. ISSN 1055-7490 . Archivado desde el original (PDF) el 5 de mayo de 2005 . Consultado el 31 de diciembre de 2008 . Nota: el documento vinculado es una versión actualizada de 2001.
- Cheng, RCH; Amin, NAK (1983). "Estimación de parámetros en distribuciones univariadas continuas con origen desplazado". Revista de la Sociedad Real de Estadística, Serie B . 45 (3): 394–403. doi : 10.1111 / j.2517-6161.1983.tb01268.x . ISSN 0035-9246 . JSTOR 2345411 .
- Cheng, RCH; Stephens, MA (1989). "Una prueba de bondad de ajuste utilizando la estadística de Moran con parámetros estimados". Biometrika . 76 (2): 386–392. doi : 10.1093 / biomet / 76.2.385 .
- Ekström, Magnus (1997). "Estimaciones de espaciamiento máximo generalizado" . Universidad de Umeå, Departamento de Matemáticas . 6 . ISSN 0345-3928 . Archivado desde el original el 14 de febrero de 2007 . Consultado el 30 de diciembre de 2008 .
- Hall, MJ; van den Boogaard, HFP; Fernando, RC; Mynett, AE (2004). "La construcción de intervalos de confianza para análisis de frecuencia mediante técnicas de remuestreo" . Hidrología y Ciencias del Sistema Terrestre . 8 (2): 235–246. doi : 10.5194 / hess-8-235-2004 . ISSN 1027-5606 .
- Pieciak, Tomasz (2014). La estimación de ruido de espaciado máximo en datos de resonancia magnética de fondo de una sola bobina (PDF) . Conferencia internacional IEEE sobre procesamiento de imágenes. París. págs. 1743-1747 . Consultado el 7 de julio de 2015 .CS1 maint: ref duplica el valor predeterminado ( enlace )
- Pyke, Ronald (1965). "Espaciados". Revista de la Sociedad Real de Estadística, Serie B . 27 (3): 395–449. doi : 10.1111 / j.2517-6161.1965.tb00602.x . ISSN 0035-9246 . JSTOR 2345793 .
- Ranneby, Bo (1984). "El método de espaciamiento máximo. Un método de estimación relacionado con el método de máxima verosimilitud". Revista Escandinava de Estadística . 11 (2): 93-112. ISSN 0303-6898 . JSTOR 4615946 .
- Ranneby, Bo; Ekström, Magnus (1997). "Estimaciones de espaciamiento máximo basadas en diferentes métricas" . Universidad de Umeå, Departamento de Matemáticas . 5 . ISSN 0345-3928 . Archivado desde el original el 14 de febrero de 2007 . Consultado el 30 de diciembre de 2008 .
- Ranneby, Bo; Jammalamadakab, S. Rao; Teterukovskiy, Alex (2005). "La estimación de espaciado máximo para observaciones multivariadas" (PDF) . Revista de Planificación e Inferencia Estadística . 129 (1–2): 427–446. doi : 10.1016 / j.jspi.2004.06.059 . Consultado el 31 de diciembre de 2008 .
- Wong, TST; Li, WK (2006). "Una nota sobre la estimación de distribuciones de valores extremos utilizando el producto máximo de espaciamientos". Series temporales y temas relacionados: en memoria de Ching-Zong Wei . Notas de conferencias del Instituto de Estadística Matemática - Serie de monografías. Beachwood, Ohio: Instituto de Estadística Matemática. págs. 272-283. arXiv : matemáticas / 0702830v1 . doi : 10.1214 / 074921706000001102 . ISBN 978-0-940600-68-3. S2CID 88516426 .