En estadística , la prueba de razón de verosimilitud evalúa la bondad de ajuste de dos modelos estadísticos que compiten con base en la razón de sus probabilidades , específicamente uno encontrado por maximización en todo el espacio de parámetros y otro encontrado después de imponer alguna restricción . Si la restricción (es decir, la hipótesis nula ) está respaldada por los datos observados , las dos probabilidades no deben diferir más que en un error de muestreo . [1] Por lo tanto, la prueba de razón de verosimilitud prueba si esta razón es significativamente diferentede uno, o de manera equivalente si su logaritmo natural es significativamente diferente de cero.
La prueba de razón de verosimilitud, también conocida como prueba de Wilks , [2] es el más antiguo de los tres enfoques clásicos para la prueba de hipótesis, junto con la prueba del multiplicador de Lagrange y la prueba de Wald . [3] De hecho, los dos últimos pueden conceptualizarse como aproximaciones a la prueba de razón de verosimilitud y son asintóticamente equivalentes. [4] [5] [6] En el caso de comparar dos modelos, cada uno de los cuales no tiene parámetros desconocidos , el uso de la prueba de razón de verosimilitud puede justificarse por el lema de Neyman-Pearson . El lema demuestra que la prueba tiene el mayor poder entre todos los competidores. [7]
Definición
General
Supongamos que tenemos un modelo estadístico con espacio de parámetros . A menudo se establece una hipótesis nula diciendo que el parámetro está en un subconjunto especificado de . La hipótesis alternativa es, por tanto, queestá en el complemento de, es decir, en , que se denota por . El estadístico de prueba de razón de verosimilitud para la hipótesis nulaviene dado por: [8]
donde la cantidad entre paréntesis se llama razón de verosimilitud. Aquí elnotación se refiere al supremo . Como todas las probabilidades son positivas y el máximo restringido no puede exceder el máximo no restringido, la razón de verosimilitud está limitada entre cero y uno.
A menudo, el estadístico de la prueba de razón de verosimilitud se expresa como una diferencia entre las probabilidades logarítmicas
dónde
es el logaritmo de la función de probabilidad maximizada , y es el valor máximo en el caso especial de que la hipótesis nula sea verdadera (pero no necesariamente un valor que maximice para los datos muestreados) y
denotar los argumentos respectivos de los máximos y los rangos permitidos en los que están incrustados. Multiplicar por -2 asegura matemáticamente que (según el teorema de Wilks )converge asintóticamente a estar distribuido χ ² si la hipótesis nula resulta ser cierta. [9] Las distribuciones de muestras finitas de las pruebas de razón de verosimilitud son generalmente desconocidas. [10]
La prueba de razón de verosimilitud requiere que los modelos estén anidados , es decir, el modelo más complejo puede transformarse en el modelo más simple imponiendo restricciones a los parámetros del primero. Muchas estadísticas de prueba comunes son pruebas para modelos anidados y pueden expresarse como relaciones logarítmicas de probabilidad o aproximaciones de las mismas: por ejemplo, la prueba Z , la prueba F , la prueba G y la prueba de chi-cuadrado de Pearson ; para ver una ilustración con la prueba t de una muestra , consulte a continuación.
Si los modelos no están anidados, en lugar de la prueba de razón de verosimilitud, hay una generalización de la prueba que normalmente se puede utilizar: para obtener más detalles, consulte la probabilidad relativa .
Caso de hipótesis simples
Una prueba de hipótesis simple versus simple tiene modelos completamente especificados tanto bajo la hipótesis nula como bajo la hipótesis alternativa, que por conveniencia se escriben en términos de valores fijos de un parámetro nocional. :
En este caso, bajo cualquiera de las hipótesis, la distribución de los datos está completamente especificada: no hay parámetros desconocidos para estimar. Para este caso, se encuentra disponible una variante de la prueba de razón de verosimilitud: [11] [12]
Algunas referencias más antiguas pueden usar el recíproco de la función anterior como definición. [13] Por lo tanto, la razón de verosimilitud es pequeña si el modelo alternativo es mejor que el modelo nulo.
La prueba de razón de verosimilitud proporciona la regla de decisión de la siguiente manera:
- Si , no rechaces ;
- Si , rechazar ;
- Rechazar con probabilidad Si
Los valores y generalmente se eligen para obtener un nivel de significancia específico , a través de la relación
El lema de Neyman-Pearson establece que esta prueba de razón de verosimilitud es la más poderosa entre todos los nivelespruebas para este caso. [7] [12]
Interpretación
La razón de verosimilitud es una función de los datos. ; por lo tanto, es una estadística , aunque inusual en que el valor de la estadística depende de un parámetro,. La prueba de razón de verosimilitud rechaza la hipótesis nula si el valor de esta estadística es demasiado pequeño. Qué tan pequeño es demasiado pequeño depende del nivel de significancia de la prueba, es decir, de qué probabilidad de error de Tipo I se considera tolerable (los errores de Tipo I consisten en el rechazo de una hipótesis nula que es verdadera).
El numerador corresponde a la probabilidad de un resultado observado bajo la hipótesis nula . El denominador corresponde a la probabilidad máxima de un resultado observado, variando los parámetros en todo el espacio de parámetros. El numerador de esta razón es menor que el denominador; entonces, la razón de verosimilitud está entre 0 y 1. Los valores bajos de la razón de verosimilitud significan que el resultado observado era mucho menos probable que ocurriera bajo la hipótesis nula en comparación con la alternativa. Los valores altos del estadístico significan que el resultado observado era casi tan probable que ocurriera bajo la hipótesis nula como con la alternativa, por lo que la hipótesis nula no puede rechazarse.
Un ejemplo
El siguiente ejemplo está adaptado y resumido de Stuart, Ord & Arnold (1999 , §22.2).
Suponga que tenemos una muestra aleatoria, de tamaño n , de una población con distribución normal. Se desconocen tanto la media, μ como la desviación estándar, σ , de la población. Queremos probar si la media es igual a un valor dado, μ 0 .
Por lo tanto, nuestra hipótesis nula es H 0 : μ = μ 0 y nuestra hipótesis alternativa es H 1 : μ ≠ μ 0 . La función de probabilidad es
Con algunos cálculos (omitidos aquí), se puede demostrar que
donde t es el estadístico t con n - 1 grados de libertad. Por tanto, podemos usar la distribución exacta conocida de t n −1 para sacar inferencias.
Distribución asintótica: teorema de Wilks
Si la distribución de la razón de verosimilitud correspondiente a una hipótesis nula y alternativa en particular se puede determinar explícitamente, entonces se puede usar directamente para formar regiones de decisión (para sostener o rechazar la hipótesis nula). En la mayoría de los casos, sin embargo, la distribución exacta de la razón de verosimilitud correspondiente a hipótesis específicas es muy difícil de determinar. [ cita requerida ]
Suponiendo que H 0 es verdadera, hay un resultado fundamental de Samuel S. Wilks : como el tamaño de la muestra enfoques ∞ {\ Displaystyle \ infty} , la estadística de prueba definido anteriormente se distribuirá asintóticamente chi-cuadrado () con grados de libertad iguales a la diferencia de dimensionalidad de y . [14] Esto implica que para una gran variedad de hipótesis, podemos calcular la razón de verosimilitud para los datos y luego comparar los observados hacia valor correspondiente a una significación estadística deseada como una prueba estadística aproximada . Existen otras extensiones. [ cual? ]
Ver también
- Criterio de información de Akaike
- Factor de Bayes
- Prueba de Johansen
- Selección de modelo
- Prueba de cercanía de Vuong
- Prueba sup-LR
- Exponentes de error en la prueba de hipótesis
Referencias
- ^ Rey, Gary (1989). Metodología política unificadora: la teoría de la verosimilitud de la inferencia estadística . Nueva York: Cambridge University Press. pag. 84. ISBN 0-521-36697-6.
- ^ Li, Bing; Babu, G. Jogesh (2019). Un curso de posgrado en inferencia estadística . Saltador. pag. 331. ISBN 978-1-4939-9759-6.
- ^ Maddala, GS ; Lahiri, Kajal (2010). Introducción a la econometría (Cuarta ed.). Nueva York: Wiley. pag. 200.
- ^ Buse, A. (1982). "La razón de verosimilitud, Wald y pruebas de multiplicador de Lagrange: una nota expositiva". El estadístico estadounidense . 36 (3a): 153-157. doi : 10.1080 / 00031305.1982.10482817 .
- ^ Pickles, Andrew (1985). Introducción al análisis de verosimilitud . Norwich: WH Hutchins & Sons. págs. 24-27 . ISBN 0-86094-190-6.
- ^ Severini, Thomas A. (2000). Métodos de verosimilitud en estadística . Nueva York: Oxford University Press. págs. 120-121. ISBN 0-19-850650-3.
- ^ a b Neyman, J .; Pearson, ES (1933), "Sobre el problema de las pruebas más eficientes de hipótesis estadísticas" (PDF) , Transacciones filosóficas de la Royal Society of London A , 231 (694–706): 289–337, Bibcode : 1933RSPTA.231 ..289N , doi : 10.1098 / rsta.1933.0009 , JSTOR 91247
- ^ Koch, Karl-Rudolf (1988). Estimación de parámetros y prueba de hipótesis en modelos lineales . Nueva York: Springer. pag. 306 . ISBN 0-387-18840-1.
- ^ Silvey, SD (1970). Inferencia estadística . Londres: Chapman & Hall. págs. 112-114. ISBN 0-412-13820-4.
- ^ Mittelhammer, Ron C .; Juez, George G .; Miller, Douglas J. (2000). Fundamentos econométricos . Nueva York: Cambridge University Press. pag. 66 . ISBN 0-521-62394-4.
- ^ Estado de ánimo, AM; Graybill, FA; Boes, DC (1974). Introducción a la Teoría de la Estadística (3ª ed.). McGraw-Hill . §9.2.
- ^ a b Stuart, A .; Ord, K .; Arnold, S. (1999), Teoría avanzada de estadística de Kendall , 2A , Arnold , §§20.10–20.13
- ^ Cox, RD ; Hinkley, DV (1974), Estadística teórica , Chapman y Hall , pág. 92, ISBN 0-412-12420-3
- ^ Wilks, SS (1938). "La distribución de muestra grande de la razón de verosimilitud para probar hipótesis compuestas" . Anales de estadística matemática . 9 (1): 60–62. doi : 10.1214 / aoms / 1177732360 .
Otras lecturas
- Glover, Scott; Dixon, Peter (2004), "Razones de probabilidad: una estadística simple y flexible para psicólogos empíricos", Psychonomic Bulletin & Review , 11 (5): 791–806, doi : 10.3758 / BF03196706
- Held, Leonhard; Sabanés Bové, Daniel (2014), Inferencia estadística aplicada: verosimilitud y Bayes , Springer
- Kalbfleisch, JG (1985), Probabilidad e inferencia estadística , 2 , Springer-Verlag
- Perlman, Michael D .; Wu, Lang (1999), "The emperor's new tests", Statistical Science , 14 (4): 355–381, doi : 10.1214 / ss / 1009212517
- Perneger, Thomas V. (2001), "Examinando la evidencia: las razones de verosimilitud son alternativas a los valores P", The BMJ , 322 (7295): 1184–5, doi : 10.1136 / bmj.322.7295.1184 , PMC 1120301 , PMID 11379590
- Pinheiro, José C .; Bates, Douglas M. (2000), Modelos de efectos mixtos en S y S-PLUS , Springer-Verlag , págs. 82-93
- Solomon, Daniel L. (1975), "Una nota sobre la no equivalencia de Neyman-Pearson y las pruebas de razón de verosimilitud generalizada para probar una hipótesis nula simple versus una alternativa simple" (PDF) , The American Statistician , 29 (2) : 101–102, doi : 10.1080 / 00031305.1975.10477383 , hdl : 1813/32605
enlaces externos
- Aplicación práctica de la prueba de razón de verosimilitud descrita
- Paquete R: Prueba de razón de probabilidad secuencial de Wald
- Calculadora clínica en línea de valores predictivos y razones de probabilidad de Richard Lowry