En estadística , el lema de Neyman-Pearson fue introducido por Jerzy Neyman y Egon Pearson en un artículo en 1933. [1] El lema de Neyman-Pearson es parte de la teoría de Neyman-Pearson de las pruebas estadísticas, que introdujo conceptos como errores del segundo tipo , función de potencia y comportamiento inductivo. [2] [3] [4] La anterior teoría de Fisher de las pruebas de significancia postulaba solo una hipótesis. Al introducir una hipótesis en competencia, el sabor Neyman-Pearsoniano de las pruebas estadísticas permite investigar los dos tipos de errores. Los casos triviales en los que uno siempre rechaza o acepta la hipótesis nula son de poco interés, pero demuestran que uno no debe ceder el control sobre un tipo de error mientras calibra el otro. En consecuencia, Neyman y Pearson procedieron a restringir su atención a la clase de todos pruebas de nivel mientras que posteriormente se minimiza el error de tipo II, tradicionalmente denotado por . Su artículo seminal de 1933, incluido el lema de Neyman-Pearson, llega al final de este esfuerzo, y no solo muestra la existencia de pruebas con la mayor potencia que retienen un nivel preespecificado de error tipo I (), sino que también proporciona una forma de construir tales pruebas. El teorema de Karlin-Rubin extiende el lema de Neyman-Pearson a escenarios que involucran hipótesis compuestas con razones de verosimilitud monótona.
Proposición
Considere una prueba con hipótesis y , donde la función de densidad de probabilidad (o función de masa de probabilidad ) es por . Denotando la región de rechazo por, el lema de Neyman-Pearson establece que una prueba más poderosa (MP) satisface lo siguiente: para algunos ,
Si ,
Si ,
para un nivel de significancia prefijado .
Además, si hay al menos una prueba de MP que satisface las dos condiciones, el lema de Neyman-Pearson establece que cada -La prueba de MP de nivel debe obedecer a las desigualdades de razón de verosimilitud. Tenga en cuenta que la prueba más poderosa no siempre puede ser única, como se puede inferir del lema. De hecho, puede que no exista en absoluto. [5]
En la práctica, la razón de verosimilitud se usa a menudo directamente para construir pruebas; consulte la prueba de razón de verosimilitud . Sin embargo, también se puede usar para sugerir estadísticas de prueba particulares que podrían ser de interés o para sugerir pruebas simplificadas; para esto, se considera la manipulación algebraica de la razón para ver si hay estadísticas clave en ella relacionadas con el tamaño de la razón ( es decir, si una estadística grande corresponde a una razón pequeña o grande).
Prueba
Defina la región de rechazo de la hipótesis nula para la prueba de Neyman-Pearson (NP) como
dónde es elegido para que
Cualquier prueba alternativa tendrá una región de rechazo diferente que denotamos por .
La probabilidad de que los datos caigan dentro de cualquiera de las regiones. o parámetro dado es
Para la prueba con región crítica tener nivel de significancia , debe ser cierto que , por eso
Será útil dividirlos en integrales en distintas regiones:
dónde es el complemento de la región R . Configuración, estas dos expresiones y la desigualdad anterior producen que
Los poderes de las dos pruebas son y , y nos gustaría demostrar que:
Sin embargo, como se muestra arriba, esto es equivalente a:
en lo que sigue mostramos que la desigualdad anterior se cumple:
Ejemplo
Dejar ser una muestra aleatoria del distribución donde la media es conocido, y supongamos que deseamos probar para en contra . La probabilidad de este conjunto de datos distribuidos normalmente es
Podemos calcular la razón de verosimilitud para encontrar la estadística clave en esta prueba y su efecto en el resultado de la prueba:
Esta relación solo depende de los datos a través de . Por lo tanto, según el lema de Neyman-Pearson, la prueba más poderosa de este tipo de hipótesis para estos datos dependerá solo de. Además, mediante inspección, podemos ver que si, luego es una función decreciente de. Entonces debemos rechazar Si es suficientemente grande. El umbral de rechazo depende del tamaño de la prueba. En este ejemplo, se puede demostrar que el estadístico de prueba es una variable aleatoria distribuida de Chi-cuadrado escalada y se puede obtener un valor crítico exacto.
Aplicación en economía
Una variante del lema de Neyman-Pearson ha encontrado una aplicación en el dominio aparentemente no relacionado de la economía del valor de la tierra. Uno de los problemas fundamentales en la teoría del consumidor es calcular la función de demanda del consumidor dados los precios. En particular, dada una propiedad de tierra heterogénea, una medida de precio sobre la tierra y una medida de utilidad subjetiva sobre la tierra, el problema del consumidor es calcular la mejor parcela de tierra que puede comprar, es decir, la parcela de tierra con la mayor utilidad, cuyo precio es como mucho su presupuesto. Resulta que este problema es muy similar al problema de encontrar la prueba estadística más poderosa, por lo que se puede usar el lema de Neyman-Pearson. [6]
Usos en ingeniería eléctrica
El lema de Neyman-Pearson es bastante útil en ingeniería electrónica , concretamente en el diseño y uso de sistemas de radar , sistemas de comunicación digital y sistemas de procesamiento de señales . En los sistemas de radar, el lema de Neyman-Pearson se utiliza para establecer primero la tasa de detecciones perdidas en un nivel deseado (bajo) y luego minimizar la tasa de falsas alarmas , o viceversa. Ni las falsas alarmas ni las detecciones perdidas se pueden configurar a tasas arbitrariamente bajas, incluido cero. Todo lo anterior se aplica también a muchos sistemas de procesamiento de señales.
Usos en física de partículas
El lema de Neyman-Pearson se aplica a la construcción de razones de verosimilitud específicas de análisis, que se utilizan, por ejemplo, para probar las firmas de nueva física frente a la predicción del modelo estándar nominal en conjuntos de datos de colisión protón-protón recopilados en el LHC . [7]
^ Las teorías de Fisher, Neyman-Pearson sobre las hipótesis de prueba: ¿una teoría o dos ?: Revista de la Asociación Estadounidense de Estadística: Vol 88, No 424: Las teorías de Fisher, Neyman-Pearson sobre las hipótesis de prueba: ¿una teoría o dos ?: Journal of la Asociación Estadounidense de Estadística: Vol 88, No 424
^ Wald: Capítulo II: La teoría de Neyman-Pearson de probar una hipótesis estadística: Wald: Capítulo II: La teoría de Neyman-Pearson de probar una hipótesis estadística
^ El imperio del azar: El imperio del azar
^ Inferencia estadística: Casella, George, Berger, Roger L.
^Berliant, M. (1984). "Una caracterización de la demanda de suelo". Revista de teoría económica . 33 (2): 289–300. doi : 10.1016 / 0022-0531 (84) 90091-7 .
^van Dyk, David A. (2014). "El papel de la estadística en el descubrimiento de un bosón de Higgs". Revisión anual de estadísticas y su aplicación . 1 (1): 41–59. doi : 10.1146 / annurev-statistics-062713-085841 .
EL Lehmann, Joseph P. Romano, Prueba de hipótesis estadísticas , Springer, 2008, p. 60
enlaces externos
Cosma Shalizi ofrece una derivación intuitiva del Lema de Neyman-Pearson utilizando ideas de la economía.