En estadística , la puntuación (o informante [1] ) es el gradiente de la función logarítmica de verosimilitud con respecto al vector de parámetros . Evaluada en un punto particular del vector de parámetros, la puntuación indica la inclinación de la función logarítmica de verosimilitud y, por lo tanto, la sensibilidad a cambios infinitesimales en los valores de los parámetros. Si la función logarítmica de verosimilitud es continua en el espacio de parámetros , la puntuación desaparecerá en un máximo o mínimo local ; este hecho se utiliza en la estimación de máxima verosimilitud para encontrar los valores de los parámetros que maximizan la función de verosimilitud.
Dado que la puntuación es una función de las observaciones que están sujetas a error de muestreo , se presta a una estadística de prueba conocida como prueba de puntuación en la que el parámetro se mantiene en un valor particular. Además, la relación de dos funciones de verosimilitud evaluadas en dos valores de parámetros distintos puede entenderse como una integral definida de la función de puntuación. [2]
Definición
La puntuación es el gradiente (el vector de derivadas parciales ) de, el logaritmo natural de la función de verosimilitud , con respecto a un vector de parámetro m -dimensional.
Así, la diferenciación produce una vector de fila, e indica la sensibilidad de la probabilidad (su derivada normalizada por su valor).
En la literatura más antigua, [ cita requerida ] "puntuación lineal" puede referirse a la puntuación con respecto a la traducción infinitesimal de una densidad dada. Esta convención surge de una época en la que el parámetro principal de interés era la media o mediana de una distribución. En este caso, la probabilidad de una observación viene dada por una densidad de la forma. La "puntuación lineal" se define entonces como
Propiedades
Significar
Si bien la puntuación es una función de , también depende de las observaciones en el que se evalúa la función de verosimilitud, y en vista del carácter aleatorio del muestreo, se puede tomar su valor esperado en el espacio muestral . Bajo ciertas condiciones de regularidad en las funciones de densidad de las variables aleatorias, [3] [4] el valor esperado de la puntuación, evaluado en el valor verdadero del parámetro., es cero. Para ver esto, reescriba la función de verosimilitudcomo una función de densidad de probabilidad y denotar el espacio muestral . Luego:
Las condiciones de regularidad asumidas permiten el intercambio de derivada e integral (ver la regla integral de Leibniz ), por lo tanto, la expresión anterior se puede reescribir como
Vale la pena reiterar el resultado anterior en palabras: el valor esperado de la puntuación es cero. Por lo tanto, si uno tomara muestras repetidas de alguna distribución y calculara repetidamente la puntuación, entonces el valor medio de las puntuaciones tendería a cero de forma asintótica .
Diferencia
La varianza de la puntuación,, se puede derivar de la expresión anterior para el valor esperado.
Por tanto, la varianza de la puntuación es igual al valor esperado negativo de la matriz hessiana de la probabilidad logarítmica. [5]
Este último se conoce como información de Fisher y está escrito. Tenga en cuenta que la información de Fisher no es una función de ninguna observación en particular, ya que la variable aleatoriaha sido promediado. Este concepto de información es útil cuando se comparan dos métodos de observación de algún proceso aleatorio .
Ejemplos de
Proceso de Bernoulli
Considere observar los primeros n ensayos de un proceso de Bernoulli y ver que A de ellos son éxitos y los B restantes son fracasos, donde la probabilidad de éxito es θ .
Entonces la probabilidad es
entonces la puntuación s es
Ahora podemos verificar que la expectativa del puntaje es cero. Observando que la expectativa de A es nθ y la expectativa de B es n (1 - θ ) [recuerde que A y B son variables aleatorias], podemos ver que la expectativa de s es
También podemos comprobar la varianza de . Sabemos que A + B = n (entonces B = n - A ) y la varianza de A es nθ (1 - θ ) entonces la varianza de s es
Modelo de resultado binario
Para modelos con resultados binarios ( Y = 1 o 0), el modelo puede puntuarse con el logaritmo de las predicciones.
donde p es la probabilidad en el modelo que se va a estimar y S es la puntuación. [6]
Aplicaciones
Algoritmo de puntuación
El algoritmo de puntuación es un método iterativo para determinar numéricamente el estimador de máxima verosimilitud .
Prueba de puntuación
Tenga en cuenta que es una función de y la observación , por lo que, en general, no es una estadística . Sin embargo, en ciertas aplicaciones, como la prueba de puntuación , la puntuación se evalúa con un valor específico de(como un valor de hipótesis nula), en cuyo caso el resultado es una estadística. Intuitivamente, si el estimador restringido está cerca del máximo de la función de verosimilitud, la puntuación no debería diferir de cero en más que el error de muestreo . En 1948, CR Rao demostró por primera vez que el cuadrado del puntaje dividido por la matriz de información sigue una distribución asintótica χ 2 bajo la hipótesis nula. [7]
Además, tenga en cuenta que la prueba de razón de verosimilitud viene dada por
lo que significa que la prueba de razón de verosimilitud puede entenderse como el área bajo la función de puntuación entre y . [8]
Ver también
- Información de Fisher
- Teoría de la información
- Prueba de puntuación
- Algoritmo de puntuación
- Puntuación estándar
- Curva de soporte
Notas
- ^ Informante en enciclopedia de matemáticas
- ^ Pickles, Andrew (1985). Introducción al análisis de verosimilitud . Norwich: WH Hutchins & Sons. págs. 24-29 . ISBN 0-86094-190-6.
- ^ Serfling, Robert J. (1980). Teoremas de aproximación de la estadística matemática . Nueva York: John Wiley & Sons. pag. 145 . ISBN 0-471-02403-1.
- ^ Greenberg, Edward; Webster, Charles E. Jr. (1983). Econometría avanzada: un puente a la literatura . Nueva York: John Wiley & Sons. pag. 25. ISBN 0-471-09077-8.
- ^ Sargan, Denis (1988). Conferencias sobre Econometría Avanzada . Oxford: Basil Blackwell. págs. 16-18. ISBN 0-631-14956-2.
- ^ Steyerberg, EW; Vickers, AJ; Cook, NR; Gerds, T .; Gonen, M .; Obuchowski, N .; Pencina, MJ; Kattan, MW (2010). "Evaluación del rendimiento de modelos de predicción. Un marco para medidas tradicionales y novedosas" . Epidemiología . 21 (1): 128-138. doi : 10.1097 / EDE.0b013e3181c30fb2 . PMC 3575184 . PMID 20010215 .
- ^ Rao, C. Radhakrishna (1948). "Ensayos de gran muestra de hipótesis estadísticas relativas a varios parámetros con aplicaciones a problemas de estimación". Procedimientos matemáticos de la Sociedad Filosófica de Cambridge . 44 (1): 50–57. doi : 10.1017 / S0305004100023987 .
- ^ Buse, A. (1982). "La razón de verosimilitud, Wald y pruebas de multiplicador de Lagrange: una nota expositiva". El estadístico estadounidense . 36 (3a): 153-157. doi : 10.1080 / 00031305.1982.10482817 .
Referencias
- Chentsov, NN (2001) [1994], "Informante" , Enciclopedia de Matemáticas , EMS Press
- Cox, RD; Hinkley, DV (1974). Estadística teórica . Chapman y Hall. ISBN 0-412-12420-3.
- Schervish, Mark J. (1995). Teoría de la Estadística . Nueva York: Springer. Sección 2.3.1. ISBN 0-387-94546-6.