En estadística, la estimación de máxima probabilidad ( MLE ) es un método de estimación de los parámetros de una distribución de probabilidad por la maximización de una función de probabilidad , de modo que bajo la supone modelo estadístico el datos observados es más probable. El punto en el espacio de parámetros que maximiza la función de verosimilitud se denomina estimación de máxima verosimilitud. [1] La lógica de la máxima verosimilitud es intuitiva y flexible y, como tal, el método se ha convertido en un medio dominante de inferencia estadística .[2] [3] [4]
Si la función de verosimilitud es diferenciable , se puede aplicar la prueba de la derivada para determinar los máximos. En algunos casos, las condiciones de primer orden de la función de verosimilitud pueden resolverse explícitamente; por ejemplo, el estimador de mínimos cuadrados ordinario maximiza la probabilidad del modelo de regresión lineal . [5] En la mayoría de las circunstancias, sin embargo, serán necesarios métodos numéricos para encontrar el máximo de la función de verosimilitud.
Desde el punto de vista de la inferencia bayesiana , MLE es un caso especial de estimación máxima a posteriori (MAP) que asume una distribución previa uniforme de los parámetros. En la inferencia frecuentista , MLE es un caso especial de un estimador de extremos , siendo la función objetivo la probabilidad.
Principios
Desde un punto de vista estadístico, un conjunto dado de observaciones es una muestra aleatoria de una población desconocida . El objetivo de la estimación de máxima verosimilitud es hacer inferencias sobre la población que es más probable que haya generado la muestra, [6] específicamente la distribución de probabilidad conjunta de las variables aleatorias., no necesariamente independientes e idénticamente distribuidos. Asociado con cada distribución de probabilidad hay un vector únicode parámetros que indexan la distribución de probabilidad dentro de una familia paramétrica , dónde se llama espacio de parámetros , un subconjunto de dimensión finita del espacio euclidiano . Evaluación de la densidad articular en la muestra de datos observada da una función de valor real,
que se llama función de verosimilitud . Para variables aleatorias independientes e idénticamente distribuidas ,será el producto de funciones de densidad univariadas .
El objetivo de la estimación de máxima verosimilitud es encontrar los valores de los parámetros del modelo que maximizan la función de verosimilitud sobre el espacio de parámetros, [6] es decir
Intuitivamente, esto selecciona los valores de los parámetros que hacen que los datos observados sean más probables. El valor específico que maximiza la función de verosimilitud se llama estimación de máxima verosimilitud. Además, si la funciónasí definido es medible , entonces se llama estimador de máxima verosimilitud . Generalmente es una función definida sobre el espacio muestral , es decir, tomando una muestra dada como argumento. Una condición suficiente pero no necesaria para su existencia es que la función de verosimilitud sea continua en un espacio de parámetroseso es compacto . [7] Para una abierto la función de verosimilitud puede aumentar sin alcanzar nunca un valor superior.
En la práctica, a menudo es conveniente trabajar con el logaritmo natural de la función de verosimilitud, llamado logaritmo de verosimilitud :
Dado que el logaritmo es una función monótona , el máximo de ocurre al mismo valor de como lo hace el máximo de . [8] Sies diferenciable en, las condiciones necesarias para la ocurrencia de un máximo (o un mínimo) son
conocidas como ecuaciones de verosimilitud. Para algunos modelos, estas ecuaciones se pueden resolver explícitamente para, pero en general no se conoce ni está disponible una solución de forma cerrada para el problema de maximización, y un MLE solo se puede encontrar a través de la optimización numérica . Otro problema es que en muestras finitas, pueden existir múltiples raíces para las ecuaciones de verosimilitud. [9] Si la raíz identificadade las ecuaciones de verosimilitud es de hecho un máximo (local) depende de si la matriz de derivadas parciales y parciales cruzadas de segundo orden, la llamada matriz de Hesse
es semi-definido negativo en, ya que esto indica concavidad local . Convenientemente, las distribuciones de probabilidad más comunes, en particular la familia exponencial, son logarítmicamente cóncavas . [10] [11]
Espacio de parámetros restringido
Si bien el dominio de la función de verosimilitud, el espacio de parámetros, es generalmente un subconjunto de dimensión finita del espacio euclidiano , a veces es necesario incorporar restricciones adicionales en el proceso de estimación. El espacio de parámetros se puede expresar como
- ,
dónde es un mapeo de funciones con valores vectoriales dentro . Estimando el verdadero parámetro perteneciendo a entonces, como cuestión práctica, significa encontrar el máximo de la función de verosimilitud sujeta a la restricción .
En teoría, el enfoque más natural para este problema de optimización restringida es el método de sustitución, es decir, "completar" las restricciones a un conjunto de una manera que es una función uno a uno de consigo mismo, y reparametrizar la funcin de verosimilitud estableciendo . [12] Debido a la invariancia del estimador de máxima verosimilitud, las propiedades del MLE se aplican también a las estimaciones restringidas. [13] Por ejemplo, en una distribución normal multivariante, la matriz de covarianza debe ser positivo-definido ; esta restricción se puede imponer reemplazando, dónde es una matriz triangular superior real yes su transposición . [14]
En la práctica, las restricciones se imponen generalmente utilizando el método de Lagrange que, dadas las restricciones definidas anteriormente, conduce a las ecuaciones de probabilidad restringida
- y ,
dónde es un vector columna de multiplicadores de Lagrange yes la matriz jacobiana k × r de derivadas parciales. [12] Naturalmente, si las restricciones no son vinculantes en el máximo, los multiplicadores de Lagrange deberían ser cero. [15] Esto a su vez permite una prueba estadística de la "validez" de la restricción, conocida como prueba del multiplicador de Lagrange .
Propiedades
Un estimador de máxima verosimilitud es un estimador de extremos obtenido maximizando, en función de θ , la función objetivo . Si los datos son independientes y están distribuidos de manera idéntica , entonces tenemos
siendo este el análogo muestral de la probabilidad logarítmica esperada , donde se toma esta expectativa con respecto a la densidad real.
Los estimadores de máxima verosimilitud no tienen propiedades óptimas para muestras finitas, en el sentido de que (cuando se evalúan en muestras finitas) otros estimadores pueden tener una mayor concentración alrededor del verdadero valor del parámetro. [16] Sin embargo, al igual que otros métodos de estimación, la estimación de máxima verosimilitud posee una serie de atractivas propiedades limitantes : a medida que el tamaño de la muestra aumenta hasta el infinito, las secuencias de estimadores de máxima verosimilitud tienen estas propiedades:
- Consistencia : la secuencia de MLEs converge en probabilidad con el valor que se está estimando.
- Invarianza funcional: si es el estimador de máxima verosimilitud para , y si es cualquier transformación de , entonces el estimador de máxima verosimilitud para es .
- Eficiencia , es decir, alcanza el límite inferior de Cramér-Rao cuando el tamaño de la muestra tiende a infinito. Esto significa que ningún estimador consistente tiene un error cuadrático medio asintótico más bajo que el MLE (u otros estimadores que alcanzan este límite), lo que también significa que MLE tiene normalidad asintótica .
- Eficiencia de segundo orden después de la corrección por sesgo.
Consistencia
En las condiciones que se describen a continuación, el estimador de máxima verosimilitud es consistente . La consistencia significa que si los datos fueron generados pory tenemos un número suficientemente grande de observaciones n , entonces es posible encontrar el valor de θ 0 con precisión arbitraria. En términos matemáticos, esto significa que cuando n va al infinito, el estimador converge en probabilidad a su valor real:
En condiciones ligeramente más fuertes, el estimador converge casi con seguridad (o fuertemente ):
En aplicaciones prácticas, los datos nunca son generados por . Bastante,es un modelo, a menudo en forma idealizada, del proceso generado por los datos. Es un aforismo común en estadística que todos los modelos están equivocados . Por lo tanto, la verdadera consistencia no ocurre en aplicaciones prácticas. No obstante, a menudo se considera que la coherencia es una propiedad deseable para un estimador.
Para establecer la coherencia, las siguientes condiciones son suficientes. [17]
- Identificación del modelo:
En otras palabras, diferentes valores de parámetros θ corresponden a diferentes distribuciones dentro del modelo. Si esta condición no se cumpliera, habría algún valor θ 1 tal que θ 0 y θ 1 generan una distribución idéntica de los datos observables. Entonces no podríamos distinguir entre estos dos parámetros incluso con una cantidad infinita de datos; estos parámetros habrían sido observacionalmente equivalentes .
La condición de identificación es absolutamente necesaria para que el estimador de ML sea consistente. Cuando se cumple esta condición, la función de probabilidad límite ℓ ( θ | ·) tiene un máximo global único en θ 0 . - Compacidad: el espacio de parámetros Θ del modelo es compacto .
La condición de identificación establece que la probabilidad logarítmica tiene un máximo global único. La compacidad implica que la probabilidad no puede acercarse al valor máximo cercano arbitrariamente en algún otro punto (como se demuestra, por ejemplo, en la imagen de la derecha).
La compacidad es solo una condición suficiente y no una condición necesaria. La compacidad puede ser reemplazada por algunas otras condiciones, como:
- tanto la concavidad de la función de verosimilitud logarítmica como la compacidad de algunos conjuntos de nivel superior (no vacíos) de la función de verosimilitud logarítmica, o
- existencia de una vecindad compacta N de θ 0 tal que fuera de N la función logarítmica de verosimilitud es menor que el máximo en al menos algunos ε > 0 .
- Continuidad: la función ln f ( x | θ ) es continua en θ para casi todos los valores de x :
- Dominancia: existe D ( x ) integrable con respecto a la distribución f ( x | θ 0 ) tal que
La condición de dominancia se puede emplear en el caso de observaciones iid . En el caso no iid, la convergencia uniforme en probabilidad se puede verificar mostrando que la secuenciaes estocásticamente equicontinuo . Si se quiere demostrar que el estimador de MLconverge a θ 0 casi con seguridad , entonces es casi seguro que se deba imponer una condición más fuerte de convergencia uniforme:
Además, si (como se supuso anteriormente) los datos fueron generados por , luego, bajo ciertas condiciones, también se puede demostrar que el estimador de máxima verosimilitud converge en distribución a una distribución normal. En concreto, [18]
donde I es la matriz de información de Fisher .
Invariancia funcional
El estimador de máxima verosimilitud selecciona el valor del parámetro que da a los datos observados la mayor probabilidad posible (o densidad de probabilidad, en el caso continuo). Si el parámetro consta de varios componentes, entonces definimos sus estimadores de máxima verosimilitud separados, como el componente correspondiente del MLE del parámetro completo. De acuerdo con esto, si es el MLE para , y si es cualquier transformación de , luego el MLE para es por definición [19]
Maximiza la denominada probabilidad de perfil :
El MLE también es invariante con respecto a ciertas transformaciones de los datos. Si dónde es uno a uno y no depende de los parámetros a estimar, entonces las funciones de densidad satisfacen
y, por tanto, las funciones de probabilidad para y difieren solo por un factor que no depende de los parámetros del modelo.
Por ejemplo, los parámetros MLE de la distribución logarítmica normal son los mismos que los de la distribución normal ajustados al logaritmo de los datos.
Eficiencia
Como se supuso anteriormente, los datos fueron generados por luego, bajo ciertas condiciones, también se puede demostrar que el estimador de máxima verosimilitud converge en distribución a una distribución normal. Es √ n- consistente y asintóticamente eficiente, lo que significa que alcanza el límite Cramér-Rao . En concreto, [18]
dónde es la matriz de información de Fisher :
En particular, significa que el sesgo del estimador de máxima verosimilitud es igual a cero hasta el orden1/√ n .
Eficiencia de segundo orden después de la corrección por sesgo
Sin embargo, cuando consideramos los términos de orden superior en la expansión de la distribución de este estimador, resulta que θ mle tiene un sesgo de orden 1 ⁄ n . Este sesgo es igual a (por componentes) [20]
dónde (con superíndices) denota el ( j, k ) -ésimo componente de la matriz de información de Fisher inversa, y
Usando estas fórmulas es posible estimar el sesgo de segundo orden del estimador de máxima verosimilitud y corregir ese sesgo restándolo:
Este estimador es imparcial hasta los términos del pedido. 1/ norte , y se denomina estimador de máxima verosimilitud con corrección de sesgo.
Este estimador con corrección de sesgo es eficiente de segundo orden (al menos dentro de la familia exponencial curva), lo que significa que tiene un error cuadrático medio mínimo entre todos los estimadores de segundo orden con corrección de sesgo, hasta los términos del orden. 1/ n 2 . Es posible continuar este proceso, es decir, derivar el término de corrección de sesgo de tercer orden, y así sucesivamente. Sin embargo, el estimador de máxima verosimilitud no es eficiente de tercer orden. [21]
Relación con la inferencia bayesiana
Un estimador de máxima verosimilitud coincide con el estimador bayesiano más probable dada una distribución previa uniforme de los parámetros . De hecho, la estimación máxima a posteriori es el parámetro θ que maximiza la probabilidad de θ dados los datos, dados por el teorema de Bayes:
dónde es la distribución previa para el parámetro θ y dondees la probabilidad de que los datos se promedien sobre todos los parámetros. Dado que el denominador es independiente de θ , el estimador bayesiano se obtiene maximizandocon respecto a θ . Si asumimos además que el anterior es una distribución uniforme, el estimador bayesiano se obtiene maximizando la función de verosimilitud . Por tanto, el estimador bayesiano coincide con el estimador de máxima verosimilitud para una distribución previa uniforme.
Aplicación de la estimación de máxima verosimilitud en la teoría de decisiones de Bayes
En muchas aplicaciones prácticas del aprendizaje automático , la estimación de máxima verosimilitud se utiliza como modelo para la estimación de parámetros.
La teoría de la decisión bayesiana trata de diseñar un clasificador que minimice el riesgo total esperado, especialmente, cuando los costos (la función de pérdida) asociados con diferentes decisiones son iguales, el clasificador minimiza el error en toda la distribución. [22]
Por lo tanto, la regla de decisión de Bayes se establece como
- "decidir Si de lo contrario decidir "
dónde son predicciones de diferentes clases. Desde una perspectiva de minimizar el error, también se puede establecer como
dónde
si decidimos y si decidimos
Aplicando el teorema de Bayes
- ,
y si asumimos además la función de pérdida cero o uno, que es una misma pérdida para todos los errores, la regla de decisión de Bayes se puede reformular como:
dónde es la predicción y es la probabilidad previa .
Relación para minimizar la divergencia de Kullback-Leibler y la entropía cruzada
Hallazgo que maximiza la probabilidad es asintóticamente equivalente a encontrar la que define una distribución de probabilidad () que tiene una distancia mínima, en términos de divergencia Kullback-Leibler , a la distribución de probabilidad real a partir de la cual se generaron nuestros datos (es decir, generados por). [23] En un mundo ideal, P y Q son iguales (y lo único desconocido es que define P), pero incluso si no lo son y el modelo que usamos está mal especificado, el MLE nos dará la distribución "más cercana" (dentro de la restricción de un modelo Q que depende de ) a la distribución real . [24]
Prueba. |
Para simplificar la notación, supongamos que P = Q. Que no haya n i.id muestra de datos de alguna probabilidad , que intentamos estimar encontrando que maximizará la probabilidad de usar , luego: Dónde . El uso de h ayuda a ver cómo estamos usando la ley de los grandes números para pasar del promedio de h (x) a la expectativa usando la ley del estadístico inconsciente . Las primeras transiciones tienen que ver con las leyes del logaritmo y ese hallazgo que maximiza alguna función también será la que maximiza alguna transformación monótona de esa función (es decir, sumar / multiplicar por una constante). |
Dado que la entropía cruzada es solo la entropía de Shannon más la divergencia KL, y dado que la entropía dees constante, entonces el MLE también minimiza asintóticamente la entropía cruzada. [25]
Ejemplos de
Distribución uniforme discreta
Considere un caso en el que se colocan n boletos numerados del 1 al n en una caja y se selecciona uno al azar ( ver distribución uniforme ); por lo tanto, el tamaño de la muestra es 1. Si n es desconocido, entonces el estimador de máxima verosimilitudde n es el número m en el boleto sorteado. (La probabilidad es 0 para n < m , 1 ⁄ n para n ≥ m , y esto es mayor cuando n = m . Tenga en cuenta que la estimación de máxima verosimilitud de n ocurre en el extremo inferior de los valores posibles { m , m + 1, ...}, en lugar de en algún lugar en el "medio" del rango de valores posibles, lo que resultaría en menos sesgo. ) El valor esperado del número m en el boleto sorteado y, por lo tanto, el valor esperado de, es ( n + 1) / 2. Como resultado, con un tamaño de muestra de 1, el estimador de máxima verosimilitud para n subestimará sistemáticamente n en ( n - 1) / 2.
Distribución discreta, espacio de parámetros finito
Supongamos que uno desea determinar cuán sesgada es una moneda injusta . Llame a la probabilidad de lanzar una ' cara ' p . Entonces, el objetivo es determinar p .
Suponga que la moneda se lanza 80 veces: es decir, la muestra puede ser algo como x 1 = H, x 2 = T, ..., x 80 = T, y se observa el recuento del número de caras "H".
La probabilidad de sacar cruz es 1 - p (por lo que aquí p es θ arriba). Suponga que el resultado es 49 caras y 31 cruces , y suponga que la moneda fue sacada de una caja que contiene tres monedas: una que da cara con probabilidad p = 1 ⁄ 3 , uno que da cara con probabilidad p = 1 ⁄ 2 y otro que da cara con probabilidad p = 2 ⁄ 3 . Las monedas han perdido sus etiquetas, por lo que se desconoce cuál era. Utilizando la estimación de máxima verosimilitud, se puede encontrar la moneda que tiene la mayor probabilidad, dados los datos que se observaron. Al usar la función de masa de probabilidad de la distribución binomial con un tamaño de muestra igual a 80, el número de éxitos igual a 49 pero para diferentes valores de p (la "probabilidad de éxito"), la función de probabilidad (definida a continuación) toma uno de tres valores:
La probabilidad se maximiza cuando p = 2 ⁄ 3 , por lo que esta es la estimación de máxima verosimilitud para p .
Distribución discreta, espacio de parámetros continuo
Ahora suponga que solo hay una moneda, pero su p podría haber sido cualquier valor 0 ≤ p ≤ 1. La función de probabilidad que se maximiza es
y la maximización es sobre todos los valores posibles 0 ≤ p ≤ 1.
Una forma de maximizar esta función es diferenciando con respecto ap y estableciendo en cero:
Este es un producto de tres términos. El primer término es 0 cuando p = 0. El segundo es 0 cuando p = 1. El tercero es cero cuando p = 49 ⁄ 80 . La solución que maximiza la probabilidad es claramente p = 49 ⁄ 80 (dado que p = 0 y p = 1 dan como resultado una probabilidad de 0). Por tanto, el estimador de máxima verosimilitud para p es 49 ⁄ 80 .
Este resultado se generaliza fácilmente sustituyendo una letra como s en lugar de 49 para representar el número observado de "éxitos" de nuestros ensayos de Bernoulli , y una letra como n en lugar de 80 para representar el número de ensayos de Bernoulli. Exactamente el mismo cálculo produce s ⁄ n que es el estimador de máxima verosimilitud para cualquier secuencia denensayos de Bernoulli que resulten ens'éxitos'.
Distribución continua, espacio de parámetros continuo
Para la distribución normal que tiene función de densidad de probabilidad
la función de densidad de probabilidad correspondiente para una muestra de n variables aleatorias normales independientes distribuidas de manera idéntica (la probabilidad) es
Esta familia de distribuciones tiene dos parámetros: θ = ( μ , σ ) ; por lo que maximizamos la probabilidad,, sobre ambos parámetros simultáneamente, o si es posible, individualmente.
Dado que la función de logaritmo en sí es una función continua estrictamente creciente sobre el rango de probabilidad, los valores que maximizan la probabilidad también maximizarán su logaritmo (la probabilidad logarítmica en sí misma no es necesariamente estrictamente creciente). La probabilidad logarítmica se puede escribir de la siguiente manera:
(Nota: la probabilidad logarítmica está estrechamente relacionada con la entropía de la información y la información de Fisher ).
Ahora calculamos las derivadas de esta probabilidad logarítmica de la siguiente manera.
dónde es la media muestral . Esto se resuelve por
De hecho, este es el máximo de la función, ya que es el único punto de inflexión en μ y la segunda derivada es estrictamente menor que cero. Su valor esperado es igual al parámetro μ de la distribución dada,
lo que significa que el estimador de máxima verosimilitud es imparcial.
De manera similar, diferenciamos la verosimilitud logarítmica con respecto a σ y la igualamos a cero:
que se resuelve por
Insertar el presupuesto obtenemos
Para calcular su valor esperado, es conveniente reescribir la expresión en términos de variables aleatorias de media cero ( error estadístico ). Expresando la estimación en estas variables se obtiene
Simplificando la expresión anterior, utilizando los hechos que y , nos permite obtener
Esto significa que el estimador está sesgado por . También se puede demostrar que está sesgado por , pero que ambos y son consistentes.
Formalmente decimos que el estimador de máxima verosimilitud para es
En este caso, los MLE podrían obtenerse individualmente. En general, este puede no ser el caso, y los MLE tendrían que obtenerse simultáneamente.
La probabilidad logarítmica normal en su máximo toma una forma particularmente simple:
Se puede demostrar que esta probabilidad logarítmica máxima es la misma para mínimos cuadrados más generales , incluso para mínimos cuadrados no lineales . Esto se usa a menudo para determinar los intervalos de confianza aproximados basados en la probabilidad y las regiones de confianza , que generalmente son más precisas que las que usan la normalidad asintótica discutida anteriormente.
Variables no independientes
Puede darse el caso de que las variables estén correlacionadas, es decir, que no sean independientes. Dos variables aleatorias y son independientes solo si su función de densidad de probabilidad conjunta es el producto de las funciones de densidad de probabilidad individuales, es decir
Suponga que se construye un vector gaussiano de orden n a partir de variables aleatorias, donde cada variable tiene medias dadas por . Además, denotemos la matriz de covarianza por. La función de densidad de probabilidad conjunta de estas n variables aleatorias sigue una distribución normal multivariante dada por:
En el caso bivariado , la función de densidad de probabilidad conjunta viene dada por:
En este y otros casos en los que existe una función de densidad conjunta, la función de verosimilitud se define como anteriormente, en la sección " principios ", utilizando esta densidad.
Ejemplo
son recuentos en celdas / cajas 1 hasta m; cada caja tiene una probabilidad diferente (piense en que las cajas son más grandes o más pequeñas) y fijamos el número de bolas que caen para que sea:. La probabilidad de cada caja es, con una restricción: . Este es un caso en el que el s no son independientes, la probabilidad conjunta de un vector se llama multinomio y tiene la forma:
Cada caja tomada por separado frente a todas las demás cajas es un binomio y esta es una extensión del mismo.
La probabilidad logarítmica de esto es:
La restricción debe tenerse en cuenta y utilizar los multiplicadores de Lagrange:
Al plantear todas las derivadas como 0, se obtiene la estimación más natural
Maximizar la probabilidad logarítmica, con y sin restricciones, puede ser un problema irresoluble en forma cerrada, entonces tenemos que usar procedimientos iterativos.
Procedimientos iterativos
Excepto en casos especiales, las ecuaciones de verosimilitud
no se puede resolver explícitamente para un estimador . En cambio, deben resolverse de forma iterativa : partiendo de una suposición inicial de (decir ), se busca obtener una secuencia convergente . Hay muchos métodos disponibles para este tipo de problema de optimización , [26] [27] pero los más utilizados son los algoritmos basados en una fórmula de actualización de la forma
donde el vector indica la dirección de descenso del r- ésimo "paso" y el escalarcaptura la "longitud del paso", [28] [29] también conocida como tasa de aprendizaje . [30]
Método de descenso de gradiente
(Nota: aquí es un problema de maximización, por lo que el signo antes del gradiente se invierte)
- que sea lo suficientemente pequeño para la convergencia y
El método de descenso de gradiente requiere calcular el gradiente en la-ésima iteración, pero no es necesario calcular la inversa de la derivada de segundo orden, es decir, la matriz de Hesse. Por lo tanto, es computacionalmente más rápido que el método de Newton-Raphson.
Método de Newton-Raphson
- y
dónde es la puntuación yes la inversa de la matriz hessiana de la función logarítmica de verosimilitud, ambas evaluaron la r- ésima iteración. [31] [32] Pero debido a que el cálculo de la matriz de Hesse es computacionalmente costoso , se han propuesto numerosas alternativas. El popular algoritmo de Berndt-Hall-Hall-Hausman aproxima el hessiano con el producto exterior del gradiente esperado, de modo que
Métodos cuasi-Newton
Otros métodos de cuasi-Newton utilizan actualizaciones de secantes más elaboradas para dar una aproximación de la matriz de Hesse.
Fórmula de Davidon-Fletcher-Powell
La fórmula de DFP encuentra una solución simétrica, definida positiva y más cercana al valor aproximado actual de la derivada de segundo orden:
dónde
Algoritmo de Broyden-Fletcher-Goldfarb-Shanno
BFGS también da una solución que es simétrica y definida positiva:
dónde
No se garantiza que el método BFGS converja a menos que la función tenga una expansión de Taylor cuadrática cercana a un óptimo. Sin embargo, BFGS puede tener un rendimiento aceptable incluso para instancias de optimización que no son fluidas
Puntuación de Fisher
Otro método popular es reemplazar el hessiano con la matriz de información de Fisher ,, dándonos el algoritmo de puntuación de Fisher. Este procedimiento es estándar en la estimación de muchos métodos, como los modelos lineales generalizados .
Aunque son populares, los métodos cuasi-Newton pueden converger a un punto estacionario que no es necesariamente un máximo local o global, [33] sino más bien un mínimo local o un punto silla . Por lo tanto, es importante evaluar la validez de la solución obtenida de las ecuaciones de verosimilitud, verificando que el hessiano, evaluado en la solución, sea tanto negativo definido como bien condicionado . [34]
Historia
Los primeros usuarios de máxima probabilidad fueron Carl Friedrich Gauss , Pierre-Simon Laplace , Thorvald N. Thiele y Francis Ysidro Edgeworth . [35] [36] Sin embargo, su uso generalizado aumentó entre 1912 y 1922 cuando Ronald Fisher recomendó, popularizó ampliamente y analizó cuidadosamente la estimación de máxima verosimilitud (con intentos infructuosos de pruebas ). [37]
La estimación de máxima verosimilitud finalmente trascendió la justificación heurística en una demostración publicada por Samuel S. Wilks en 1938, ahora llamada teorema de Wilks . [38] El teorema muestra que el error en el logaritmo de los valores de verosimilitud para estimaciones de múltiples observaciones independientes está distribuido asintóticamente χ 2 , lo que permite la determinación conveniente de una región de confianza alrededor de cualquier estimación de los parámetros. La única parte difícil de la demostración de Wilks depende del valor esperado de la matriz de información de Fisher , que es proporcionada por un teorema probado por Fisher . [39] Wilks continuó mejorando la generalidad del teorema a lo largo de su vida, con su demostración más general publicada en 1962. [40]
Varios autores han proporcionado revisiones del desarrollo de la estimación de máxima verosimilitud. [41] [42] [43] [44] [45] [46] [47] [48]
Ver también
Conceptos relacionados
- Criterio de información de Akaike , un criterio para comparar modelos estadísticos, basado en MLE
- Estimador de extremos , una clase más general de estimadores a los que pertenece MLE
- Información de Fisher , matriz de información, su relación con la matriz de covarianza de las estimaciones de ML
- Error cuadrático medio , una medida de cuán 'bueno' es un estimador de un parámetro distributivo (ya sea el estimador de máxima verosimilitud o algún otro estimador)
- RANSAC , un método para estimar parámetros de un modelo matemático dados datos que contienen valores atípicos
- Teorema de Rao-Blackwell , que produce un proceso para encontrar el mejor estimador insesgado posible (en el sentido de tener un error cuadrático medio mínimo ); El MLE es a menudo un buen punto de partida para el proceso.
- El teorema de Wilks proporciona un medio para estimar el tamaño y la forma de la región de estimaciones aproximadamente igualmente probables para los valores de los parámetros de la población, utilizando la información de una sola muestra, utilizando una distribución chi-cuadrado.
Otros métodos de estimación
- El método generalizado de momentos son métodos relacionados con la ecuación de verosimilitud en la estimación de máxima verosimilitud
- Estimador M , un enfoque utilizado en estadísticas robustas
- Estimador máximo a posteriori (MAP), para un contraste en la forma de calcular estimadores cuando se postulan conocimientos previos
- Estimación de espaciado máximo , un método relacionado que es más robusto en muchas situaciones
- Estimación máxima de entropía
- Método de momentos (estadísticas) , otro método popular para encontrar parámetros de distribuciones
- Método de apoyo , una variación de la técnica de máxima verosimilitud
- Estimación de distancia mínima
- Métodos de verosimilitud parcial para datos de panel
- Estimador de verosimilitud cuasimáxima, un estimador MLE que está mal especificado, pero que sigue siendo consistente
- Probabilidad máxima restringida , una variación que utiliza una función de probabilidad calculada a partir de un conjunto de datos transformado
Referencias
- ^ Rossi, Richard J. (2018). Estadística matemática: una introducción a la inferencia basada en verosimilitud . Nueva York: John Wiley & Sons. pag. 227. ISBN 978-1-118-77104-4.
- ^ Hendry, David F .; Nielsen, Bent (2007). Modelado econométrico: un enfoque de verosimilitud . Princeton: Prensa de la Universidad de Princeton. ISBN 978-0-691-13128-3.
- ^ Chambers, Raymond L .; Steel, David G .; Wang, Suojin; Galés, Alan (2012). Estimación de máxima verosimilitud para encuestas por muestreo . Boca Ratón: CRC Press. ISBN 978-1-58488-632-7.
- ^ Ward, Michael Don ; Ahlquist, John S. (2018). Máxima probabilidad para las ciencias sociales: estrategias para el análisis . Nueva York: Cambridge University Press. ISBN 978-1-107-18582-1.
- ^ Presione, WH; Flannery, BP; Teukolsky, SA; Vetterling, WT (1992). "Mínimos cuadrados como estimador de máxima verosimilitud" . Recetas numéricas en FORTRAN: El arte de la informática científica (2ª ed.). Cambridge: Cambridge University Press. págs. 651–655. ISBN 0-521-43064-X.
- ^ a b Myung, IJ (2003). "Tutorial sobre estimación de máxima verosimilitud". Revista de Psicología Matemática . 47 (1): 90–100. doi : 10.1016 / S0022-2496 (02) 00028-7 .
- ^ Gourieroux, Christian; Monfort, Alain (1995). Modelos estadísticos y econométricos . Prensa de la Universidad de Cambridge. pag. 161 . ISBN 0-521-40551-3.
- ^ Kane, Edward J. (1968). Estadística Económica y Econometría . Nueva York: Harper & Row. pag. 179 .
- ^ Pequeño, Christoper G .; Wang, Jinfang (2003). "Trabajar con raíces" . Métodos numéricos para ecuaciones de estimación no lineales . Prensa de la Universidad de Oxford. págs. 74-124. ISBN 0-19-850688-0.
- ^ Kass, Robert E .; Vos, Paul W. (1997). Fundamentos geométricos de la inferencia asintótica . Nueva York, NY: John Wiley & Sons. pag. 14. ISBN 0-471-82668-5.
- ^ Papadopoulos, Alecos (25 de septiembre de 2013). "¿Por qué siempre ponemos log () antes del pdf conjunto cuando usamos MLE (Estimación de máxima verosimilitud)?" . Stack Exchange .
- ^ a b Silvey, SD (1975). Inferencia estadística . Londres: Chapman y Hall. pag. 79. ISBN 0-412-13820-4.
- ^ Oliva, David (2004). "¿El MLE maximiza la probabilidad?" (PDF) . Cite journal requiere
|journal=
( ayuda ) - ^ Schwallie, Daniel P. (1985). "Estimadores de covarianza de máxima probabilidad definida positiva". Cartas económicas . 17 (1–2): 115-117. doi : 10.1016 / 0165-1765 (85) 90139-9 .
- ^ Magnus, Jan R. (2017). Introducción a la Teoría de la Econometría . Ámsterdam: VU University Press. págs. 64–65. ISBN 978-90-8659-766-6.
- ^ Pfanzagl (1994 , p. 206)
- ^ Por el teorema 2.5 en Newey, Whitney K .; McFadden, Daniel (1994). "Capítulo 36: Estimación de muestras grandes y pruebas de hipótesis". En Engle, Robert; McFadden, Dan (eds.). Manual de Econometría, Vol 4 . Ciencia de Elsevier. págs. 2111–2245. ISBN 978-0-444-88766-5.CS1 maint: ref duplica el valor predeterminado ( enlace )
- ^ a b Según el teorema 3.3 en Newey, Whitney K .; McFadden, Daniel (1994). "Capítulo 36: Estimación de muestras grandes y pruebas de hipótesis". En Engle, Robert; McFadden, Dan (eds.). Manual de Econometría, Vol 4 . Ciencia de Elsevier. págs. 2111–2245. ISBN 978-0-444-88766-5.CS1 maint: ref duplica el valor predeterminado ( enlace )
- ^ Zacks, Shelemyahu (1971). La teoría de la inferencia estadística . Nueva York: John Wiley & Sons. pag. 223. ISBN 0-471-98103-6.
- ^ Ver fórmula 20 en Cox, David R .; Snell, E. Joyce (1968). "Una definición general de residuos". Revista de la Sociedad Real de Estadística, Serie B . 30 (2): 248-275. JSTOR 2984505 .CS1 maint: ref duplica el valor predeterminado ( enlace )
- ^ Kano, Yutaka (1996). "La eficiencia de tercer orden implica una eficiencia de cuarto orden" . Revista de la Sociedad de Estadística de Japón . 26 : 101-117. doi : 10.14490 / jjss1995.26.101 .
- ^ Christensen, Henrikt I. "Reconocimiento de patrones" (PDF) (conferencia). Teoría de la decisión bayesiana - CS 7616. Georgia Tech.
- ^ cmplx96 ( https://stats.stackexchange.com/users/177679/cmplx96 ), divergencia de Kullback-Leibler, URL (versión: 2017-11-18): https://stats.stackexchange.com/q/314472 ( en el video de youtube, mira los minutos 13 a 25)
- ^ Introducción a la inferencia estadística | Stanford (Clase 16 - MLE bajo especificación incorrecta del modelo)
- ^ Sycorax dice Reinstate Monica ( https://stats.stackexchange.com/users/22311/sycorax-says-reinstate-monica ), la relación entre maximizar la probabilidad y minimizar la entropía cruzada, URL (versión: 2019-11- 06): https://stats.stackexchange.com/q/364237
- ^ Fletcher, R. (1987). Métodos prácticos de optimización (Segunda ed.). Nueva York, NY: John Wiley & Sons. ISBN 0-471-91547-5.
- ^ Nocedal, Jorge ; Wright, Stephen J. (2006). Optimización numérica (Segunda ed.). Nueva York, NY: Springer. ISBN 0-387-30303-0.
- ^ Daganzo, Carlos (1979). Probit multinomial: la teoría y su aplicación al pronóstico de la demanda . Nueva York: Academic Press. págs. 61–78. ISBN 0-12-201150-3.
- ^ Gould, William; Pitblado, Jeffrey; Poi, Brian (2010). Estimación de máxima verosimilitud con Stata (Cuarta ed.). College Station: Stata Press. págs. 13-20. ISBN 978-1-59718-078-8.
- ^ Murphy, Kevin P. (2012). Aprendizaje automático: una perspectiva probabilística . Cambridge: MIT Press. pag. 247. ISBN 978-0-262-01802-9.
- ^ Amemiya, Takeshi (1985). Econometría avanzada . Cambridge: Prensa de la Universidad de Harvard. págs. 137-138 . ISBN 0-674-00560-0.
- ^ Sargan, Denis (1988). "Métodos de optimización numérica". Notas de la conferencia sobre teoría econométrica avanzada . Oxford: Basil Blackwell. págs. 161-169. ISBN 0-631-14956-2.
- ^ Ver teorema 10.1 en Avriel, Mordecai (1976). Programación no lineal: análisis y métodos . Englewood Cliffs, Nueva Jersey: Prentice-Hall. págs. 293-294. ISBN 9780486432274.
- ^ Gill, Philip E .; Murray, Walter; Wright, Margaret H. (1981). Optimización práctica . Londres, Reino Unido: Academic Press. págs. 312 –313. ISBN 0-12-283950-1.
- ^ Edgeworth, Francis Y. (septiembre de 1908). "Sobre los probables errores de las constantes de frecuencia" . Revista de la Royal Statistical Society . 71 (3): 499–512. doi : 10.2307 / 2339293 . JSTOR 2339293 .
- ^ Edgeworth, Francis Y. (diciembre de 1908). "Sobre los probables errores de las constantes de frecuencia" . Revista de la Royal Statistical Society . 71 (4): 651–678. doi : 10.2307 / 2339378 . JSTOR 2339378 .
- ^ Pfanzagl, Johann; Hamböker, R. (1994). Teoría estadística paramétrica . Walter de Gruyter . págs. 207–208. ISBN 978-3-11-013863-4.
- ^ Wilks, SS (1938). "La distribución de muestra grande de la razón de verosimilitud para probar hipótesis compuestas" . Anales de estadística matemática . 9 : 60–62. doi : 10.1214 / aoms / 1177732360 .
- ^ Owen, Art B. (2001). Probabilidad empírica . Londres, Reino Unido; Boca Raton, FL: Chapman & Hall; Prensa CRC. ISBN 978-1584880714.
- ^ Wilks, Samuel S. (1962). Estadística matemática . Nueva York, NY: John Wiley & Sons. ISBN 978-0471946502.
- ^ Salvaje, Leonard J. (1976). "Al releer RA Fisher" . The Annals of Statistics . 4 (3): 441–500. doi : 10.1214 / aos / 1176343456 . JSTOR 2958221 .CS1 maint: ref duplica el valor predeterminado ( enlace )
- ^ Pratt, John W. (1976). "FY Edgeworth y RA Fisher sobre la eficiencia de la estimación de máxima verosimilitud" . The Annals of Statistics . 4 (3): 501–514. doi : 10.1214 / aos / 1176343457 . JSTOR 2958222 .CS1 maint: ref duplica el valor predeterminado ( enlace )
- ^ Stigler, Stephen M. (1978). "Francis Ysidro Edgeworth, estadístico". Revista de la Sociedad Real de Estadística, Serie A . 141 (3): 287–322. doi : 10.2307 / 2344804 . JSTOR 2344804 .CS1 maint: ref duplica el valor predeterminado ( enlace )
- ^ Stigler, Stephen M. (1986). La historia de la estadística: la medición de la incertidumbre antes de 1900 . Prensa de la Universidad de Harvard. ISBN 978-0-674-40340-6.CS1 maint: ref duplica el valor predeterminado ( enlace )
- ^ Stigler, Stephen M. (1999). Estadísticas sobre la mesa: la historia de los conceptos y métodos estadísticos . Prensa de la Universidad de Harvard. ISBN 978-0-674-83601-3.CS1 maint: ref duplica el valor predeterminado ( enlace )
- ^ Hald, Anders (1998). Una historia de la estadística matemática desde 1750 hasta 1930 . Nueva York, NY: Wiley. ISBN 978-0-471-17912-2.CS1 maint: ref duplica el valor predeterminado ( enlace )
- ^ Hald, Anders (1999). "Sobre la historia de máxima verosimilitud en relación a la probabilidad inversa y mínimos cuadrados" . Ciencia estadística . 14 (2): 214-222. doi : 10.1214 / ss / 1009212248 . JSTOR 2676741 .CS1 maint: ref duplica el valor predeterminado ( enlace )
- ^ Aldrich, John (1997). "RA Fisher y la realización de máxima verosimilitud 1912-1922" . Ciencia estadística . 12 (3): 162-176. doi : 10.1214 / ss / 1030037906 . Señor 1617519 .CS1 maint: ref duplica el valor predeterminado ( enlace )
Otras lecturas
- Cramer, JS (1986). Aplicaciones econométricas de los métodos de máxima verosimilitud . Nueva York, NY: Cambridge University Press. ISBN 0-521-25317-9.
- Eliason, Scott R. (1993). Estimación de máxima verosimilitud: lógica y práctica . Newbury Park: Sage. ISBN 0-8039-4107-2.
- King, Gary (1989). Metodología política unificadora: la teoría de la semejanza de la inferencia estadística . Prensa de la Universidad de Cambridge. ISBN 0-521-36697-6.
- Le Cam, Lucien (1990). "Máxima probabilidad: una introducción". Revisión de ISI . 58 (2): 153-171. JSTOR 1403464 .
- Magnus, Jan R. (2017). "Máxima verosimilitud". Introducción a la Teoría de la Econometría . Amsterdam, NL: VU University Press. págs. 53–68. ISBN 978-90-8659-766-6.
- Millar, Russell B. (2011). Estimación e inferencia de máxima verosimilitud . Hoboken, Nueva Jersey: Wiley. ISBN 978-0-470-09482-2.
- Pickles, Andrew (1986). Introducción al análisis de verosimilitud . Norwich: WH Hutchins & Sons. ISBN 0-86094-190-6.
- Severini, Thomas A. (2000). Métodos de verosimilitud en estadística . Nueva York, NY: Oxford University Press. ISBN 0-19-850650-3.
- Ward, Michael D .; Ahlquist, John S. (2018). Máxima probabilidad para las ciencias sociales: estrategias para el análisis . Prensa de la Universidad de Cambridge. ISBN 978-1-316-63682-4.
enlaces externos
- Menor, Lawrence M. (2007). " Letra de la canción ' MLE'" . Ciencias Matemáticas / Facultad de Ciencias. math.utep.edu . El Paso, TX: Universidad de Texas . Consultado el 6 de marzo de 2021 .
- "Método de máxima verosimilitud" , Encyclopedia of Mathematics , EMS Press , 2001 [1994]
- Purcell, S. "Estimación de máxima verosimilitud" .
- Sargent, Thomas ; Stachurski, John. "Estimación de máxima verosimilitud" . Economía cuantitativa con Python .
- Toomet, Ott; Henningsen, Arne (19 de mayo de 2019). "maxLik: un paquete para la estimación de máxima verosimilitud en R" .