En la teoría de la decisión estadística , una regla de decisión admisible es una regla para tomar una decisión tal que no hay otra regla que sea siempre "mejor" que ella [1] (o al menos a veces mejor y nunca peor), en el sentido preciso de "mejor" definido a continuación. Este concepto es análogo a la eficiencia de Pareto .
Definición
Definir conjuntos , y , dónde son los estados de la naturaleza, las posibles observaciones, y las acciones que se pueden tomar. Una observación se distribuye como y por lo tanto proporciona evidencia sobre el estado de naturaleza . Una regla de decisión es una función , donde al observar , elegimos tomar medidas .
También defina una función de pérdida , que especifica la pérdida en la que incurriríamos al tomar medidas cuando el verdadero estado de la naturaleza es . Por lo general, tomaremos esta acción después de observar los datos., para que la perdida sea . (Es posible, aunque poco convencional, reformular las siguientes definiciones en términos de una función de utilidad , que es el negativo de la pérdida).
Definir la función de riesgo como la expectativa
Si una regla de decisión tiene bajo riesgo depende del verdadero estado de la naturaleza . Una regla de decisión domina una regla de decisión si y solo si para todos , y la desigualdad es estricta para algunos.
Una regla de decisión es admisible (con respecto a la función de pérdida) si y solo si ninguna otra regla la domina; de lo contrario es inadmisible . Por tanto, una regla de decisión admisible es un elemento máximo con respecto al orden parcial anterior. No se prefiere una regla inadmisible (excepto por razones de simplicidad o eficiencia computacional), ya que por definición existe alguna otra regla que logrará un riesgo igual o menor para todos. . Pero solo porque una reglaes admisible no significa que sea una buena regla de uso. Ser admisible significa que no hay otra regla única que sea siempre tan buena o mejor, pero otras reglas admisibles pueden reducir el riesgo para la mayoría de las personas.que ocurren en la práctica. (El riesgo de Bayes que se analiza a continuación es una forma de considerar explícitamente qué ocurren en la práctica.)
Reglas de Bayes y reglas de Bayes generalizadas
Reglas de Bayes
Dejar ser una distribución de probabilidad sobre los estados de la naturaleza. Desde un punto de vista bayesiano , lo consideraríamos como una distribución previa . Es decir, es nuestra distribución de probabilidad creída sobre los estados de la naturaleza, antes de observar los datos. Para un frecuentista , es simplemente una función ensin una interpretación tan especial. El riesgo de Bayes de la regla de decisión con respecto a es la expectativa
Una regla de decisión que minimiza se llama regla de Bayes con respecto a. Puede haber más de una regla de Bayes de este tipo. Si el riesgo de Bayes es infinito para todos, entonces no se define ninguna regla de Bayes.
Reglas de Bayes generalizadas
En el enfoque bayesiano de la teoría de la decisión, el observado se considera fijo . Considerando que el enfoque frecuentista (es decir, el riesgo) promedia sobre posibles muestras, el bayesiano fijaría la muestra observada y promedio sobre hipótesis . Por lo tanto, el enfoque bayesiano debe tener en cuenta para nuestras observacionesla pérdida esperada
donde la expectativa está por encima de la parte posterior de dado (obtenido de y utilizando el teorema de Bayes ).
Habiendo explicitado la pérdida esperada para cada dado por separado, podemos definir una regla de decisión especificando para cada una acción que minimiza la pérdida esperada. Esto se conoce como una regla de Bayes generalizada con respecto a. Puede haber más de una regla de Bayes generalizada, ya que puede haber múltiples opciones de que logran la misma pérdida esperada.
Al principio, esto puede parecer bastante diferente del enfoque de la regla de Bayes de la sección anterior, no una generalización. Sin embargo, observe que el riesgo de Bayes ya promedia más de en forma bayesiana, y el riesgo de Bayes puede recuperarse a medida que la expectativa sobre de la pérdida esperada (donde y ). Mas o menos, minimiza esta expectativa de pérdida esperada (es decir, es una regla de Bayes) si y solo si minimiza la pérdida esperada para cada por separado (es decir, es una regla de Bayes generalizada).
Entonces, ¿por qué es una mejora la noción de regla de Bayes generalizada? De hecho, es equivalente a la noción de regla de Bayes cuando existe una regla de Bayes y todostiene probabilidad positiva. Sin embargo, no existe ninguna regla de Bayes si el riesgo de Bayes es infinito (para todos). En este caso, sigue siendo útil definir una regla de Bayes generalizada., que al menos elige una acción de pérdida mínima esperada para esos para lo cual existe una acción de pérdida esperada finita. Además, una regla de Bayes generalizada puede ser deseable porque debe elegir una acción de pérdida mínima esperadapor cada , mientras que una regla de Bayes podría desviarse de esta política en un conjunto de la medida 0 sin afectar el riesgo de Bayes.
Más importante aún, a veces es conveniente utilizar un antecedente inadecuado. . En este caso, el riesgo de Bayes ni siquiera está bien definido, ni hay una distribución bien definida sobre. Sin embargo, la parte posterior—Y por lo tanto la pérdida esperada— puede estar bien definida para cada , por lo que todavía es posible definir una regla de Bayes generalizada.
Admisibilidad de las reglas de Bayes (generalizadas)
De acuerdo con los teoremas de clase completos, en condiciones moderadas, toda regla admisible es una regla de Bayes (generalizada) (con respecto a algunas —Posiblemente impropio — que favorece las distribuciones donde esa regla logra bajo riesgo). Por lo tanto, en la teoría de la decisión frecuentista es suficiente considerar solo las reglas de Bayes (generalizadas).
Por el contrario, mientras que las reglas de Bayes con respecto a los anteriores adecuados son prácticamente siempre admisibles, las reglas de Bayes generalizadas correspondientes a los anteriores incorrectos no tienen por qué producir procedimientos admisibles. El ejemplo de Stein es una de esas situaciones famosas.
Ejemplos de
El estimador de James-Stein es un estimador no lineal de la media de los vectores aleatorios gaussianos que se puede demostrar que dominan, o superan, la técnica de mínimos cuadrados ordinarios con respecto a una función de pérdida de error cuadrático medio. [2] Por tanto, la estimación por mínimos cuadrados no es un procedimiento de estimación admisible en este contexto. Algunas otras de las estimaciones estándar asociadas con la distribución normal también son inadmisibles: por ejemplo, la estimación muestral de la varianza cuando se desconocen la media y la varianza de la población. [3]
Notas
- ^ Dodge, Y. (2003) El diccionario de términos estadísticos de Oxford . OUP. ISBN 0-19-920613-9 (entrada para la función de decisión admisible)
- ^ Cox y Hinkley 1974 , sección 11.8
- ^ Cox y Hinkley 1974 , ejercicio 11.7
Referencias
- Cox, RD; Hinkley, DV (1974). Estadística teórica . Wiley. ISBN 0-412-12420-3.
- Berger, James O. (1980). Teoría de la decisión estadística y análisis bayesiano (2ª ed.). Springer-Verlag. ISBN 0-387-96098-8.
- DeGroot, Morris (2004) [1er. pub. 1970]. Decisiones estadísticas óptimas . Biblioteca de clásicos de Wiley. ISBN 0-471-68029-X.
- Robert, Christian P. (1994). La elección bayesiana . Springer-Verlag. ISBN 3-540-94296-3.