En estadística y procesamiento de señales , el principio de ortogonalidad es una condición necesaria y suficiente para la optimización de un estimador bayesiano . En términos generales, el principio de ortogonalidad dice que el vector de error del estimador óptimo (en un sentido de error cuadrático medio ) es ortogonal a cualquier estimador posible. El principio de ortogonalidad se establece más comúnmente para estimadores lineales, pero son posibles formulaciones más generales. Dado que el principio es una condición necesaria y suficiente para la optimización, se puede utilizar para encontrar el estimador del error cuadrático medio mínimo .
Principio de ortogonalidad para estimadores lineales
El principio de ortogonalidad se utiliza con mayor frecuencia en el marco de la estimación lineal. [1] En este contexto, sea x un vector aleatorio desconocido que se va a estimar basándose en el vector de observación y . Se desea construir un estimador linealpara alguna matriz H y vector c . Entonces, el principio de ortogonalidad establece que un estimadorlogra el error cuadrático medio mínimo si y solo si
y
Si X y Y tienen media cero, entonces es suficiente para requerir la primera condición.
Ejemplo
Suponga que x es una variable aleatoria gaussiana con media my varianza Supongamos también que observamos un valor donde w es el ruido gaussiano que es independiente de x y tiene media 0 y varianza Deseamos encontrar un estimador lineal minimizando el MSE. Sustituyendo la expresión en los dos requisitos del principio de ortogonalidad, obtenemos
y
Resolver estas dos ecuaciones lineales para h y c da como resultado
de modo que el estimador de error cuadrático medio mínimo lineal viene dado por
Este estimador se puede interpretar como un promedio ponderado entre las mediciones ruidosas y y el valor esperado previo m . Si la variación del ruido es baja en comparación con la varianza de la anterior (correspondiente a una SNR alta ), la mayor parte del peso se asigna a las mediciones y , que se consideran más fiables que la información anterior. Por el contrario, si la varianza del ruido es relativamente mayor, entonces la estimación será cercana a m , ya que las mediciones no son lo suficientemente confiables como para superar la información anterior.
Por último, cabe destacar que debido a las variables x e y son conjunta de Gauss, el estimador de mínimos MSE es lineal. [2] Por lo tanto, en este caso, el estimador anterior minimiza el MSE entre todos los estimadores, no solo entre los estimadores lineales.
Formulación general
Dejar ser un espacio de Hilbert de variables aleatorias con un producto interno definido por. Suponeres un subespacio cerrado de, que representa el espacio de todos los estimadores posibles. Uno desea encontrar un vector que se aproximará a un vector . Más exactamente, uno quisiera minimizar el error cuadrático medio (MSE) Entre y .
En el caso especial de los estimadores lineales descritos anteriormente, el espacio es el conjunto de todas las funciones de y , tiempo es el conjunto de estimadores lineales, es decir, funciones lineales de solo. Otros ajustes que pueden formularse de esta manera incluyen el subespacio de filtros lineales causales y el subespacio de todos los estimadores (posiblemente no lineales).
Geométricamente, podemos ver este problema por el siguiente caso simple donde es un subespacio unidimensional :
Queremos encontrar la aproximación más cercana al vector por un vector en el espacio . De la interpretación geométrica, es intuitivo que la mejor aproximación, o el error más pequeño, ocurre cuando el vector de error,, es ortogonal a los vectores en el espacio .
Más exactamente, el principio de ortogonalidad general establece lo siguiente: Dado un subespacio cerrado de estimadores dentro de un espacio de Hilbert y un elemento en , un elemento logra un mínimo de MSE entre todos los elementos en si y solo si para todos
Dicho de esta manera, este principio es simplemente un enunciado del teorema de la proyección de Hilbert . No obstante, el uso extensivo de este resultado en el procesamiento de señales ha dado lugar al nombre de "principio de ortogonalidad".
Una solución a los problemas de minimización de errores
La siguiente es una forma de encontrar el estimador de error cuadrático medio mínimo utilizando el principio de ortogonalidad.
Queremos poder aproximar un vector por
dónde
es la aproximación de como una combinación lineal de vectores en el subespacio abarcado por Por lo tanto, queremos poder resolver los coeficientes, , de modo que podamos escribir nuestra aproximación en términos conocidos.
Según el teorema de la ortogonalidad, la norma cuadrada del vector de error, , se minimiza cuando, para todo j ,
Desarrollando esta ecuación, obtenemos
Si hay un número finito de vectores , se puede escribir esta ecuación en forma de matriz como