Los mínimos cuadrados recursivos (RLS) es un algoritmo de filtro adaptativo que encuentra de forma recursiva los coeficientes que minimizan una función de costo de mínimos cuadrados lineales ponderados relacionada con las señales de entrada. Este enfoque contrasta con otros algoritmos, como los mínimos cuadrados medios (LMS), que tienen como objetivo reducir el error cuadrático medio . En la derivación del RLS, las señales de entrada se consideran deterministas , mientras que para el LMS y algoritmos similares se consideran estocásticas . Comparado con la mayoría de sus competidores, el RLS exhibe una convergencia extremadamente rápida. Sin embargo, este beneficio tiene el costo de una alta complejidad computacional.
Motivación
El RLS fue descubierto por Gauss, pero permaneció sin usar o ignorado hasta 1950 cuando Plackett redescubrió el trabajo original de Gauss de 1821. En general, el RLS se puede utilizar para resolver cualquier problema que pueda resolverse mediante filtros adaptativos . Por ejemplo, suponga que una señalse transmite a través de un canal ruidoso y con eco que hace que se reciba como
dónde representa ruido aditivo . La intención del filtro RLS es recuperar la señal deseada. mediante el uso de un -tap filtro FIR ,:
dónde es el vector de columna que contiene el muestras más recientes de . La estimación de la señal deseada recuperada es
El objetivo es estimar los parámetros del filtro. , y en cada momento nos referimos a la estimación actual como y la estimación de mínimos cuadrados adaptada por . es también un vector de columna, como se muestra a continuación, y la transposición ,, es un vector de fila . El producto de la matriz(que es el producto escalar de y ) es , un escalar. La estimación es "buena" sies pequeño en magnitud en algún sentido de mínimos cuadrados .
A medida que pasa el tiempo, se desea evitar rehacer por completo el algoritmo de mínimos cuadrados para encontrar la nueva estimación de , en términos de .
El beneficio del algoritmo RLS es que no hay necesidad de invertir matrices, lo que ahorra costos computacionales. Otra ventaja es que proporciona intuición detrás de resultados como el filtro de Kalman .
Discusión
La idea detrás de los filtros RLS es minimizar una función de costo seleccionando adecuadamente los coeficientes de filtro , actualizando el filtro a medida que llegan nuevos datos. La señal de error y señal deseada se definen en el diagrama de retroalimentación negativa a continuación:
El error depende implícitamente de los coeficientes del filtro a través de la estimación :
La función de error de mínimos cuadrados ponderados —La función de costo que deseamos minimizar — siendo una función de por lo tanto, también depende de los coeficientes de filtro:
dónde es el "factor de olvido" que da exponencialmente menos peso a las muestras de error más antiguas.
La función de costo se minimiza tomando las derivadas parciales para todas las entradas. del vector de coeficientes y poner los resultados a cero
A continuación, reemplace con la definición de la señal de error
Reordenando la ecuación da como resultado
Esta forma se puede expresar en términos de matrices.
dónde es la matriz de covarianza de la muestra ponderada para, y es la estimación equivalente de la covarianza cruzada entre y . Con base en esta expresión encontramos los coeficientes que minimizan la función de costo como
Este es el principal resultado de la discusión.
Elegir
El pequeño es decir, menor es la contribución de muestras anteriores a la matriz de covarianza. Esto hace que el filtro sea más sensible a las muestras recientes, lo que significa más fluctuaciones en los coeficientes del filtro. LaEl caso se denomina algoritmo RLS de ventana creciente . En la práctica,generalmente se elige entre 0,98 y 1. [1] Al utilizar la estimación de máxima verosimilitud de tipo II, lase puede estimar a partir de un conjunto de datos. [2]
Algoritmo recursivo
La discusión resultó en una sola ecuación para determinar un vector de coeficientes que minimiza la función de costo. En esta sección queremos derivar una solución recursiva de la forma
dónde es un factor de corrección en el momento . Comenzamos la derivación del algoritmo recursivo expresando la covarianza cruzada en términos de
dónde es el vector de datos dimensionales
Del mismo modo expresamos en términos de por
Para generar el vector de coeficientes nos interesa la inversa de la matriz de autocovarianza determinista. Para esa tarea, la identidad de la matriz de Woodbury es útil. Con
Para estar en línea con la literatura estándar, definimos
donde el vector de ganancia es
Antes de seguir adelante, es necesario traer en otra forma
Restando el segundo término en el lado izquierdo, se obtiene
Con la definición recursiva de la forma deseada sigue
Ahora estamos listos para completar la recursividad. Como se discutio
El segundo paso se deriva de la definición recursiva de . A continuación incorporamos la definición recursiva de junto con la forma alternativa de y obten
Con llegamos a la ecuación de actualización
dónde es el error a priori . Compare esto con el error a posteriori ; el error calculado después de que se actualiza el filtro:
Eso significa que encontramos el factor de corrección.
Este resultado intuitivamente satisfactorio indica que el factor de corrección es directamente proporcional tanto al vector de error como al de ganancia, que controla cuánta sensibilidad se desea, a través del factor de ponderación, .
Resumen del algoritmo RLS
El algoritmo RLS para un filtro RLS de p -ésimo orden se puede resumir como
Filtro de mínimos cuadrados recursivo de celosía (LRLS)
El filtro adaptativo Lattice Recursive Least Squares está relacionado con el RLS estándar, excepto que requiere menos operaciones aritméticas (orden N). [4] Ofrece ventajas adicionales sobre los algoritmos LMS convencionales, como tasas de convergencia más rápidas, estructura modular e insensibilidad a las variaciones en la dispersión del valor propio de la matriz de correlación de entrada. El algoritmo LRLS descrito se basa en errores a posteriori e incluye la forma normalizada. La derivación es similar al algoritmo RLS estándar y se basa en la definición de. En el caso de la predicción hacia adelante, tenemos con la señal de entrada como la muestra más actualizada. El caso de predicción hacia atrás es, donde i es el índice de la muestra en el pasado que queremos predecir, y la señal de entrada es la muestra más reciente. [5]
Resumen de parámetros
es el coeficiente de reflexión hacia adelante
es el coeficiente de reflexión hacia atrás
representa el error instantáneo de predicción directa a posteriori
representa el error instantáneo de predicción hacia atrás a posteriori
es el error mínimo de predicción hacia atrás por mínimos cuadrados
es el error mínimo de predicción directa por mínimos cuadrados
es un factor de conversión entre errores a priori y a posteriori
son los coeficientes multiplicadores de feedforward.
es una pequeña constante positiva que puede ser 0.01
Resumen del algoritmo LRLS
El algoritmo para un filtro LRLS se puede resumir como
Inicialización:
Para i = 0,1, ..., N
(si x (k) = 0 para k <0)
Final
Cálculo:
Para k ≥ 0
Para i = 0,1, ..., N
Filtrado anticipado
Final
Final
Filtro de mínimos cuadrados recursivo de celosía normalizada (NLRLS)
La forma normalizada de LRLS tiene menos recurrencias y variables. Se puede calcular aplicando una normalización a las variables internas del algoritmo que mantendrá su magnitud acotada por uno. Por lo general, esto no se usa en aplicaciones en tiempo real debido al número de operaciones de división y raíz cuadrada que conlleva una alta carga computacional.
Resumen del algoritmo NLRLS
El algoritmo para un filtro NLRLS se puede resumir como
^ Emannual C. Ifeacor, Barrie W. Jervis. Procesamiento de señales digitales: un enfoque práctico, segunda edición. Indianápolis: Pearson Education Limited, 2002, pág. 718
^ Steven Van Vaerenbergh, Ignacio Santamaría, Miguel Lázaro-Gredilla "Estimación del factor de olvido en mínimos cuadrados recursivos del kernel" , 2012 IEEE International Workshop on Machine Learning for Signal Processing, 2012, accedido el 23 de junio de 2016.
^ Welch, Greg y Bishop, Gary "Una introducción al filtro de Kalman" , Departamento de Ciencias de la Computación, Universidad de Carolina del Norte en Chapel Hill, 17 de septiembre de 1997, consultado el 19 de julio de 2011.
^ Diniz, Paulo SR, "Filtrado adaptativo: algoritmos e implementación práctica", Springer Nature Switzerland AG 2020, Capítulo 7: Algoritmos RLS basados en celosía adaptativa. https://doi.org/10.1007/978-3-030-29057-3_7
^ Albu, Kadlec, Softley, Matousek, Hermanek, Coleman, Fagan "Implementación de enrejado RLS (normalizado) en Virtex" , Procesamiento de señales digitales, 2001, consultado el 24 de diciembre de 2011.