En matemáticas , una máquina de vectores de relevancia (RVM) es una técnica de aprendizaje automático que utiliza la inferencia bayesiana para obtener soluciones parsimoniosas para la regresión y la clasificación probabilística . [1] El RVM tiene una forma funcional idéntica a la máquina de vectores de soporte , pero proporciona una clasificación probabilística.
En realidad, es equivalente a un modelo de proceso gaussiano con función de covarianza :
dónde es la función del kernel (generalmente gaussiana), son las varianzas de la previa en el vector de peso , y son los vectores de entrada del conjunto de entrenamiento . [2]
En comparación con la de las máquinas de vectores de soporte (SVM), la formulación bayesiana de la RVM evita el conjunto de parámetros libres de la SVM (que generalmente requieren postoptimizaciones basadas en validación cruzada). Sin embargo, los RVM utilizan un método de aprendizaje similar a la maximización de expectativas (EM) y, por lo tanto, están en riesgo de mínimos locales. Esto es diferente a los algoritmos basados en optimización secuencial mínima estándar (SMO) empleados por SVM , que están garantizados para encontrar un óptimo global (del problema convexo).
La máquina de vectores de relevancia está patentada en los Estados Unidos por Microsoft (patente vencida el 4 de septiembre de 2019). [3]
Ver también
- Truco de kernel
- Escala de Platt : convierte una SVM en un modelo de probabilidad
Referencias
- ^ Propinas, Michael E. (2001). "Aprendizaje bayesiano disperso y la máquina de vectores de relevancia" . Revista de investigación sobre aprendizaje automático . 1 : 211–244.
- ^ Candela, Joaquín Quiñonero (2004). "Modelos lineales probabilísticos dispersos y la RVM". Aprendizaje con incertidumbre: procesos gaussianos y máquinas vectoriales de relevancia (PDF) (Ph.D.). Universidad Técnica de Dinamarca . Consultado el 22 de abril de 2016 .
- ^ US 6633857 , Michael E. Tipping, "Máquina de vectores de relevancia"
Software
- Biblioteca dlib C ++
- La biblioteca de Kernel-Machine
- rvmbinary : paquete R para clasificación binaria
- scikit-rvm
- tutorial rápido de scikit-rvm , rvm