El teorema de Cover es una afirmación en la teoría del aprendizaje computacional y es una de las principales motivaciones teóricas para el uso de métodos de kernel no lineales en aplicaciones de aprendizaje automático . El teorema establece que dado un conjunto de datos de entrenamiento que no es separable linealmente , uno puede con alta probabilidad transformarlo en un conjunto de entrenamiento que sea separable linealmente proyectándolo en un espacio de mayor dimensión a través de alguna transformación no lineal . El teorema lleva el nombre del teórico de la información Thomas M. Cover, quien lo declaró en 1965. A grandes rasgos, el teorema puede expresarse como:
Un problema complejo de clasificación de patrones, planteado en un espacio de alta dimensión de forma no lineal, es más probable que sea linealmente separable que en un espacio de baja dimensión, siempre que el espacio no esté densamente poblado.
Prueba
Se puede utilizar un mapeo determinista : supongamos que haymuestras. Levántelos sobre los vértices del simplex en elespacio real dimensional. Dado que cada partición de las muestras en dos conjuntos es separable por un separador lineal , se sigue el teorema.
Referencias
- Haykin, Simon (2009). Redes neuronales y máquinas de aprendizaje (Tercera ed.). Upper Saddle River, Nueva Jersey: Pearson Education Inc. págs. 232–236. ISBN 978-0-13-147139-9.
- Portada, TM (1965). "Propiedades geométricas y estadísticas de sistemas de desigualdades lineales con aplicaciones en el reconocimiento de patrones" (PDF) . Transacciones IEEE en computadoras electrónicas . EC-14 (3): 326–334. doi : 10.1109 / pgec.1965.264137 . S2CID 18251470 . Archivado desde el original (PDF) el 20 de diciembre de 2019.
- Mehrotra, K .; Mohan, CK; Ranka, S. (1997). Elementos de redes neuronales artificiales (2ª ed.). Prensa del MIT. ISBN 0-262-13328-8. (Sección 3.5)