El error de dejar uno fuera puede referirse a lo siguiente:
- Dejar fuera de una validación cruzada de Estabilidad ( CVloo , para la estabilidad de la Validación Cruzada con licencia de uno ): Un algoritmo f tiene CVloo estabilidad β con respecto a la función de pérdida de V si se cumple lo siguiente:
- Error esperado de dejar uno fuera Estabilidad (, para Error esperado al dejar uno fuera ): Un algoritmo f tiene estabilidad si para cada n existe una y un tal que:
, con y yendo a cero para
Notaciones preliminares
Siendo X e Y un subconjunto de los números reales R, o X e Y ⊂ R, siendo respectivamente un espacio de entrada X y un espacio de salida Y, consideramos un conjunto de entrenamiento :
de tamaño m en dibujada de forma independiente e idénticamente distribuida (iid) a partir de una distribución desconocida, aquí llamada "D". Entonces, un algoritmo de aprendizaje es una función de dentro que mapea un conjunto de aprendizaje S en una funcióndesde el espacio de entrada X al espacio de salida Y. Para evitar la notación compleja, consideramos solo algoritmos deterministas . También se supone que el algoritmoes simétrico con respecto a S, es decir, no depende del orden de los elementos del conjunto de entrenamiento . Además, asumimos que todas las funciones son medibles y todos los conjuntos son contables, lo que no limita el interés de los resultados presentados aquí.
La pérdida de una hipótesis f con respecto a un ejemplo entonces se define como . El error empírico de f puede entonces escribirse como.
El verdadero error de f es
Dado un conjunto de entrenamiento S de tamaño m, construiremos, para todo i = 1 ...., m, conjuntos de entrenamiento modificados de la siguiente manera:
- Eliminando el i-ésimo elemento
- y / o [ aclaración necesaria ] reemplazando el elemento i-ésimo
Ver también
Referencias
- S. Mukherjee, P. Niyogi, T. Poggio y RM Rifkin. Teoría del aprendizaje: la estabilidad es suficiente para la generalización y necesaria y suficiente para la coherencia de la minimización del riesgo empírico. Adv. Computación. Math., 25 (1-3): 161-193, 2006