El error out-of-bag ( OOB ) , también llamado estimación out-of-bag , es un método para medir el error de predicción de bosques aleatorios , árboles de decisión potenciados y otros modelos de aprendizaje automático que utilizan la agregación bootstrap (ensacado). El ensacado utiliza submuestreo con reemplazo para crear muestras de entrenamiento para que el modelo aprenda. El error OOB es el error de predicción medio en cada muestra de entrenamiento x i , utilizando solo los árboles que no tenían x i en su muestra de arranque. [1]
La agregación de Bootstrap permite definir una estimación inmediata de la mejora del rendimiento de la predicción mediante la evaluación de las predicciones en aquellas observaciones que no se utilizaron en la construcción del próximo alumno base.
Conjunto de datos fuera de la bolsa
Cuando se realiza la agregación de bootstrap , se crean dos conjuntos independientes. Un conjunto, la muestra de arranque, son los datos elegidos para estar "en la bolsa" mediante muestreo con reemplazo. El conjunto fuera de la bolsa son todos los datos que no se eligen en el proceso de muestreo.
Cuando se repite este proceso, como cuando se crea un bosque aleatorio , se crean muchas muestras de arranque y conjuntos OOB. Los conjuntos OOB se pueden agregar en un conjunto de datos, pero cada muestra solo se considera fuera de bolsa para los árboles que no la incluyen en su muestra de arranque. La siguiente imagen muestra que para cada bolsa muestreada, los datos se separan en dos grupos.
Este ejemplo muestra cómo se podría utilizar el ensacado en el contexto del diagnóstico de enfermedades. Un conjunto de pacientes es el conjunto de datos original, pero cada modelo es entrenado solo por los pacientes en su bolsa. Los pacientes en cada juego fuera de la bolsa se pueden usar para probar sus respectivos modelos. La prueba consideraría si el modelo puede determinar con precisión si el paciente tiene la enfermedad.
Calcular el error fuera de la bolsa
Dado que no se utiliza cada conjunto fuera de la bolsa para entrenar el modelo, es una buena prueba para el rendimiento del modelo. El cálculo específico del error OOB depende de la implementación del modelo, pero un cálculo general es el siguiente.
- Busque todos los modelos (o árboles, en el caso de un bosque aleatorio ) que no están entrenados por la instancia OOB.
- Obtenga el voto mayoritario del resultado de estos modelos para la instancia OOB, en comparación con el valor real de la instancia OOB.
- Compile el error OOB para todas las instancias en el conjunto de datos OOB.
El proceso de ensacado se puede personalizar para adaptarse a las necesidades de un modelo. Para garantizar un modelo preciso, el tamaño de la muestra de entrenamiento bootstrap debe ser cercano al del conjunto original. [2] Además, se debe considerar el número de iteraciones (árboles) del modelo (bosque) para encontrar el verdadero error OOB. El error OOB se estabilizará en muchas iteraciones, por lo que comenzar con un número elevado de iteraciones es una buena idea. [3]
Como se muestra en el ejemplo de la derecha, el error OOB se puede encontrar utilizando el método anterior una vez que se configura el bosque.
Comparación con la validación cruzada
El error inmediato y la validación cruzada (CV) son métodos diferentes para medir la estimación del error de un modelo de aprendizaje automático . Durante muchas iteraciones, los dos métodos deberían producir una estimación de error muy similar. Es decir, una vez que el error OOB se estabilice, convergerá al error de validación cruzada (específicamente, dejar una validación cruzada). [3] La ventaja del método OOB es que requiere menos cálculo y permite probar el modelo a medida que se entrena.
Exactitud y consistencia
El error fuera de bolsa se utiliza con frecuencia para la estimación de errores dentro de bosques aleatorios, pero con la conclusión de un estudio realizado por Silke Janitza y Roman Hornung, se ha demostrado que el error fuera de bolsa se sobreestima en entornos que incluyen un número igual de observaciones de todas las clases de respuesta (muestras equilibradas), tamaños de muestra pequeños, un gran número de variables predictoras, pequeña correlación entre predictores y efectos débiles. [4]
Ver también
Referencias
- ^ James, Gareth; Witten, Daniela; Hastie, Trevor; Tibshirani, Robert (2013). Introducción al aprendizaje estadístico . Saltador. págs. 316–321.
- ^ Ong, Desmond (2014). Una introducción al bootstrapping; y una descripción general de doBootstrap (PDF) . págs. 2–4.
- ^ a b Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2008). Los elementos del aprendizaje estadístico (PDF) . Springer . págs. 592–593.
- ^ Janitza, Silke; Hornung, Roman (6 de agosto de 2018). "Sobre la sobreestimación del error fuera de bolsa del bosque aleatorio" . PLOS ONE . 13 (8): e0201904. doi : 10.1371 / journal.pone.0201904 . ISSN 1932-6203 .