Valor añadido de modelado (también conocida como la medición de valor agregado , análisis de valor agregado y la evaluación de valor añadido ) es un método de evaluación de los maestros que la contribución de las medidas del profesor en un año determinado mediante la comparación de los resultados de las pruebas actuales de sus estudiantes con las puntuaciones de esos mismos estudiantes en años escolares anteriores, así como a los puntajes de otros estudiantes en el mismo grado. De esta manera, la modelización de valor agregado busca aislar la contribución o valor agregado, que cada maestro proporciona en un año determinado, que se puede comparar con las medidas de desempeño de otros maestros. Se considera que los VAM son más justos que simplemente comparar los puntajes de rendimiento de los estudiantes o ganar puntajes sin considerar variables de contexto potencialmente confusas como el rendimiento pasado o los ingresos. También es posible utilizar este enfoque para estimar el valor agregado por el director de la escuela o la escuela en su conjunto.
Los críticos dicen que el uso de pruebas para evaluar a los profesores individuales no ha sido científicamente validado, y muchos de los resultados se deben al azar o condiciones fuera del control del profesor, como la tutoría externa. [1] La investigación muestra, sin embargo, que las diferencias en la efectividad de los maestros, medidas por el valor agregado de los maestros, están asociadas con pequeños efectos económicos en los estudiantes. [2]
Método
Los investigadores utilizan procesos estadísticos sobre los puntajes de exámenes anteriores de un estudiante para predecir los puntajes de exámenes futuros del estudiante, asumiendo que los estudiantes generalmente obtienen puntajes aproximadamente tan bien cada año como lo han hecho en años anteriores. Luego, la puntuación real del estudiante se compara con la puntuación prevista. Se supone que la diferencia entre los puntajes pronosticados y reales, si los hubiera, se debe al maestro y la escuela, más que a la capacidad natural del estudiante o las circunstancias socioeconómicas.
De esta manera, el modelo de valor agregado intenta aislar las contribuciones del maestro de factores fuera del control del maestro que se sabe que afectan fuertemente el desempeño de los estudiantes en las pruebas, incluida la inteligencia general del estudiante , la pobreza y la participación de los padres.
Al agregar todos estos resultados individuales, los estadísticos pueden determinar cuánto un maestro en particular mejora el rendimiento de los estudiantes, en comparación con cuánto habría mejorado el maestro típico el rendimiento de los estudiantes.
Los estadísticos utilizan modelos lineales jerárquicos para predecir la puntuación de un estudiante determinado en un aula determinada en una escuela determinada. Esta predicción se basa en los resultados agregados de todos los estudiantes. El puntaje previsto de cada estudiante puede tener en cuenta el nivel del estudiante (p. Ej., Rendimiento pasado, estado socioeconómico, raza / etnia), nivel de maestro (p. Ej., Certificación, años de experiencia, título más alto obtenido, prácticas de enseñanza, materiales de instrucción, plan de estudios) y nivel escolar. (por ejemplo, tamaño, tipo, entorno) variables en consideración. Las variables que se incluyen dependen del modelo.
Usos
A partir de 2010[actualizar], algunos distritos escolares de los Estados Unidos habían adoptado el sistema, incluidas las Escuelas Públicas de Chicago , el Departamento de Educación de la Ciudad de Nueva York y las Escuelas Públicas del Distrito de Columbia . Las clasificaciones se han utilizado para decidir sobre cuestiones de retención de los docentes y la concesión de bonificaciones, así como una herramienta para identificar a los docentes que se beneficiarían más de la formación docente. [1] Bajo Race to the Top y otros programas que abogan por mejores métodos para evaluar el desempeño de los maestros, los distritos han buscado modelos de valor agregado como un complemento a la observación de los maestros en las aulas. [1]
El legislador de Luisiana Frank A. Hoffmann presentó un proyecto de ley para autorizar el uso de técnicas de modelado de valor agregado en las escuelas públicas del estado como un medio para recompensar a los maestros fuertes e identificar métodos pedagógicos exitosos, así como para proporcionar un medio para proporcionar desarrollo profesional adicional para aquellos profesores identificados como más débiles que otros. A pesar de la oposición de la Federación de Maestros de Luisiana, el proyecto de ley fue aprobado por el Senado del estado de Luisiana el 26 de mayo de 2010 y fue inmediatamente promulgado por el gobernador Bobby Jindal . [3]
Los expertos no recomiendan el uso de modelos de valor agregado como el único determinante de cualquier decisión. [4] En cambio, recomiendan usarlo como un factor significativo en un programa de evaluación multifacético. [5]
Limitaciones
Como sistema de evaluación con referencia a normas , el desempeño del docente se compara con los resultados observados en otros docentes del grupo de comparación elegido. Por lo tanto, es posible usar este modelo para inferir que un maestro es mejor, peor o igual que el maestro típico, pero no es posible usar este modelo para determinar si un determinado nivel de desempeño es deseable.
Debido a que el puntaje esperado de cada estudiante se deriva en gran medida de los puntajes reales del estudiante en años anteriores, es difícil usar este modelo para evaluar a los maestros de jardín de infantes y primer grado. Algunas investigaciones limitan el modelo a los profesores de tercer grado en adelante.
Es posible que las escuelas no puedan obtener las calificaciones anteriores de los estudiantes nuevos de las escuelas anteriores de los estudiantes, o las calificaciones pueden no ser útiles debido a la no comparabilidad de algunas pruebas. Una escuela con altos niveles de rotación de estudiantes puede tener dificultades para recopilar datos suficientes para aplicar este modelo. Cuando los estudiantes cambian de escuela a la mitad del año, su progreso durante el año no se puede atribuir únicamente a sus maestros finales.
Los puntajes de valor agregado son más sensibles a los efectos del maestro para las matemáticas que para el lenguaje. [4] Esto puede deberse al uso generalizado de pruebas mal construidas para la lectura y las habilidades lingüísticas, o puede deberse a que los profesores finalmente tienen menos influencia sobre el desarrollo del lenguaje. [4] Los estudiantes aprenden habilidades lingüísticas de muchas fuentes, especialmente de sus familias, mientras que aprenden habilidades matemáticas principalmente en la escuela.
Existe cierta variación en las puntuaciones de un año a otro y de una clase a otra. Esta variación es similar a las medidas de desempeño en otros campos, como las Grandes Ligas y, por lo tanto, puede reflejar variaciones reales y naturales en el desempeño del maestro. [4] Debido a esta variación, las puntuaciones son más precisas si se derivan de un gran número de estudiantes (normalmente 50 o más). Como resultado, es difícil utilizar este modelo para evaluar a los maestros de primer año, especialmente en la escuela primaria, ya que es posible que solo hayan enseñado a 20 estudiantes. Es probable que una clasificación basada en un solo salón de clases clasifique correctamente al maestro alrededor del 65% del tiempo. Este número aumenta al 88% si se dispone de datos de diez años. [6] Además, debido a que el intervalo de confianza es amplio, el método es más confiable cuando se identifica a los maestros que se encuentran consistentemente en el 10% superior o inferior, en lugar de tratar de establecer distinciones precisas entre los maestros que producen logros más o menos típicos, como tratando de determinar si un maestro debe ser calificado como ligeramente por encima o por debajo de la mediana. [6]
Los puntajes de valor agregado asumen que los estudiantes se asignan aleatoriamente a los maestros. En realidad, los estudiantes rara vez se asignan al azar a maestros o escuelas. Según el economista y profesor, el Dr. Jesse M. Rothstein de la Universidad de California, Berkeley , "la asignación no aleatoria de estudiantes a maestros puede sesgar las estimaciones de valor agregado de los efectos causales de los maestros". [7] La cuestión del posible sesgo con el uso de medidas de valor agregado ha sido objeto de considerables estudios recientes, y otros investigadores llegan a la conclusión de que las medidas de valor agregado proporcionan buenas estimaciones de la eficacia de los docentes. Véase, por ejemplo, el trabajo reciente del proyecto Medidas de enseñanza eficaz [8] y el análisis de cómo las medidas de valor añadido se relacionan con los ingresos futuros del profesor Raj Chetty de Harvard y sus colegas. [9]
Investigar
La idea de juzgar la eficacia de los profesores sobre la base de las ganancias de aprendizaje de los estudiantes fue introducida por primera vez [10] en la literatura de investigación en 1971 por Eric Hanushek , [11] actualmente miembro principal del conservador [12] [13] [14] Hoover Institution , un grupo de expertos en políticas públicas estadounidense ubicado en la Universidad de Stanford en California . Posteriormente fue analizado por Richard Murnane de la Universidad de Harvard, entre otros. [15] El enfoque se ha utilizado en una variedad de análisis diferentes para evaluar la variación en la efectividad de los maestros dentro de las escuelas, y la estimación ha mostrado diferencias grandes y consistentes entre los maestros en el ritmo de aprendizaje de sus estudiantes. [dieciséis]
El estadístico William Sanders , gerente senior de investigación de SAS, introdujo el concepto en las operaciones escolares cuando desarrolló modelos de valor agregado para los distritos escolares de Carolina del Norte y Tennessee . Creada por primera vez como una herramienta de evaluación de maestros para programas escolares en Tennessee en la década de 1990, el uso de la técnica se expandió con la aprobación de la legislación Que Ningún Niño Se Quede Atrás en 2002. Basado en su experiencia e investigación, Sanders argumentó que "si se usa riguroso , métodos sólidos y rodearlos de salvaguardias, puede distinguir de manera confiable a los maestros altamente efectivos de los maestros promedio y de los maestros ineficaces ". [1]
Un estudio de 2003 de la RAND Corporation preparado para la Carnegie Corporation de Nueva York , dijo que el modelo de valor agregado "promete separar los efectos de los maestros y las escuelas de los poderosos efectos de factores no educativos como los antecedentes familiares" y que los estudios había demostrado que había una amplia variación en las puntuaciones de los maestros cuando se usaban tales modelos, lo que podría hacer que el modelado de valor agregado fuera una herramienta eficaz para evaluar y recompensar el desempeño de los maestros si la variabilidad se pudiera corroborar como vinculada al desempeño de los maestros individuales. [17]
El Los Angeles Times informó sobre el uso del programa en las escuelas de esa ciudad, la creación de un sitio web de búsqueda que proporciona la puntuación calculada por el sistema de modelos de valor agregado para 6.000 maestros de escuelas primarias en el distrito. El secretario de Educación de los Estados Unidos, Arne Duncan, elogió el informe del periódico sobre las calificaciones de los maestros y lo citó como un modelo de mayor transparencia, aunque señaló que una mayor apertura debe equilibrarse con las preocupaciones sobre "privacidad, equidad y respeto por los maestros". [1] En febrero de 2011, Derek Briggs y Ben Domingue del Centro Nacional de Políticas de Educación (NEPC) publicaron un informe que volvía a analizar el mismo conjunto de datos del Distrito Escolar Unificado de Los Ángeles, intentando replicar los resultados publicados en el Times , y encontraron serios limitaciones de la investigación anterior, concluyendo que "la investigación en la que se basó Los Angeles Times para su informe de eficacia docente de agosto de 2010 fue demostrablemente inadecuada para respaldar las clasificaciones publicadas". [18]
La Fundación Bill y Melinda Gates patrocina un estudio de varios años sobre modelos de valor agregado con su programa Medidas de enseñanza eficaz. Los resultados iniciales, publicados en diciembre de 2010, indican que tanto el modelo de valor agregado como la percepción de los estudiantes de varios rasgos clave de los maestros, como el control del aula y desafiar a los estudiantes con un trabajo riguroso, identifican correctamente a los maestros efectivos. [4] El estudio sobre las evaluaciones de los estudiantes fue realizado por Ronald Ferguson . El estudio también descubrió que los maestros que enseñan para la prueba son mucho menos efectivos y tienen puntajes de modelado de valor agregado significativamente más bajos que los maestros que promueven una comprensión conceptual profunda del plan de estudios completo. [4] Sin embargo , el nuevo análisis de los resultados del informe MET realizado por Jesse Rothstein, economista y profesor de la Universidad de California, Berkeley , cuestiona algunas de estas interpretaciones. [19] Rothstein argumenta que los análisis del informe no respaldan las conclusiones y que "interpretados correctamente ... [ellos] socavan en lugar de validar los enfoques basados en el valor agregado para la evaluación de los docentes". [20] El trabajo más reciente del proyecto MET, sin embargo, valida el uso de enfoques de valor agregado. [8]
Directores y líderes
La idea general del modelo de valor agregado también se ha extendido para considerar a los directores y líderes escolares. Si bien ha habido una considerable discusión anecdótica sobre la importancia de los líderes escolares, ha habido muy poca investigación sistemática sobre su impacto en los resultados de los estudiantes. Un análisis reciente en Texas ha proporcionado evidencia sobre la efectividad de los líderes al observar cómo cambian los logros en el rendimiento de los estudiantes para una escuela después de que cambia el director. Este enfoque basado en resultados para medir la efectividad de los directores es muy similar al modelo de valor agregado que se ha aplicado a la evaluación de los maestros. Las primeras investigaciones en Texas encuentran que los directores tienen un gran impacto en el rendimiento de los estudiantes. [21] Las estimaciones conservadoras indican que un líder escolar eficaz mejora el rendimiento de todos los estudiantes en una escuela, con una magnitud igual en promedio a dos meses de ganancias de aprendizaje adicionales para los estudiantes en cada año escolar. Estos avances provienen, al menos en parte, del impacto del director en la selección y retención de buenos maestros. Sin embargo, los directores ineficaces tienen un efecto negativo igualmente grande en el desempeño escolar, lo que sugiere que los temas de evaluación son tan importantes con respecto al liderazgo escolar como lo son para los maestros.
Críticas e inquietudes
Un informe publicado por el Instituto de Política Económica en agosto de 2010 reconoció que "las escuelas públicas estadounidenses generalmente hacen un mal trabajo al desarrollar y evaluar sistemáticamente a los maestros", pero expresó su preocupación de que usar el desempeño en pruebas estandarizadas como una herramienta de medición no conducirá a un mejor desempeño. El informe de EPI recomienda que las medidas de desempeño basadas en puntajes de pruebas estandarizadas sean un factor entre muchos que deben considerarse para "proporcionar una visión más precisa de lo que los maestros hacen en el aula y cómo eso contribuye al aprendizaje de los estudiantes". El estudio calificó el modelado de valor agregado como un medio más justo de comparar a los maestros que permite mejores medidas de las metodologías educativas y el desempeño escolar general, pero argumentó que los puntajes de las pruebas de los estudiantes no eran lo suficientemente confiables como un medio para tomar "decisiones de personal de alto riesgo". [22]
Edward Haertel, quien dirigió el equipo de investigación del Instituto de Política Económica, escribió que las metodologías impulsadas como parte del programa Race to the Top pusieron "demasiado énfasis en las medidas de crecimiento en el rendimiento de los estudiantes que aún no se han estudiado adecuadamente para los propósitos de evaluar a maestros y directores "y que las técnicas de modelado de valor agregado deben evaluarse más a fondo y solo deben usarse" en proyectos piloto estudiados de cerca ". [1]
El investigador de políticas educativas Gerald Bracey argumentó además que es posible que una correlación entre los maestros y los cambios a corto plazo en los puntajes de las pruebas puedan ser irrelevantes para la calidad real de la enseñanza. Por lo tanto, "no puede permitir inferencias causales sobre maestros individuales. En el mejor de los casos, es un paso inicial para identificar a los maestros que podrían necesitar desarrollo profesional adicional". [23]
La Asociación Estadounidense de Estadística emitió una declaración el 8 de abril de 2014 criticando el uso de modelos de valor agregado en la evaluación educativa, sin descartar la utilidad de tales modelos. La ASA citó limitaciones de los datos de entrada, la influencia de factores no incluidos en los modelos y grandes errores estándar que resultan en clasificaciones inestables de un año a otro. [24]
John Ewing, escribiendo en Notices of the American Mathematical Society criticó el uso de modelos de valor agregado en la evaluación educativa como una forma de "intimidación matemática" y un "arma retórica". Ewing citó problemas con los datos de entrada y la influencia de factores no incluidos en el modelo. [25]
Alternativas
Se han implementado varias alternativas para la evaluación docente:
- Evaluación por parte de los estudiantes : si se les hacen preguntas validadas, los estudiantes de cuarto grado pueden identificar con precisión a los maestros efectivos. [4] Las evaluaciones de los cursos son comunes en las universidades, pero rara vez cuentan más que una fracción trivial en la decisión de retener o despedir a un maestro. [ cita requerida ]
- Actividades fuera del aula : parte de la evaluación de un maestro generalmente incluye la participación en eventos de capacitación del personal. Por ejemplo, a un maestro que completa una maestría casi siempre se le paga más, a pesar de que tener una maestría no tiene ningún efecto en el rendimiento de los estudiantes. [26] [ cita requerida ]
La mayoría de los expertos recomiendan utilizar múltiples medidas para evaluar la eficacia de los profesores. [27]
Ver también
- Eficacia del educador
- Evaluación ipsativa , en la que se compara a los estudiantes con su propio desempeño anterior.
- Evaluación de la calidad del profesorado
- Valor contextual agregado
Referencias
- ^ a b c d e f Dillon, Sam. "Method to Grade Teachers Provokes Battles" , The New York Times , 31 de agosto de 2010. Consultado el 1 de septiembre de 2010.
- ^ También es complicado calcular una estimación precisa si los estudiantes tienen muchos profesores en el transcurso de un año. Eric Hanushek , "Valorar a los profesores: ¿Cuánto vale un buen profesor?" Education Next 11, no. 3 (verano de 2011) .; Raj Chetty, John N. Friedman y Jonah E. Rockoff, " Midiendo los impactos de los maestros II : Valor agregado de los maestros y resultados de los estudiantes en la edad adulta", American Economic Review, Volumen 104, Número 9, septiembre de 2014, págs. 2633- 2679.
- ^ Personal. "El proyecto de ley de evaluación de valor agregado es ahora ley" , "Louisiana Federation of Teachers Weekly Legislative Digest" , 28 de mayo de 2010. Consultado el 1 de septiembre de 2010.
- ^ a b c d e f g "Aprender sobre la enseñanza: hallazgos iniciales del programa de medición de la enseñanza eficaz" . Fundación Bill y Melinda Gates. Diciembre de 2010. Resumen de laicos - Los Angeles Times (11 de diciembre de 2010). Cite journal requiere
|journal=
( ayuda ) - ^ Scherrer, Jimmy (2011). "Medir la enseñanza mediante modelos de valor agregado: la panacea imperfecta". Boletín NASSP . 95 (2): 122–140. doi : 10.1177 / 0192636511410052 . S2CID 145460616 .
- ^ a b Otterman, Sharon (26 de diciembre de 2010). "Los obstáculos surgen en un esfuerzo creciente para calificar a los maestros" . The New York Times .
- ^ Rothstein, Jesse M. (febrero de 2010). "Calidad docente en la producción educativa: seguimiento, decadencia y rendimiento estudiantil" (PDF) . Revista Trimestral de Economía . Archivado desde el original (PDF) el 20 de julio de 2013 . Consultado el 7 de diciembre de 2013 .
- ^ a b Thomas J. Kane, Daniel F. McCaffrey, Trey Miller y Douglas O. Staiger, ¿Hemos identificado maestros eficaces? Validación de medidas de enseñanza eficaz mediante asignación aleatoria. Proyecto MET: Fundación Bill y Melinda Gates (enero de 2013)
- ^ Chetty, Raj ; Friedman, John N .; Rockoff, Jonah. "Midiendo los impactos de los docentes I: Evaluación de sesgos en las estimaciones de valor agregado docente" . The American Economic Review . Asociación Económica Estadounidense .
- ^ Green, Elizabeth (2014). Construyendo un mejor maestro: cómo funciona la enseñanza (y cómo enseñársela a todos) . WW Norton & Company . págs. 40 –44. ISBN 978-0-393-08159-6.
Construyendo un mejor maestro.
- ^ Eric A. Hanushek, "Características de los profesores y ganancias en el rendimiento de los estudiantes: estimación mediante microdatos", American Economic Review , 61 (2), mayo de 1971, págs. 280-288; Eric A. Hanushek, "La compensación entre la cantidad y la calidad de los niños" , Journal of Political Economy , 100 (1), febrero de 1992, págs. 84-117.
- ^ Lindsay, Leon (2 de junio de 1983). "El think tank conservador de Stanford está bajo fuego" . El Monitor de la Ciencia Cristiana . Consultado el 30 de agosto de 2013 .
- ^ de Lama, George (3 de marzo de 1993). "Con el Partido Republicano fuera del poder, el think tank conservador es un lugar más tranquilo" . Chicago Tribune . Consultado el 30 de agosto de 2013 .
- ^ "La Torre Hoover del Think Tank cumple 50 años" . Noticias diarias de Los Ángeles . 19 de julio de 1991 . Consultado el 30 de agosto de 2013 .
- ^ Richard J. Murnane, Impacto de los recursos escolares en el aprendizaje de los niños del centro de la ciudad , Ballinger.
- ^ Eric A. Hanushek y Steven G. Rivkin, "Generalizaciones sobre el uso de medidas de valor agregado de la calidad del maestro" , American Economic Review , 100 (2), mayo de 2010, págs. 267-271. doi : 10.1257 / aer.100.2.267
- ^ McCaffrey, Daniel F .; Lockwood, JR; Koretz, Daniel M .; y Hamilton, Laura S. "Evaluating Value-Added Models for Teacher Accountability" , RAND Corporation , 2003. Consultado el 1 de septiembre de 2010.
- ^ Briggs, D. y Domingue, B. "Due Diligence and the Evaluation of Teachers" , Centro Nacional de Políticas de Educación , 2011. Consultado el 3 de abril de 2011.
- ^ Rothstein, R. "Revisión del aprendizaje sobre la enseñanza" , Centro de políticas de educación nacional , diciembre de 2010.
- ^ "Informe de Gates que promociona el 'valor agregado' llegó a una conclusión incorrecta | Centro Nacional de Políticas de Educación" . Nepc.colorado.edu. 2011-01-13 . Consultado el 13 de enero de 2014 .
- ^ Gregory Branch, Eric Hanushek y Steven G. Rivkin, "Los líderes escolares importan: medir el impacto de los directores efectivos" , Education Next 13 (1), invierno de 2013.
- ^ Baker, Eva L .; Barton, Paul E .; Darling-Hammond, Linda ; Haertel, Edward; Ladd, Hellen F .; Linn, Robert L .; Ravitch, Diane ; Rothstein, Richard; Shavelson, Richard J .; y Shepard, Lorrie A. "Problemas con el uso de los puntajes de las pruebas de los estudiantes para evaluar a los maestros" , Instituto de Política Económica , 29 de agosto de 2010. Consultado el 1 de septiembre de 2010.
- ^ Bracey, Gerald , "Valor restado: un" debate "con William Sanders" , HuffPost , 1 de mayo de 2007. Consultado el 17 de septiembre de 2012.
- ^ Asociación Estadounidense de Estadística , "Declaración de la ASA sobre el uso de modelos de valor agregado para la evaluación educativa" , 8 de abril de 2014. Consultado el 4 de agosto de 2017.
- ^ Ewing, John, "Intimidación matemática: impulsada por los datos" , Avisos de la American Mathematical Society , 58: 5, mayo de 2011. Consultado el 4 de agosto de 2017.
- ^ Harris, Douglas N .; Sass, Tim R. (2011). "Formación docente, calidad docente y rendimiento estudiantil". Revista de Economía Pública . 95 (7–8): 798–812. CiteSeerX 10.1.1.567.1794 . doi : 10.1016 / j.jpubeco.2010.11.009 .
- ^ Patricia H. Hinchey (diciembre de 2010). "Lograr la evaluación de los docentes correctamente: lo que los responsables políticos pueden aprender de la investigación" . Resumen de políticas de NEPC .
enlaces externos
- Base de datos de calificaciones de maestros de Los Ángeles e historias de noticias de Los Angeles Times