El Research Excellence Framework ( REF ) es una evaluación del impacto de la investigación de las instituciones de educación superior británicas. Es el sucesor del ejercicio de evaluación de la investigación y se utilizó por primera vez en 2014 para evaluar el período 2008-2013. [1] [2] REF está a cargo de los cuatro británico que financia la educación superior: Investigación Inglaterra , el Consejo de Financiación de Escocia (SFC), el Consejo de Financiación de Educación Superior para Gales (HEFCW), y el Departamento de Economía , Irlanda del Norte ( DfE).
Sus objetivos declarados son garantizar la rendición de cuentas por la inversión pública en investigación, establecer "criterios de reputación" [3] y, por lo tanto, lograr una asignación eficiente de recursos. Los críticos sostienen, entre otras cosas, que se presta demasiada atención al impacto de la investigación fuera del sistema universitario y que el impacto no tiene una relevancia real para la calidad de la investigación. [ cita requerida ] Se sugiere que REF en realidad fomenta la mediocridad en la investigación publicada y desalienta la investigación que podría tener valor a largo plazo. [ cita requerida ] Se ha argumentado repetidamente que REF hace más daño que bien a la educación superior. [4]
La siguiente iteración del REF sería en 2021, continuando con el modelo de evaluación anterior de centrarse en los resultados de la investigación, el impacto de la investigación y el entorno de investigación. [5] Sin embargo, el proceso se ha retrasado debido a la pandemia de COVID-19 . [6]
Historia
En junio de 2007, el Consejo de Financiamiento de la Educación Superior de Inglaterra (HEFCE) emitió una carta circular anunciando que un nuevo marco para evaluar la calidad de la investigación en las universidades del Reino Unido reemplazaría el Ejercicio de Evaluación de la Investigación (RAE), después del RAE de 2008. [7] La siguiente cita de la carta indica algunas de las motivaciones originales:
Nuestros objetivos clave para el nuevo marco serán:
- Producir indicadores sólidos de excelencia en investigación en todo el Reino Unido para todas las disciplinas que se puedan utilizar para comparar la calidad con los estándares internacionales y para impulsar la financiación del Consejo para la investigación.
- Proporcionar una base para la distribución de fondos principalmente por referencia a la excelencia en la investigación, y para financiar una excelente investigación en todas sus formas dondequiera que se encuentre.
- reducir significativamente la carga administrativa de las instituciones en comparación con el RAE
- para evitar la creación de incentivos conductuales indeseables
- promover la igualdad y la diversidad
- para proporcionar un marco estable para nuestro apoyo continuo de una base de investigación líder en el mundo dentro de la educación superior.
La carta también establece un calendario para el desarrollo de la REF. HEFCE llevó a cabo un ejercicio de consulta durante septiembre-diciembre de 2009, solicitando respuestas de las partes interesadas sobre las propuestas. [8] Estos incluyen, por ejemplo, la respuesta de Universities UK , [9] y la respuesta de University and College Union . [10]
En julio de 2010 (después de las elecciones generales de mayo de 2010 ), el ministro de Universidades y Ciencia, David Willetts, anunció que la REF se retrasaría un año para evaluar la eficacia de la medida de impacto. [11]
En julio de 2016, se publicó la revisión de Lord Nicholas Stern , que redactaba directrices generales para la próxima REF en 2021. [12] En general, la revisión apoyó la metodología utilizada en 2014 para evaluar la investigación de las universidades, sin embargo, enfatizó la necesidad de más el compromiso con el público en general y el aumento del número de estudios de casos que adoptaron un enfoque interdisciplinario . [12] El equipo de Research-impact.org de la Escuela de Economía y Negocios de la Universidad de Loughborough ha estado experimentando con la financiación colectiva para la investigación con el fin de aumentar la participación pública de los investigadores de la universidad. [13]
Impacto de la investigación
El impacto de REF se definió como "un efecto, cambio o beneficio para la economía, la sociedad, la cultura, las políticas o servicios públicos, la salud, el medio ambiente o la calidad de vida, más allá de la academia". [14]
Criterio de evaluación
Las presentaciones se evalúan de acuerdo con los siguientes criterios: [15]
- Cuatro estrellas: Calidad líder mundial en originalidad, significación y rigor.
- Tres estrellas: Calidad que es internacionalmente excelente en originalidad, significación y rigor, pero que no alcanza los más altos estándares de excelencia.
- Dos estrellas: Calidad reconocida internacionalmente en originalidad, significación y rigor.
- Una estrella: Calidad reconocida a nivel nacional en originalidad, significación y rigor.
- Calidad no clasificada: que cae por debajo del estándar de trabajo reconocido a nivel nacional. O trabajo que no cumple con la definición publicada de investigación para los propósitos de esta evaluación.
Clasificaciones de desempeño
Dos editoriales, The Guardian [16] y Times Higher Education , [17] elaboran clasificaciones generales de universidades multidisciplinarias basadas en el poder y la calidad (GPA).
Los rankings de poder tienen como objetivo mostrar universidades con una amplitud de calidad, mientras que los rankings de calidad tienen como objetivo mostrar la profundidad de la calidad.
Las clasificaciones de Guardian Power solo consideran las clasificaciones calificadas con cuatro y tres estrellas, mientras que las clasificaciones de Times Higher Education Power consideran las clasificaciones de todas las clasificaciones.
Un ranking de calidad adicional es el que clasifica a las instituciones de acuerdo con la proporción de su investigación calificada como "Cuatro estrellas". Es decir, las investigaciones presentadas calificadas como "Calidad líder mundial en originalidad, significación y rigor". [18]
Clasificación | EL eléctricos para la Investigación 10 | The Guardian Research Power Top 10 | EL Top 10 de Calidad (GPA) | Top 10 para el% más alto con la investigación 'líder mundial' |
---|---|---|---|---|
1 | University College de Londres | Universidad de Oxford | Colegio Imperial de Londres | Escuela de Economía de Londres |
2 | Universidad de Oxford | University College de Londres | Escuela de Economía de Londres | Universidad de Oxford |
3 | Universidad de Cambridge | Universidad de Cambridge | Universidad de Oxford | Universidad de Cambridge |
4 | Universidad de Edimburgo | Universidad de Edimburgo | Universidad de Cambridge | Colegio Imperial de Londres |
5 | Universidad de Manchester | Universidad de Manchester | Universidad de Cardiff | University College de Londres |
6 | King's College de Londres | Colegio Imperial de Londres | King's College de Londres | Universidad de Cardiff |
7 | Universidad de Nottingham | King's College de Londres | University College de Londres | King's College de Londres |
8 | Colegio Imperial de Londres | Universidad de Nottingham | Universidad de Warwick | Universidad de Edimburgo |
9 | Universidad de bristol | Universidad de bristol | Universidad de Edimburgo | Universidad de Warwick |
10 | Universidad de Leeds | Universidad de Leeds | Universidad de bristol | Universidad de bristol |
Dado que los porcentajes de personal elegible presentado en la evaluación REF son significativamente diferentes en diferentes universidades, Times Higher Education también proporciona una clasificación de intensidad de investigación que considera la proporción del personal elegible presentado. [19] En esta clasificación REF de intensidad de investigación, las treinta mejores universidades, excluidas tres instituciones especializadas, son las siguientes.
Clasificación | EL Top 30 de intensidad de investigación |
---|---|
1 | Universidad de Cambridge |
2 | Colegio Imperial de Londres |
3 | University College de Londres |
4 | Universidad de bristol |
5 | Universidad de Oxford |
6 | Escuela de Economía y Ciencias Políticas de Londres |
7 | Universidad de la Reina de Belfast |
7 | Universidad de Southampton |
9 | Universidad de Warwick |
10 | Universidad de Edimburgo |
11 | Universidad de Loughborough |
12 | Universidad de Glasgow |
13 | Universidad de St Andrews |
14 | King's College de Londres |
15 | Universidad de Strathclyde |
dieciséis | Universidad de Exeter |
dieciséis | Universidad de Kent |
dieciséis | Universidad de Reading |
19 | Universidad de Essex |
20 | Universidad de Birmingham |
21 | Universidad de Durham |
21 | Goldsmiths, Universidad de Londres |
23 | Universidad de Newcastle |
23 | Universidad de Manchester |
25 | Universidad de Nottingham |
26 | Universidad de Lancaster |
27 | Birkbeck, Universidad de Londres |
28 | Royal Holloway, Universidad de Londres |
29 | Universidad de York |
30 | Universidad de Sheffield |
Controversias y críticas
Una fuente particular de crítica ha sido el elemento de la REF que aborda el "impacto" de la investigación. Los artículos siguientes plantean dos objeciones. La principal es que "impacto" se ha definido como un impacto fuera de la academia. Si los investigadores tuvieran que perseguir esta forma de impacto, socavaría la libertad académica . La otra es que el impacto, tal como se interpreta actualmente, es difícil de medir de una manera que se considere justa e imparcial. [20] [21] [22]
El Consejo de Financiamiento de la Educación Superior de Inglaterra argumenta que su medida de "impacto" es amplia y abarcará el impacto sobre la "economía, la sociedad, las políticas públicas, la cultura y la calidad de vida". [20] Sin embargo, la estructura de evaluación hace que el impacto que se pueda reclamar en la práctica sea bastante estrecho (límite de 4 páginas, sin sección de método, 10 referencias de impacto, 10 referencias de investigación y solo 1 página para resumir la investigación y el impacto respectivamente). Estas estrictas pautas discursivas junto con la noción anticuada de la REF de cómo funciona el impacto de la investigación (excluyendo el impacto de la investigación en la enseñanza, modelo lineal, etc.) restringen qué impacto se adapta prácticamente más a la evaluación. [ cita requerida ]
Otra área de crítica, que la REF heredó de la estructura de la RAE, es que para la mayoría de los miembros del personal a tiempo completo, la presentación normalmente consiste en cuatro 'ítems de resultados de investigación' publicados. No se reconoce la diferencia entre un libro y un artículo en términos de valor de investigación. Por lo tanto, el sistema REF desalienta los proyectos a largo plazo que buscan la excelencia. Este problema es particularmente evidente en las humanidades, donde la mayoría de las investigaciones innovadoras tradicionalmente no se publican en artículos. Por lo tanto, muchos investigadores se ven empujados hacia una actividad relativamente mediocre, que les permitirá producir uno o dos libros durante el período de evaluación, pero no el tipo de monografía que normalmente necesitaría cuatro o cinco años de investigación y redacción. [ cita requerida ]
Además, el sistema de los cuatro elementos publicados desalienta los proyectos a largo plazo con un riesgo de investigación relativamente alto también en las ciencias, ya que los investigadores se muestran reacios a participar en proyectos o experimentos que pueden no tener éxito y no dar lugar a una publicación. Dado que la mayor parte de la investigación pionera en las ciencias se lleva a cabo precisamente con proyectos tan arriesgados e imaginativos, el tipo de actividad de investigación que fomenta la estructura REF es bastante conservador. Además, en términos del impacto de la investigación examinada, en la historia de las ciencias y las humanidades no es inusual tomar algún tiempo hasta que se produzca el impacto total de un descubrimiento. El sistema actual tiene una perspectiva de sólo cuatro o cinco años. [ cita requerida ]
El Times Higher Education también reveló que algunas universidades parecían estar "jugando" al sistema REF. Esto incluyó la "caza furtiva REF", en la que el personal con antecedentes de investigación establecidos fue reclutado de sus universidades inmediatamente antes de la REF, dando a la institución de caza furtiva todo el crédito por sus publicaciones sin haber asumido el riesgo de apoyar al investigador. También incluyó el empleo de una gran cantidad de personal con contratos de 0,2 FTE, el nivel más bajo de empleo que los califica para la presentación de REF. [23]
Además de estas preocupaciones sobre lo que realmente se puede medir con cuatro elementos de resultados de investigación y cómo se puede medir el impacto, a menudo se critica a todo el sistema por ser innecesariamente complejo y costoso, mientras que la evaluación de la calidad en la era digital podría ser mucho más simple y eficaz. [24]
El sistema, con sus implicaciones financieras asociadas, también ha sido criticado por desviar recursos de la enseñanza. Como tal, los aumentos en las tarifas de los estudiantes a menudo no han dado lugar a que el personal dedicara más tiempo a la enseñanza. [ cita requerida ]
En julio de 2016, se publicó la revisión de Lord Nicholas Stern , que redactaba las directrices generales para la próxima REF en 2021. [25] Una de las recomendaciones era aumentar la participación del público en la investigación. La participación en la investigación significa mejorar la entrega de los beneficios de la investigación. También significa hacer que el público sea más consciente de los resultados de la investigación y sus implicaciones. Un mecanismo para la participación pública es el crowdfunding para la investigación, donde las plataformas dedicadas albergan campañas de crowdfunding para la investigación universitaria, en una variedad de temas. El crowdfunding para la investigación tiene dos ventajas: una, es una fuente de financiación garantizada relativamente alta, con una tasa de alrededor del 50%; segundo, es una herramienta muy eficaz para interactuar con el público en general. [13]
Un problema que la revisión de Stern no abordó en relación con la evaluación de impacto de la investigación es que la estructura de la plantilla de diseño del estudio de caso en la que se evalúa el impacto no contiene una sección de método y, por lo tanto, se hace la evaluación de qué tipo de impacto se reclamó un juego retórico de quién puede reclamar más (cf. Brauer, 2018). [26] Por tanto, la estructura de evaluación incentiva las grandes reclamaciones. El problema ocurre porque los juicios cualitativos sobre la importancia y el alcance del impacto (sin una explicación del método subyacente) cimentan los valores contemporáneos en la evaluación, como tal; "[…] Llamémoslo socialmente construido, aprendizaje mutuo, práctica social como sea, la clave es que no podemos separar las características del Impacto del proceso impuesto al valor y reconocerlo como tal " (Derrick, 2018: 160) [27 ] Al verificar la referencia de las afirmaciones actuales, estas no eran accesibles (por ejemplo, los sitios web relevantes fueron eliminados), referenciadas de tal manera que no reflejaban autoría propia o testimonios de personas relacionadas con el investigador (Brauer, 2018 : 142-147). De manera similar, Sayer (2014) [28] critica la revisión general por pares del proceso REF, describiéndolo como un pobre simulacro de calidad académica estándar y que el proceso de evaluación se complica aún más por la gran carga de trabajo de la evaluación (p. 35). En una nota similar, un estudio de RAND encontró que la mayoría de las referencias nunca fueron consultadas, ciertos paneles de evaluación no se animaron a usar Internet y la estructura de ayuda de referencia de la REF tardó a veces dos semanas en producir referencias asociadas. [29] Por lo tanto, el enfoque de impacto externo disciplina la evaluación para que se enfoque en valores externos. [30]
En 2018, se dijo que REF tiene efectos negativos en las humanidades. [31]
Ver también
- Ejercicio de evaluación de la investigación
- Marco de excelencia docente
Referencias
- ^ "Resultados y presentaciones: REF 2014" . Consultado el 22 de diciembre de 2014 .
- ^ Atkinson, Peter M. (11 de diciembre de 2014). "Evaluar el costo real de la evaluación de la investigación" . Visión del mundo. Naturaleza (papel). 516 (7530): 145. doi : 10.1038 / 516145a .
- ^ "¿Qué es la REF?" . REF2021 . Consultado el 24 de julio de 2018 .
- ^ Dorothy Bishop en Times Higher Education (2016). https://www.timeshighereducation.com/blog/clarity-purpose-tef-and-ref
- ^ Inglaterra, Consejo Superior de Financiamiento. "2017: Los organismos de financiación confirman la forma de REF 2021 - REF 2021" . www.ref.ac.uk . Consultado el 29 de junio de 2018 .
- ^ https://www.ref.ac.uk/publications/further-update-on-coronavirus-covid-19-and-ref-timetable/
- ^ Eastwood, David (6 de marzo de 2007). "Marco futuro para la evaluación y financiación de la investigación" . HEFCE . circular número 06/2007. Archivado desde el original el 2 de febrero de 2010.
- ^ "Marco de excelencia en la investigación: Segunda consulta sobre evaluación y financiación de la investigación" . HEFCE . Septiembre de 2009. 2009/38 . Consultado el 10 de enero de 2015 .
- ^ "Respuesta de las universidades del Reino Unido a la consulta de HEFCE sobre el Marco de Excelencia en Investigación (REF)" . Universidades del Reino Unido . 13 de diciembre de 2009. Archivado desde el original ( .doc ) el 16 de julio de 2011.
- ^ "Respuesta al Marco de Excelencia en la Investigación: Segunda consulta sobre la evaluación y financiación de la investigación" (PDF) . Unión Universitaria y Universitaria . Diciembre de 2009.
- ^ Baker, Simon (8 de julio de 2010). "REF pospuesto mientras Willetts espera impacto 'consenso ' " . Times High. Educ.
- ^ a b Severo, Lord Nicholas; et al. (Julio de 2016). "Aprovechar el éxito y aprender de la experiencia" (PDF) . gov.uk . Gobierno del Reino Unido . Consultado el 3 de enero de 2017 .
- ^ a b Rubin, Tzameret (2017). "¿Es posible conseguir que la multitud financie la investigación, no es el papel del gobierno?" . AESIS . Consultado el 23 de diciembre de 2016 .
- ^ McLellan, Timothy (25 de agosto de 2020). "Impacto, teoría del cambio y los horizontes de la práctica científica" . Estudios Sociales de la Ciencia : 030631272095083. doi : 10.1177 / 0306312720950830 . ISSN 0306-3127 .
- ^ "Marco de evaluación y orientación para la presentación" (PDF) . Marco de excelencia en investigación. Julio de 2011. p. 43. REF 02.2011.
- ^ "Marco de Excelencia en Investigación Universitaria 2014 - las clasificaciones completas" . The Guardian . ISSN 0261-3077 . Consultado el 3 de mayo de 2019 .
- ^ "REF 2014: resultados por asignatura" . Times Higher Education (THE) . 2014-12-18 . Consultado el 3 de mayo de 2019 .
- ^ Coughlan, Sean (18 de diciembre de 2014). "Londres superando la dominación de Oxbridge" . BBC . Consultado el 3 de mayo de 2019 .
- ^ "REF 2014: ganadores y perdedores en el ranking de 'intensidad'" . Times Higher Education (THE) . 2014-12-19 . Consultado el 3 de mayo de 2019 .
- ^ a b Shepherd, Jessica (13 de octubre de 2009). "Investigación en humanidades amenazada por demandas de 'impacto económico ' " . Educación. The Guardian . Londres.
- ^ Oswald, Andrew (26 de noviembre de 2009). "REF debería permanecer fuera del juego" . The Independent . Londres.
- ^ Fernández-Armesto, Felipe (3 de diciembre de 2009). "Impacto venenoso" . Times Higher Education .
- ^ Jump, Paul (26 de septiembre de 2013). "Los contratos del veinte por ciento aumentan en el período previo al REF" . Times Higher Education .
- ^ Dunleavy, Patrick (10 de junio de 2011). "El Marco de Excelencia en la Investigación es pesado y caro. Por una fracción del costo, un censo digital de la investigación académica crearía información genuina e inigualable sobre el desempeño investigador de las universidades del Reino Unido" . Escuela de Economía de Londres .
- ^ Stern, L. (2016). Aprovechar el éxito y aprender de la experiencia: una revisión independiente del marco de investigación de excelencia.
- ^ Brauer, R. (2018): ¿Qué impacto de la investigación? El turismo y el ecosistema de investigación cambiante del Reino Unido. Guildford: Universidad de Surrey (tesis doctoral). disponible en: http://epubs.surrey.ac.uk/id/eprint/846043
- ↑ Derrick, G. (2018). El ojo de los evaluadores: Evaluación de impacto y revisión académica por pares. Berlín: Springer.
- ^ Sayer, D. (2014). Hipocresías de rango: El insulto de la REF. Sabio.
- ^ "Evaluación del proceso de presentación del elemento de impacto de REF" . www.rand.org . Consultado el 3 de mayo de 2019 .
- ^ "Midiendo el impacto social y el valor de la investigación" . www.rand.org . Consultado el 3 de mayo de 2019 .
- ^ Study International Staff (7 de diciembre de 2018). "Cuidado con el ranking 'Research Excellence Framework' en las humanidades" . SI News . Consultado el 19 de septiembre de 2019 .
enlaces externos
- Sitio web REF
- El segundo marco de investigación en el sitio web de HEFCE