Les résultats d'une consultation concernant le Research Excellence Framework (REF, Cadre d'excellence de la recherche), qui remplacera le Research Assessment Exercice (RAE, Exercice d'Evaluation de la recherche) après 2008, viennent d'être publiés par le Higher Education Funding Council for England (HEFCE).
Résultats de la consultation
Le texte de la consultation publié en novembre 2007 faisait les propositions suivantes : - évaluation des arts, des sciences de l'Homme et des sciences sociales selon un processus comportant une légère touche d'évaluation par les pairs ; - évaluation des sciences dures selon un panier d'indicateurs métriques incluant les revenus de recherche, le nombre d'étudiants en Master et doctorat et le nombre de citations d'un article par les pairs (à l'exception des citations de ses propres travaux de recherche) ; - utilisation de Thomson Scientific Web of Science comme indicateur de citations.
Après plusieurs événements publics et 338 réponses écrites à la consultation (venant en grande majorité des Higher Education Institutions, HEI), le conseil du HEFCE et le Ministère de l'Innovation, des Universités et des Compétences (Department for Innovation, Universities and Skills, DIUS) se sont accordés sur le développement du nouveau cadre d'évaluation. Deux modifications majeures ont été apportées par rapport aux propositions initialement faites dans la consultation. D'une part le HEFCE est revenu sur la proposition de deux systèmes d'évaluation séparés, l'un pour les sciences dures et l'autre pour les sciences sociales, les sciences de l'Homme et les matières artistiques. D'autre part le calendrier demise en place sera reporté d'un an afin de permettre le développement d'une approche plus flexible. Les évaluations auront donc lieu en 2013, et les résultats et attribution des financements seront publiés en 2014. Par ailleurs, les actes de conférences scientifiques seront inclus dans la bibliographie évaluée, car ils jouent un rôle important dans des disciplines comme l'ingénierie et l'informatique.
Le communiqué du HEFCE révèle que ces modifications reposent sur une inquiétude exprimée dans beaucoup des réponses reçues. Elles impliquent la réintroduction d'une évaluation par les pairs assez légère dans les sciences dures, et l'équilibre entre l'utilisation des indicateurs métriques (critères quantitatifs) et des panels d'experts (critères qualitatifs) dépendra des sujets évalués et de l'avis de ces panels : les critères qualitatifs seront déterminés en fonction des caractéristiques et de la diversité des sujets de recherche dans chaque discipline. L'interprétation et la combinaison des indicateurs utilisés aboutiront à la création d'un profil de qualité qui définira la valeur de la subvention accordée par le HEFCE.
Le directeur du Higher Education Policy Institute (HEPI) se réjouit de ce retournement de situation et indique : "on semble maintenant avoir une évaluation par les pairs informée par les indicateurs métriques [...], ce qui représente une évolution naturelle du RAE".
Un exercice pilote et expérimental au cours de l'année 2008 va permettre la réévaluation des dernières propositions et de répondre aux questions toujours en suspens : les chercheurs et les articles scientifiques publiés doivent-ils être tous inclus dans l'exercice, ou simplement une sélection d'entre eux ; la propriété intellectuelle des articles scientifiques publiés appartient-elle à l'université hôte ou aux auteurs de l'article en question ; quelle gestion mettre en oeuvre pour les articles comportant de multiples auteurs ; quel est le rôle des universités dans la gestion de leurs données.
