L’évaluation des universités anglaises selon le nouveau rapport de l’HEFCE
La London Review of Books du 25 février 2010, vol. 32, n. 4, p. 9-10 a publié un article de Ross McKibbin « Good for Business », qui analyse, critique et remet dans une perspective politique et historique les directives publiées dans le rapport The Research Excellence Framework: Second Consultation on the Assessment and Funding of Research (REF) que le Higher Education Funding Council for England (HEFCE) a rendu public en février dernier.
En bref, il s’agit donc de savoir selon quels principes les universités de Grande Bretagne vont être financées.
McKibbin commence par résumer le rapport, et en cite un certain nombre de passages, de manière à en montrer le langage bureaucratique.
D’après ce rapport, trois critères serviront à évaluer les départements.
i) « output ». C’est l’excellence de la recherche si l’on peut dire en soi, en tant qu’elle est évaluée par les pairs. Cela compte tout de même pour 60% de l’évaluation.
ii) « impact ». C’est bien d’être excellent, mais c’est mieux de rapporter des « profits manifestes à l’économie, la société, les politiques publiques, la culture, la qualité de la vie ». Vous vous demandez comment le caractère manifeste de ces profits va être évalué ? La réponse est que « les impacts seront évalués selon une méthode par étude de cas, qui sera testée dans une période pilote ». Bon, si vous le préférez en anglais : « Impacts will be assessed through a case-study approach that will be tested in a pilot exercise. » C’est *seulement* 25%.
iii) « environement ». Là, je renonce, parce que je ne comprends tout simplement pas à quoi cela correspond. Je vous le laisse donc tel quel : « The REF will take account of the quality of the research environment in supporting a continuing flow of excellent research and its effective dissemination and application. La bonne nouvelle est que cela ne représente que 15%.
Les départements choisissent quels membres sont évalués, et sont placés sur une échelle à 5 notes.
McKibbin critique ensuite les deux premiers critères et la manière dont ils sont mis en œuvre. Malheureusement pour moi, il ne discute pas du troisième critère, de sorte que je ne saurai pas ce qu’il en est.
i) Il note que l’évaluation de l’ « output » sera assurément fait par des pairs (rebaptisés « experts »), mais que ceux-ci seront guidés par une série d’indicateurs, encore à définir.
ii) Il s’alarme de ce que 25% de l’évaluation de la recherche dépende d’une grandeur aussi mal définie que son impact sociétal, d’autant que ce dernier sera en pratique évalué par une communauté d’usagers et sur une période de 4 ans. Je laisse ici la parole à McKibbin :
« And how does the would-be public intellectual – as every academic must become – find a user? She could offer herself to the government, but the number of advisory panels, royal commissions and so on is limited. She could write for a journal like the Times Educational Supplement or the London Review of Books. But do they constitute user communities in Hefce’s terms? Probably not. And if the would-be public intellectual is critical of government penal policy (which is more than likely), would the Home Office be a friendly user? Probably not. »
On en passe finalement à la contextualisation politique. Tout ceci n’est que camouflage (en français dans le texte) : l’objectif est tout simplement de rapprocher les universités et les affaires. Mais, note McKibbin, le rapprochement existe depuis longtemps :
— en Angleterre, les universités constituent actuellement l’industrie la plus compétitive en termes internationaux ;
— un certain nombre d’universités avaient des relations fortes avec l’indutrie et les affaires (Sheffield, Leeds, Birmingham). Si ce lien a disparu, ce n’est pas de la faute des universités, mais des milieux des affaires, qui ne s’intéressent pas à la recherche et à l’innovation. Comme McKibbin le suggère ironiquement : si réellement le gouvernement voulait rapprocher les universités du secteur privé, il passerait une loi selon laquelle tous les conseils d’administration du secteur privé doivent avoir au moins un membre universitaire.
Alors quoi si ce ne peut être là les véritables motivations ? McKibbin n’a aucun mal à identifier la cible : l’objectif est de contrôler politiquement les universités. Il se conlut sur une triste note :
« Britain now has a ministerial elite who have largely divorced the art of politics from the art of government. All politicians, of course, have to practise the art of politics, but at some point, the needs of government, which are usually long-term and based on accumulated knowledge, have to override the needs of politics, which are usually short-term and based on anything but accumulated knowledge. »
Je recommande également la lettre de Iain Pears du 25 mars 2010, vol. 32, n. 6, qui examine l’HEFCE comme organisation :
— Sa composition : Eight out of 15 of the Hefce board are university managers, the rest coming from business; nine out of 11 members of the research committee, ten out of 14 on the skills committee and 15 out of 18 on the access committee are senior university administrators. Working academics – teachers and researchers – are conspicuously absent.
— Son mode de désignation : The board is not elected, but appointed in a manner that is far from transparent… Senior administrators appointed to Hefce propose changes, senior administrators in universities approve them; the academics themselves are rarely consulted.
— Ses conséquences politiques et intellectuelles : Hefce’s style is mirrored inside the universities, which have been slowly converted into hierarchical, authoritarian organisations in which the last vestiges of accountability (e.g. senates with real supervisory power) have been degraded, and guarantees of academic freedom (tenure in particular) abolished. It goes without saying that this undermines researchers’ freedom.
— La question des salaires : Pay levels are a good indicator of how power is concentrated. To give some examples, at University College London, while spending on academic departments rose 79 per cent between 1999/2000 and 2008/9, administrative costs rose 119.6 per cent, and the vice-chancellor’s remuneration rose 168.4 per cent… The average pay package of a vice-chancellor is now more than £190,000 (higher than the prime minister’s), and for the Russell Group it is around £250,000. The head of UCL gets a total of £404,000, Nottingham £333,000, Oxford £327,000 and Birmingham £332,000.
— Une conclusion orwellienne : Academics know, as I suspect Hefce knows, that the imbecilic methods of assessment under proposal will do nothing at all to improve output. But I fear that the quality of research is not the point. Control is. Leaving people to do their jobs without monitoring their every step is almost literally incomprehensible to a body specifically set up to wield power.
OpenEdition vous propose de citer ce billet de la manière suivante :
Sophie Roux (23 avril 2010). L’évaluation des universités anglaises selon le nouveau rapport de l’HEFCE. Évaluation de la recherche en SHS. Consulté le 24 avril 2025 à l’adresse https://doi.org/10.58079/omhg
Deux petites références supplémentaires :
— un blog de Iain Pears, l’auteur de la lettre analysant l’HEFCE :
http://boonery.blogspot.com/
— une revue de presse permettant de faire le point sur la situation en Grande Bretagne :
http://www.sauvonsluniversite.com/spip.php?article3531
What part of “The REF will take account of the quality of the research environment in supporting a continuing flow of excellent research and its effective dissemination and application” do you not understand ?
Un environnement de recherche, ce sont les labos voisins, le soutien apporté par l’université, les plateformes techniques, les entreprises ayant des contacts, les écoles doctorales, les bibliothèques, etc. C’est tout ce qui fait que le même chercheur sera meilleur ou moins bon à un endroit qu’à un autre…
“Leaving people to do their jobs without monitoring their every step is almost literally incomprehensible to a body specifically set up to wield power.” > Il faudra quand même m’expliquer en quoi faire un bilan tous les 4 ans correspond à du micro-management. C’est le mouvement inverse qui est à l’oeuvre1 dans toute l’économie (relire “Le nouvel esprit du capitalisme” de Chiapello et Boltanski) : au lieu de contrôler “every step”, la maîtrise des entreprises gère de plus en plus ses employés par objectifs et indicateurs.
1) La notion d’environnement, appliquée à un groupe de recherche dans le cadre d’une évaluation, est effectivement difficile à comprendre :
— Les exemples que vous donnez semblent implicitement correspondre à un environnement géographique immédiat. Il me semble que, si j’avais à délimiter les communautés constituant mon “environnement de recherche”, je ne le ferais pas en fonction de la distance géographique.
— Si j’avais à donner un bonus à un groupe de recherche, je ne le donnerais pas pour ma part au groupe qui, en simplifiant, n’a qu’à se laisser porter par son “environnement” pour produire quelques “outputs”, mais plutôt à celui qui, dans des conditions à première vue défavorables, se défend plutôt bien.
— Dire que l’environnement compte pour 15%, c’est dire qu’il s’agit d’une grandeur mesurable. Vous mesurez comment, je vous cite, “les labos voisins, le soutien apporté par l’université, les plateformes techniques, les entreprises ayant des contacts, les écoles doctorales, les bibliothèques, etc.”?
Je maintiens donc qu’il s’agit d’une notion difficile à comprendre.
2) Effectivement, un bilan tous les quatre ans n’a rien de bien méchant. C’est d’ailleurs ce qui se pratiquait en France, par exemple, tant pour le CNRS que pour les universités. Néanmoins, l’analyse de Iain Pears, dont je citais quelques extraits, fournit quelques éléments pour étayer un sentiment que beaucoup d’entre nous avons (pas seulement en France, mais en Europe et aux Etats-Unis), à savoir l’émergence d’une caste de managers dirigeant les universités. Quant à la “gouvernance”, pour parler la novlangue, de ceux-ci, elle est effectivement une gouvernance par objectifs et indicateurs : je ne vois pas en quoi cela contredit le “every step”, et vous renvoie sur ce point, dans le cas français, à un excellent article d’Annie Vinokur, “La loi relative aux libertés et responsabilités des universités : essai de mise en perspective” qu’on peut trouver ici :
http://regulation.revues.org/index1783.html
Sur le point 1.
La mesure de la qualité de l’environnement est effectivement très difficile (subjective ?). Mais celle de la qualité de la recherche l’est tout autant. Quelle que soit la méthode (le peer-review est la méthode choisie dans les deux cas par le HEFCE).
Pour ce qui est de son utilité, le débat me semble très intéressant*. D’un côté quelqu’un comme Ton van Raan argumente que la bonne recherche se fait très majoritairement dans un bon environnement (voir citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.104.4501.pdf dernier paragraphe p. 17 et p. 18). De l’autre, “high quality research [is] in fact widely distributed across the UK Higher Education Sector” (3e point du main report http://www.hepi.ac.uk/455-1793/Funding-selectivity,-concentration-and-excellence—how-good-is-the-UK's-research.html ).
Sur le point 2. Je n’ai aucun doute sur la mise en place du NPM dans les universités. C’est juste le “every step” qui m’a fait tiquer. Mais c’est un point de détail.
*Note personnelle à N. Holzschuch s’il passe par là : je n’ai pas oublié ma promesse de rédiger quelque chose de plus conséquent là dessus. Patience.
Sur l’environnement au sens géographique, on peut signaler la série de billets de Gaïa sur les régions françaises.
http://rachelgliese.wordpress.com/2010/02/07/les-regions-qui-investissent-dans-la-recherche-et-le-developpement/
http://rachelgliese.wordpress.com/2010/02/08/regions-l%E2%80%99investissement-dans-l%E2%80%99enseignement-superieur-et-contribution-du-cnrs/
http://rachelgliese.wordpress.com/2010/02/08/les-regions-et-leurs-chercheurs/
http://rachelgliese.wordpress.com/2010/02/08/les-regions-qui-publient/