Oublier Shanghaï

La publication du classement de Shanghaï fait désormais partie des rites annuels du cœur de l’été, juste avant qu’on nous parle de la rentrée littéraire, et bien avant qu’il soit question du Beaujolais Nouveau. Les articles passent et se ressemblent. Les plus informés en matière de classement universitaire publient quelque temps après (cette fois la rentrée littéraire est bien passée) le classement du Times Higher Education. La problématique est identique : il s’agit de savoir si l’on est ici ou là[1].

Bien sûr, les critiques existent, on les lit, on les relit, et on les re-relit.

Mais on a beau faire, le rouleau-compresseur passe chaque année, comme si toutes ces critiques ne servaient à rien, ou, en tout cas, peinaient à pénétrer le grand public que visent les journaux généralistes. (Par comparaison, il est instructif de consulter l’article que la Tribune de Genève a consacré à la chute de l’UNIGE de la 39e place à la 118e dans le classement de Shanghaï. En gros, la Tribune de Genève y voit le signe que ce classement n’est pas bien sérieux !)

Alors que le seul petit espoir d’amendement de la loi scélérate sur les retraites se trouve entre les mains de nos vénérables sénateurs, il peut être intéressant, et en un sens rafraichissant, de consulter le procès-verbal du Rapport d’information fait, au nom de la commission sénatoriale de la culture, de l’éducation et de la communication et de la délégation sénatoriale à la prospective, sur les classements internationaux des établissements d’enseignement supérieur, poétiquement appelée “Oublier Shanghaï”. Ce rapport, qui correspond à une journée qui s’est tenue en mai 2010, peut être lu ici ou bien encore vu là.

Le colloque s’est ouvert par une intervention nuancée de Jacques Legendre. En référence à un rapport remis en 2008 par Joël Bourdin, Jacques Legendre note par exemple qu’évaluer l’enseignement est une tâche complexe, les indicateurs risquant de ne constituer qu’un pâle reflet de la réalité ou, pire encore, de susciter des effets pervers, car, écrit-il « il est évident qu’un classement ne peut pas être scientifiquement neutre » (p. 5).
Il était constitué de deux tables rondes :
1) classer et évaluer les établissements d’enseignement supérieur : pour quoi faire ?
2) le classement européen des établissements d’enseignement supérieur : des propositions pour agir.

1) classer et évaluer les établissements d’enseignement supérieur : pour quoi faire ?
Ce n’est qu’indirectement que les interventions de la première table-ronde répondent au titre proposé « classer et évaluer les établissements d’enseignement supérieur : pour quoi faire ? ». En effet, il s’agit d’abord de présentations des principaux classements mondiaux existants par certains de leurs responsables. Dans la mesure où ces présentations étaient honnêtes, elles conduisent cependant à mettre en valeur les différents critères d’évaluation, qui, effectivement, dépendent de la question « pour quoi faire ? »
Quelques dates tout d’abord concernant les ranking mondiaux (en gras ceux qui sont présentés dans ce colloque) :
2003 : Shanghai
2004 : QS university ranking dit aussi classement du Times Higher Education
2007 : Performance Ranking of Scientific Papers for World Universities
2007 : Professional Ranking of World Universities (École des Mines)
2009 : Leiden
2009 : Global university ranking (Russie)
2010 : lancement du U-Multirank (Europe)
2010 : lancement du High Impact Universities (Australie)[2].

L’intérêt de cette première table-ronde est de présenter de manière concise les différents classements, et, ainsi, de voir combien leurs critères sont différents. En résumant.

i) M. Jamil SALMI, coordonnateur enseignement supérieur à la Banque mondiale, est l’un des plus critiques sur l’ensemble de ces classements. Il souligne qu’ils
— évaluent les performances d’universités singulières, et non les performances d’un système d’enseignement supérieur considéré dans son ensemble
— ignorent le problème de l’équité,
— négligent l’enseignement au profit de la recherche.

ii) Philippe AGHION, professeur d’économie à Harvard, auteur du rapport du même nom, fait état de différents indicateurs pour constituer des classements :
— nombre de publications,
— citations des publications,
— nombre de brevets,
— contribution à la croissance du pays ou de la région.
Selon Aghion, ces quatre indicateurs conduisent aux mêmes classements. C’est seulement tout à la fin de son intervention qu’il évoque la question de l’insertion professionnelle, autrement dit la possibilité de mettre en place des classements qui ne soit pas directement des classements indexés sur la recherche et la croissance économique.

iii) M. Benoît LEGAIT, directeur de l’École des Mines de Paris, présente le classement Professional Ranking of World Universities. Il s’agit d’un classement visant à évaluer l’insertion professionnelle à un certain niveau, puisque ce qui est examiné, c’est le parcours universitaires des dirigeants des 500 premières entreprises mondiales en terme de chiffre d’affaires. Selon ce classement, une bonne université est donc une université qu’on retrouve via ses dirigeants au top-500 des entreprises.

iii) M. Nunzio QUACQUARELLI, directeur de QS world university rankings. C’est la présentation la plus technique. Le QS world university rankings est fondé sur :
— opinion des pairs 40 %,
— opinion des employeurs 10 %,
— ratio étudiants-professeurs 20 %,
— ratio international 5 %,
— étudiants internationaux 5 %,
— citations par facultés 20 % (source Scopus, base de données bibliométriques d’Elsevier fondée sur 18 000 journaux académiques).
On remarque ici que ce classement, celui dont on entend le plus souvent parler après Shanghaï, est fondé pour près de la moitié sur l’opinion des pairs : mais qui choisira les pairs ?

iv) Mme Sylvie CRESSON, présidente de Personnel association, une association de DRH à vocation quasi-humaniste, est la seconde à critiquer les classements, et elle le fait de manière assez radicale, en énumérant les différents effets pervers du classement de Shanghai :
— privilégier la grosseur des universités,
— publier ou mourir,
— privilégier l’apparence au détriment de la réalité (un bon classement) et non la réalité (les enseignements effectivement dispensés)
— ne pas interroger la valeur qu’ajoute un établissement à un individu,
— ne pas considérer l’insertion professionnelle,
— Qu’en est-il du ratio nombre d’étudiants / nombre d’enseignants ? Quid des indicateurs de diversité, de nationalité ? Comment mesure-t-on la culture générale apportée aux étudiants ?
— promouvoir « le capitalisme karaoké », c’est-à-dire un capitalisme normatif et uniforme.
Elle conclut en soulignant que ce type de classement ne s’adresse pas du tout aux entreprises.

2) le classement européen des établissements d’enseignement supérieur : des propositions pour agir

Le titre indique que cette table-ronde est consacré au classement européen des établissements d’enseignement supérieur, le classement U-Multirank.
Les deux présentations les plus détaillées et instructives sont à mon sens celles de M. Robin van IJPEREN, chargé de mission à la direction générale de l’éducation et de la culture de la Commission européenne et de Mme Ghislaine FILLIATREAU, directrice de l’Observatoire des sciences et techniques.
Il en ressort que le classement U-Multirank est un classement
— prenant en compte de multiples indicateurs. Conntrairement à Shanghai qui met l’accent sur la recherche ou au THE, qui se fonde largement sur l’opinion d’un petit nombre de pairs). Il s’agit de construire un ranking multidimensionnel, qui inclut l’employabilité, la qualité de l’enseignement.
— refusant de classer, c’est-à-dire de produire un seul chiffre à partir de différents critères. Les éléments d’information sont gardés séparés, de sorte que l’utilisateur (l’étudiant en l’occurrence) puisse naviguer selon les orientations qui lui sont propres.
— reposant sur une coopération internationale : le CHEPS (un centre de Twente qui étudie les questions d’enseignement supérieur et coordonne le projet), le CHE (qui fait depuis très longtemps au niveau national allemand un classement qui a été le prototype des classements personnalisés et multicritères), l’OST (l’Observatoire des Sciences et des Techniques), Incentim (un département de l’université de Louvain, spécialisé plutôt dans les indicateurs d’innovation) et le CWTS (une structure de l’université de Leyde spécialisée dans la bibliométrie, celle qui a produit le classement de Leyde).
Affaire à suivre donc…

---

[1] Ce dernier article contient d’ailleurs un lapsus intéressant, il a pour titre “Quatre universités françaises dans un classement international”, lesquelles sont : Polytechnique (39e), l’ENS (41e), l’ENS de Lyon (100e) et Paris-VI (141e). Cherchez l’erreur.

---

[2] Quoiqu’il soit français, n’oublions pas le fameux Classement du Pékin, lancé en 2009.

---

---