Pourquoi des classements ?
Entre les prix littéraires et l’attribution des Nobel, la fin de la saison de Formule 1 et les Masters de tennis, voici que tombe la livraison annuelle des classements d’universités (sur cette espèce proliférante, voir un billet de l’an dernier, un papier de Jean-François Méla et sur la cuvée de cette année, un texte amusant de Bertrand Teissier sur la Grippe de Shanghai). Une fois de plus, il va falloir expliquer que ces classements sont dépourvus de pertinence et que le gain de quelques places d’une année sur l’autre n’a aucune signification. Le seul phénomène digne d’observation est l’effet de sidération qu’ils produisent sur l’opinion publique et les décideurs.
Dans un entretien, Yves Gingras explique clairement qu’il faudrait d’abord définir les missions des universités avant de produire d’éventuels outils statistiques adaptés, correctement pondérés, qui permettraient de comparer des observations comparables. Il n’est pas interdit de poser des questions intelligentes et de chercher à y répondre par des données quantitatives. Mais en suivant une démarche de type, il est douteux que l’on en vienne à produire un indicateur synthétique de l’excellence des universités mondiales.
Quelques années après la surprise initiale, toutes les personnes informées et de bonne foi ont compris qu’il s’agissait d’une escroquerie. La seule question qui demeure est l’attrait et la fascination qu’exercent encore de tels palmarès. Le phénomène est évidemment bien plus général. Au titre de l’information des consommateurs, les comparatifs en tous genre abondent depuis longtemps, des laves-vaisselles aux hôpitaux. Un sujet particulièrement vendeur, qui fait chaque année la couverture des magazines, est celui des écoles de commerce et, plus récemment, d’ingénieurs. Les critères sont parfois sommaires et se limitent au salaire d’embauche à la sortie d’école, parfois plus sophistiqués comme pour le palmarès établi par L’Etudiant dont les responsables tiennent un blog assez instructif. Quoi que l’on pense de la méthode, il existe assurément dans ce cas un marché, relativement homogène, dont les offres peuvent être comparées et dont le prix justifie que les familles achètent un ou deux magazines pour se renseigner. L’un des traits les plus saillants de ces classements est leur extrême rigidité. Depuis plus de vingt ans, la liste des cinq premières écoles de commerce françaises n’a pas bougé. Une étude consacrée aux Law Schools américaines explique cette rigidité par les effets secondaires de ces palmarès (W. N. Espeland et M. Sauder, «Rankings and Reactivity: How Public Measure Recreates Social Worlds», American Journal of Sociology, juillet 2007) : les écoles les mieux classées attirent les meilleurs élèves, les donations les plus généreuses, et figent ainsi leurs positions. Comme l’écrit Eve Chiapello : «Ainsi considérés, les rankings ne sont plus en fait des systèmes d’information destinés à améliorer le fonctionnement d’un marché éducatif où la compétition est ouverte, mais le moyen, pour les mieux classées, de renforcer leur domination».
La fortune des classements mondiaux des universités ne s’explique évidemment pas par la seule fonction d’information des usagers. Personne ne prétendra sérieusement qu’il existe un marché mondial indifférencié des études supérieures que ces classements pourraient éclairer. Il semble plutôt qu’ils soient désormais principalement produits et reçus en vue de leurs effets secondaires et des manipulations politiques qu’ils autorisent.
Du fait de sa pureté idéologique, la note de l’Institut Thomas More signalée dans le précédent billet (et le commentaire) se révèle précieuse. Elle regrette que la Commission européenne s’oriente vers un mapping plutôt qu’un ranking. Autrement dit, le classement brut serait préférable à une batterie d’indicateurs non hiérarchisés, pour des raisons d’efficacité : “le ranking, dans la «brutalité» de son classement, constitue sans doute un meilleur outil d’incitation au changement et à la compétition”. Autrement dit, la mesure devrait moins viser à rendre compte d’une réalité complexe qu’à produire des effets sur les institutions classées. On remarquera que le genre littéraire du texte cité n’est pas une “étude” mais une “note de benchmarking” : de façon cohérente, elle réclame que les classements soient conçus comme des outils de benchmarking (terme qui perdrait un peu de sa superbe si on le traduisait en français : pour lancer le concours, je propose : “étalonnement dynamique contraint”). Il est clair qu’on nage ici en pleine idéologie. Le président de l’université de Clermont-Ferrand, malgré toute sa fougue entrepreneuriale, ne peut à lui seul prendre aucune décision qui lui permettrait de rattraper son retard sur Harvard ou Yale, ni même Neuchâtel ou Odense.
L’un des usages les plus courants de ces classements est de déplorer les maigres résultats des universités de tel ou tel pays (en France, mais aussi en Australie). De fait, la seule comparaison internationale qui ait un sens est celle qui confronte des systèmes éducatifs nationaux dans leur globalité. Ian Young a montré qu’en rapportant le nombre d’universités de chaque pays figurant dans les classements de Shanghai à la population nationale, on obtient des ordres de grandeurs correspondants à la dépense investie dans les universités. Dans ce tableau, où excellent la Suisse et les pays scandinaves, la France fait en effet piètre figure. La seule façon de mieux figurer à terme dans des comparaisons internationales serait de compenser massivement le sous-investissement dont a souffert ces dernières décennies l’université et la recherche publique françaises. En somme, l’argument des classements internationaux est un moyen, pour le gouvernement et ses partisans, de faire passer une faiblesse macro-économique pour un défaut micro-économique des firmes universitaires, insuffisamment adaptées pour faire face à la concurrence mondiale.
La force de frappe de la propagande gouvernementale qui relaie cette manipulation ne suffit pas à expliquer à elle seule l’effet que produisent ces classements dans l’opinion. Il faut aussi tenir compte de facteurs bien plus généraux. La réduction de la question universitaire à une grille rudimentaire flatte plusieurs tendances qui marquent chacune l’imprégnation profonde de notre culture par l’idéologie néo-libérale. L’appréhension généralisée de la réalité sociale en termes de compétition est un élément crucial du dispositif qui permet de ramener le traitement d’une question complexe à un classement para-sportif (et comme on sait, le dossier des rapports entre compétition universitaire et compétition sportive est très fourni). De là vient également la fascination pour les vainqueurs de la compétition sociale, et notamment de la lutte pour la notorité, qui explique très largement le phénomène “people”. Le classement de Shanghai n’est au fond qu’un classement des universités les plus riches et les plus célèbres, et toutes les politiques qui prennent appui sur de tels indicateurs ne visent qu’à creuser encore plus les inégalités (au point de généralité où j’en suis, autant livrer une formule qui résume bien la situation : le néo-libéralisme aime et désire les inégalités, autant que la social-démocratie aimait l’égalité). Pour finir, le trait le plus inquiétant est encore la simplification délibérée d’une question politique, que l’on souhaiterait réduire à un indicateur unique. Il faut y voir l’une des expressions les plus fortes de la crise du jugement sur laquelle Philippe Büttgen attirait l’attention dans l’un des premiers articles postés sur ce carnet.
OpenEdition vous propose de citer ce billet de la manière suivante :
Sylvain Piron (7 novembre 2009). Pourquoi des classements ? Évaluation de la recherche en SHS. Consulté le 24 avril 2025 à l’adresse https://doi.org/10.58079/omg4
Plutôt que ces classements bien discutables, pourquoi ne viendriez vous pas avec moi faire du SWOT à l’université ?
http://rachelgliese.wordpress.com/2009/10/15/faire-du-swot-a-l%e2%80%99universite/
Ce qui laisse songeur est que l’on commence aussi à utiliser ce concept pour les revues scientifiques. Si on peut concevoir qu’une évaluation doit avoir lieu pour le financement des revues : les fonds publics étant (extrêmement) restreints pour le soutien des revues scientifiques. Dans un tel cadre, nous ne parlons pas d’une hiérarchisation pure (telle que proposée par le ranking) des revues mais plutôt d’un choix (classement) basé sur des missions mais aussi sur une rigueur scientifique. En outre, l’objectif de l’évaluation et du classement est claire : le soutien financier. Je rejoint mon collègue Yves Gingras, la question des missions est primordiale.
Mais un classement ranking veut surtout déterminer à la lumière de critères, souvent questionnables et opaques (dont les fameux Index-H), ce qui est bon et ce qui est mauvais…pour des personnes (checheurs et étudiants) sans leur avoir demandé. Certains chercheurs vont hésiter à publier dans certaines revues mal classé car cela sera néfaste pour leur propre évaluation, donc carrière, tout en sachant que de telles revues correspondent aux besoins de diffusion de leur recherche (public cible), regroupe les chercheurs de leur domaine (communauté scientifique) ou encore que la mission éditoriale de celles-ci répond à leur optique de recherche.
Le classement de si petites unités scientifiques, car généralement une revue scientifique est soutenue par un nombre des personnes qui se compte sur les deux d’une main (pour les plus chanceux et si on oublie les revues scientifiques commerciales), ne mène qu’à une démobilisation de chercheurs s’articulant autour de projet éditorial innovateur qui ne cadre pas avec les diktats scientifiques du moment.
Est-ce ainsi que nous pensons le développement de l’édition scientifique ? Elle qui devrait se penser conjointement avec l’évolution des approches scientifiques. Pendant que l’on favorise l’émergence de nouvelles façons de concevoir la recherche, on maintient l’édition scientifique dans un statut quo (pour ne pas dire un siècle en retard), tandis que l’édition scientifique devrait évoluer rapidement en développant de nouvelles formes d’édition, basées sur les possibilités actuelles, et ce afin de correspondre aux recherches qui sont déjà multi- et transdiciplinaire.
Le ranking des revues n’aidera certainement pas cela..en tout cas pas dans sa forme actuelle où on pénalise ceux qui osent avoir des missions différentes, osent l’expérimentation, etc..
Eric Duchemin, Co-directeur et Rédacteur en Chef de [VertigO] – La revue électronique en sciences de l’environnement. Une revue qui après 10 ans d’existence, elle fut dans les premières revues entièrement et uniquement électronique-numérique et open access. Une revue avec une mission d’interdisciplinarité (et de trans-) qui interroge de nombreux chercheurs mais qui a réussit à percer pour obtenir l’ensemble des soutiens canadiens aux revues scientifiques.