L’évaluation automatisée en sciences humaines
Entre rires et larmes. L’évaluation automatisée en sciences humaines (22 octobre 2008)
Olivier Boulnois (Directeur d’Etudes, EPHE/CNRS, Laboratoire d’Études sur les Monothéismes
Le roi est nu. Je viens de lire sur Internet le classement des revues établie par l’AERES (Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur), destiné à évaluer les publications des chercheurs en sciences humaines. Je réagirai simplement sur le domaine que je connais : la philosophie, et notamment la philosophie médiévale. Au premier regard, j’ai seulement remarqué quelques étrangetés. Pourquoi la revue fondatrice de nos études, celle dans laquelle tout médiéviste rêve d’écrire, les Archives d’histoire doctrinale et littéraire du Moyen Age, obtient-elle la note de B ? Pourquoi son équivalent italien, la revue Documenti e Studi sulla tradizione filosofica medievale n’obtient-elle que C ? Pourquoi l’excellente revue Quaestio aussi? Pourquoi les principales revues généralistes de philosophie française (les Archives de Philosophie, les Etudes philosophiques, Philosophie, la Revue de Métaphysique et de Morale) obtiennent-elles seulement B, alors que leurs équivalents anglo-saxons ont tous A (Philosophical Quarterly, Philosophical Review, Philosophical Studies) ?
À la seconde lecture, des passages se sont révélés franchement comiques. La Revue des sciences théologiques et philosophiques a obtenu la note de B, ce qui est quand même pas mal … pour une revue qui n’existe pas ! Mais pourquoi n’a-t-elle pas la même cote que la (véritable) Revue des Sciences philosophiques et théologiques qui obtient la note de A ? Et pourquoi la revue Medieval Philosophy and Theology apparaît-elle trois fois, une fois cotée A et une fois B (en philosophie), mais aussi une fois A en histoire ? Pourquoi la Revue de Philosophie Ancienne obtient-elle A en histoire et B en philosophie ? L’ingénu pourrait croire qu’un article aura la note de A s’il est historique, et la note de B s’il est philosophique. Mais selon quel critère va-t-on classer les articles transversaux, ou d‘histoire des doctrines (politiques, morales, théologiques, etc.), c’est-à-dire les travaux les plus novateurs en philosophie médiévale ?
Faut-il en rire ou en pleurer ? Au fond, c’est le principe même du classement qui me semble inquiétant. Pourquoi, par exemple, la revue Studia Mediewistyczne n’apparaît-elle pas, alors que beaucoup d’articles essentiels pour la discipline y figurent? La réponse semble évidente : parce que c’est une revue polonaise, supposée de faible diffusion. Précisons pourtant que des articles fondamentaux y ont été et y sont publiés dans les grandes langues européennes, y compris en français.
Les indications sur la méthode suivie sont vagues mais révélatrices : « La classification A, B, C, correspond à l’étendue du rayonnement des revues ». Puisque la qualité d’une revue est un critère subjectif, le critère choisi était celui de l’extension de la diffusion (concept un peu camouflé ou corrigé par le terme « rayonnement » qui laisse croire à une certaine profondeur qualitative). Mais alors, l’ensemble des anomalies que j’avais remarquées prend sens ! Les revues citées plus haut sont mal cotées parce qu’elles sont chères, récentes ou excentrées, et qu’on les estime moins diffusées dans les bibliothèques. On confond la qualité d’une revue avec sa diffusion, et la qualité d’un article avec la qualité d’une revue ; pourtant d’excellents articles sont publiés dans des petites revues, et d’excellentes revues publient de mauvais articles.
Ce classement reflète une triple erreur de méthode.
1°) Comme d’habitude, aligner les sciences de l’homme sur les « sciences dures ». Il est clair que pour un scientifique, publier dans Nature n’est pas la même chose que publier dans la revue des anciens élèves de l’Ecole Normale Supérieure. Mais croire qu‘en sciences humaines, l’extension de la diffusion a le moindre rapport avec l’importance des travaux est une faute de raisonnement. Si nous devons passer autant de temps dans nos bibliothèques indigentes, c’est bien parce que des textes fondamentaux ont été publiés dans des revues ou des livres difficiles d’accès. Et qu’à notre tour, nous publions des articles dans des revues surprenantes, pour des raisons contingentes (sollicitations, commémorations, rapport à un fonds d’archives, réseaux de chercheurs, etc.). L’historien de la pensée sait bien que les documents les plus significatifs ne sont pas les plus diffusés, mais les plus rares. Sinon, à quoi bon éditer les manuscrits du Moyen âge, les papiers de Pascal ou les fiches de Wittgenstein ?
2°) Croire que l’existence d’un comité de lecture est l’universelle panacée contre le copinage. Cela seul, à mon avis, peut expliquer l’extraordinaire surévaluation des revues anglo-saxonnes. Or de récents et célèbres canulars ont montré à quel point il était facile de franchir la barrière d’une double lecture à l’aveugle (double blind review). Pour se faire accepter, le jargon d’une coterie est aussi efficace qu’une signature. Même si ce critère est légitime, il n’est pas pertinent pour des revues déjà réputées, qui peuvent attirer les bons articles et les évaluer autrement. Dans l’état actuel du classement, il entraînera automatiquement une fascination pour le monde anglo-saxon, puis une baisse indiscutable du niveau des publications : en sciences humaines, où la finesse de l’analyse dépend beaucoup de la qualité de la langue, un chercheur qui publie dans un anglais de base écrit moins bien que s’il publie dans sa propre langue en Italie ou en Allemagne. Or sur les quatre tomes des Dits et Ecrits de Michel Foucault, il n’y a peut-être pas cinq articles publiés dans des revues classées A…
3°) Oublier que le résultat est déjà contenu dans la méthode. Si l’on mesure une revue à l’ampleur de sa diffusion, il n’est pas étonnant que les revues généralistes anglo-saxonnes aient en moyenne un point de plus que leurs équivalents français ou européens : vu leur bassin de diffusion, vu l’état de nos bibliothèques, il est clair qu’elles sont plus diffusées que les françaises.
Je souligne que les Actes de colloque ne seront pas évalués. C’est vrai, ils sont de valeur très différente. Les auteurs sont évidemment invités, et ne doivent pas toujours soumettre leur article à un comité de lecture. Mais l’aveu est éclatant : l’évaluation reconnaît elle-même qu’elle ignorera tout ce qui échappe à une quantification automatique – car pour noter ces Actes (horreur !) il faudrait les lire. Selon une logique imparable, la mesure ne mesure plus qu’elle-même. Négligeons vaillamment le fait qu’on renonce ainsi à évaluer l’un des principaux postes de dépense de la recherche en sciences humaines : les colloques.
Là comme ailleurs, il est prévisible que la mesure va modifier l’objet, en poussant les chercheurs à publier dans les revues bien évaluées. L’évaluation nourrit ainsi le complexe d’Astérix : plus je publie en Europe, plus je suis déclassé par cette évaluation, et plus les travaux anglo-saxons apparaissent, par contraste, surévalués. On enclenche alors un cercle vicieux, qui provoque ce qu’on est censé conjurer : la fuite des auteurs dans ces revues mieux cotées. Mais personne ne semble s’être demandé si les articles publiés dans des revues de style anglo-saxon (souvent en anglais) sont vraiment meilleurs que les articles publiés par les revues européennes. Je ne le crois pas. Autant que les nôtres, ces revues ont leurs dadas, qui ne sont pas des gages de qualité : déconstruction sommaire, philosophie analytique à coups de marteau, ou gender studies.
D’après certaines indiscrétions, ce classement aurait une explication simple : la liste serait reprise d’un original anglo-saxon (lui-même très contesté en Grande-Bretagne et aux Etats-Unis), à peine toilettée lors d’une réunion qui n’a duré que trois heures (on voit avec quel sérieux ces choses-là sont faites). En réalité, le problème n’est pas la fascination pour le monde anglo-saxon. C’est la fascination pour un modèle économique, où la pensée serait une marchandise, quantifiée par une équation simple, croisant le nombre d’articles par le rang de la revue. D’ailleurs, nos collègues anglo-saxons se battent eux aussi contre l’économisme ambiant. Et ils sont loin d’être aussi confiants que nous envers leurs revues et envers ce genre de classements.
Il est normal que le travail des chercheurs fasse l’objet d’une évaluation. Mais chacun sait déjà que le nombre des publications ne dit rien sur leur qualité. Et croire que la classification des revues permet de réintroduire une évaluation qualitative est une illusion. En se fondant sur l’étendue de la diffusion, elle ne fait que confirmer le critère de la quantité. Cette liste réussit l’exploit de refléter à la fois une fascination sarkozyenne pour les Etats-Unis et un mépris chiraquien pour les pays d’Europe Centrale. L’adjectif « européenne » accolé au nom de l’agence est un bel exemple de langue de bois.
Je comprends que des experts aient envie de critères pour évaluer les dossiers en trois coups de cuiller à pot. Mais en sciences humaines, ceux-ci n’existent pas. Seule la lecture approfondie du travail pointu d’un chercheur par une personne compétente permet d’en jauger la valeur. Cette évaluation centralisée et automatisée, sélective dans sa méthode, quantitative dans son fond, ne sert à rien. Quant à moi, je continuerai à publier dans des revues roumaines, allemandes ou tchèques. Je continuerai à demander à mes étudiants d’apprendre des langues, de chercher les bibliographies les plus approfondies, de lire des textes rares et érudits, et non les revues les plus diffusées. C’est ce qui fait la différence entre la vie de l’esprit et l’évaluation quantitative.
OpenEdition vous propose de citer ce billet de la manière suivante :
Sylvain Piron (22 octobre 2008). L’évaluation automatisée en sciences humaines. Évaluation de la recherche en SHS. Consulté le 24 avril 2025 à l’adresse https://doi.org/10.58079/omed
Merci pour ces remarques intéressantes.
C’est exactement ce que ce comité devrait faire: contrôler leur classement en sollicitant l’avis informé de spécialistes. Au fond, à un moment donné, tout le monde sait EN GROS, quelles sont les revues importantes.
Le problème, c’est que pour des raisons politiques internes au monde universitaire (où règne un faux-semblant d’égalitarisme dans une ambiance qui est par essence ultra-compétitive), personne n’ose ou n’arrive à le produire. Or, les universités sont financées par des fonds, publics ou privés d’ailleurs, qui ont besoin qu’on parle un peu leur langage administratif. Il faut donc faire un petit effort, plutôt que de réagir après coup, comme toujours.
Il est faux de dire qu’on ne peut évaluer comme vous le notez très bien. Il faut donc évaluer, mais différemment. Je pense que c’est un message qu’on peut faire passer.
Par ailleurs, sur le fond, l’anglais domine. Soit. Lorsque la France était au centre du monde de la recherche, beaucoup d’étrangers écrivaient en Français pour être lus, diffusés. Surtout, il fut une époque, où, loin de s’enfermer dans des disciplines à un niveau national, les chercheurs parlaient tous plusieurs langues. Combien de chercheurs français maîtrisent réellement l’anglais? Pas sur leur page web, je veux dire, vraiment. A ma connaissance, très peu. Autrement dit, combien de chercheurs ont au moins deux ou 3 contacts réguliers avec l’immense monde de la recherche anglo-saxon, qui produit beaucoup plus que le monde européen, segmenté et illisible (malgré des efforts louables de centralisation des articles, notamment dans le nouveau site formidable de Persée).
Le problème est là à mon avis et n’est pas si compliqué. La domination de l’anglais est un fait, et les faits ne se discutent pas. Tout chercheur digne de ce nom, et qui a une ambition au-delà de son mini-cercle universitaire, devrait traduire, ou faire traduire son article le plus important (celui qu’il a déjà décliné en 10 versions dans 10 revues différentes: les comités de lecture permettent – pas toujours – d’éviter ce phénomène) en anglais, tout en tenant compte des traditions scientifiques du monde anglo-saxon. Ca l’enrichira en plus.
Sur le fond, est-il anormal que les Anglo-saxons dominent le monde universitaire dans les classements? Eh bien, c’est terrible à dire, mais non. il y a énormément de recherches d’excellente qualité aux US notamment, et on est presque sûr de trouver un éminent spécialiste dans n’importe quel champ, dans une université un peu perdue parfois, dont la bibliothèque comptera plus de livres français que les bibliothèques françaises réunies ne comptent d’ouvrages dans toutes les langues étrangères (les fonds de la BN, à part en littérature étrangère, sont tout à fait minimes).
L’hégémonie est certes trop forte, mais elle a des causes profondes. Quiconque a fait un séjour d’études aux US en a fait la terrible expérience (regardez les catalogues des bibliothèques des 20 meilleurs universités américaines…).
Je suis d’accord, mais il faut désormais faire entendre sa voix de manière intelligente et audible pour des évaluateurs empreints d’une culture de l’efficacité qu’il va bien falloir non pas importer, mais adapter dans les sciences humaines.
merci! Comprendre le tragique et en rire ?…