Evaluer en SHS: se ressaisir du débat

La question de l’évaluation des SHS est, me semble-t-il, dans une situation de grande tension. D’une part, les instances évaluent (AERES, CoNRS…) ou se préparent à évaluer (CNU) avec des outils qui ne sont pas toujours clairement identifiés et sans avoir systématiquement requis l’accord des communautés scientifiques concernées; d’autre part, des membres de ces communautés développent des critiques ou des formes d’opposition à ces évaluations, obtenant parfois gain de cause (retrait du classement des revues par l’AERES dans certaines disciplines par exemple), sans pour autant fédérer la majorité autour de leur(s) combat(s). Mais dans l’ensemble, aucun de ces deux « groupes » n’a travaillé à mettre en place de véritable procédures de réflexion et de discussion sur le sujet.

De façon mécanique, c’est donc la simple transposition des dispositifs d’évaluation utilisés dans les STM qui semble devoir s’imposer. Je ne reviendrai pas ici sur les différentes critiques faites dans ce blog et ailleurs sur les limites et les dangers d’une bibliométrie abusive, restreinte aux facteurs d’impact et autres facteurs désignés par de simples consonnes ; indicateurs qui ne font d’ailleurs pas l’unanimité dans les STM, même si celles-ci les convoquent largement lors des opérations d’évaluation. La grande chance des SHS est de ne pas être prisonnières, a priori, d’instruments aussi efficaces que le WoS, la majorité des revues non anglophones n’étant pas encore référencées dans des bases de données cohérentes. Certes, Scopus a lancé l’offensive mais elle ne concerne encore qu’une toute petite partie du champ. De plus, la production scientifique en SHS (mais aussi dans certaines des STM) ne se limite pas aux articles. Il s’ensuit des « fiches d’évaluation » (RIBAC pour le CNRS, fiche pour l’AERES…) composées comme autant d’inventaires à la Prévert. Ce manque de « normalisation » a des vertus, en ce sens qu’il protège temporairement les SHS d’une évaluation automatisée. Mais il leur fait aussi, à mon, avis courir le risque à court terme d’une standardisation massive, tant la pression des instances évaluatrices va croissante en faveur d’indicateurs uniques et simplifiés.

L’une des critiques majeures faîtes aux indicateurs classiques porte sur leur caractère inadapté face aux pratiques spécifiques de la production scientifique en SHS: cela peut concerner aussi bien l’usage dominant de la langue française que le problème de la prise en compte de productions « atypiques » comme le sont les catalogues d’exposition des historiens de l’art, ou encore celui de la temporalité des productions (elles se démodent beaucoup moins vite en SHS que dans la plupart des STM). Ne serait-il pas alors raisonnable de se saisir de ces questions pour tenter de réfléchir à ce qui caractérise l’activité scientifique dans nos discipline ? Les universitaires français ont conquis leur autonomie par rapport au pouvoir politique en lui imposant d’être les seuls juges de la qualité de leur activité. C’était il y a plus d’un siècle, au sein de communautés réduites en nombre. Depuis 40 ans, la population des chercheurs et des enseignants-chercheurs a cru considérablement, avec comme corollaire la multiplication des champs et des sous-champs disciplinaires, dans un contexte de transformations rapides des outils de publication et des pratiques scientifiques (Internet par exemple). Pour autant, rares sont les communautés disciplinaires qui ont cherché à objectiver ces évolutions et leurs conséquences. On peut penser que les pairs savent intuitivement ce qui appartient au domaine des pratiques intéressantes, novatrices, fécondes… de leur champ d’étude (on peut trouver des qualificatifs à l’infini, qu’il conviendrait cependant d’expliciter) et sont donc aptes à juger « selon leur intime conviction ».

Pourtant, cela ne suffit pas. Les pairs désignés par l’AERES ou l’ANR par exemple connaissent bien leur discipline ; ils sont en situation de débattre de leurs choix dans les instances en question. Pour autant, leurs décisions ne font pas l’unanimité et leur légitimité est fréquemment mise en cause. L’une des critiques principale porte sur l’absence de principe cumulatif : n’étant réunis que pour des opérations « ad hoc », les comités de pairs sont dans l’incapacité de construire une procédure d’évaluation étayée par la pratique, validée par l’expérience et capitalisable. Il n’existe donc pas de référentiel sur lequel baser, par exemple, une remise en cause de ces évaluations. A cela, on peut opposer le carcan que représenterait une formalisation excessive des modalités d’évaluation, critique centrale dans la dénonciation des évaluations bibliométriques pures. Mais dans un contexte qui voit ces nouvelles instances évaluatrices travailler de leur côté à la mise en place de tels référentiels sans concertation/capitalisation/débat contradictoire et donc finalement sans rechercher le consensus des communautés disciplinaires, n’est-il pas dangereux de ne pas réfléchir, au sein de ces mêmes communautés, à des contre-propositions, basées sur un travail à la fois rétrospectif et prospectif, dans une perspective toujours en évolution, destinée à suivre les inévitables transformations encore aujourd’hui difficilement anticipables ?


OpenEdition vous propose de citer ce billet de la manière suivante :
Emmanuelle Picard (24 juin 2010). Evaluer en SHS: se ressaisir du débat. Évaluation de la recherche en SHS. Consulté le 18 juillet 2024 à l’adresse https://doi.org/10.58079/omhp


1 réponse

  1. Emmanuelle Picard dit :

    En complément, un article qui s’interroge sur le fait que ce soit des entreprises privées (en l’occurence Thomson et Elsevier) qui déterminent l’agenda (et les modalités) des outils bibliométriques:
    http://globalhighered.wordpress.com/2010/06/23/bibliometrics-global-rankings-and-transparency/

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search