Bibliométrie, évaluation par les pairs et classement des revues: quelques références internationales (B. de l’Estoile, CNRS)

Intervention lors du séminaire de l’EHESS organisé dans le cadre de l’opération “Changeons le programme”, le 12 février 2009 sur “Un classement des revues pour noter les auteurs: la protestation des sciences sociales”
Un des principaux arguments utilisés par nos tutelles dans les circonstances actuelles est l’injonction faite aux chercheurs français de « s’aligner sur les normes internationales », et sur le modèle des sciences de la nature. Il me semble donc utile de signaler à la communauté des chercheurs quelques ressources, d’abord pour nourrir nos débats de façon informée, et ensuite car elles sont mobilisables pour répondre de façon créative à un tel argument d’autorité, précisément parce qu’émanant des lieux mêmes mobilisés comme « modèles ». Les références suivantes montrent les limites des outils bibliométriques pour les sciences dites « dures » telles les mathématiques, et explorent des alternatives pour une évaluation par les pairs plus transparente dans les sciences humaines et sociales .
La Grande-Bretagne a été pionnière dans la mise en place d’un Research Assesment Exercise (en 1986, sous le gouvernement Thatcher), destiné à évaluer la « qualité » de la recherche, afin de répartir les financements. D’abord laminés par ces pratiques, nos collègues britanniques ont été conduits à mettre en place des stratégies alternatives, visant à concilier l’exigence de responsabilité (accountability) et la créativité de la recherche. Face au risque de passer à l’usage systématique de la bibliométrie, la British Academy a produit en 2007 un important rapport analysant l’évaluation par les pairs (voir en particulier le chapitre concernant les revues). Le rapport conclut notamment : « metrics should remain an adjunct to the research assessment (RAE) panel peer review process rather than a substitute ».

L’Union internationale mathématique elle-même critique l’usage de la bibliométrie comme méthode soi-disant «  objective » évitant le risque de subjectivité du peer-review (2008). On y trouve, outre une analyse serrée de l’indice ISI, développé par Thomson Scientific, et en particulier de l’impact factor, un appel à interroger la diversité des pratiques de citation : « Those who promote citation statistics as the predominant measure of research quality do not answer the essential question: What do citations mean? » Citation Statistics : a Report from the International Mathematical Union).

De même, le Economic and Social Research Council (ESRC), qui finance la recherche britannique en sciences économiques et sociales, a entrepris une série d’évaluations des disciplines par des panels internationaux. Le International Benchmarking Review of UK Social Anthropology, en 2006, a été réalisé par un groupe présidé par Don Brenneis (University of California, Santa Cruz). S’appropriant le maître-mot du benchmarking tout en en redéfinissant les règles, le rapport, réalisé avec le soutien des associations professionnelles britanniques (RAI et ASA), a utilisé une approche qualitative fondée sur l’évaluation par les pairs, justifiée par les spécificités de ce domaine. Il a conclu à l’excellence de l’anthropologie sociale britannique.

Lost in translation ? Comment l’AERES interprète l’ERIH

La « liste des revues scientifiques du domaine des sciences humaines et sociales » établie par l’AERES en juillet 2008 « constitue une aide à l’évaluation de la production des unités de recherche, au sein des comités organisés par l’AERES ». L’AERES affirme s’appuyer sur la liste des revues établie dans le cadre de l’ERIH (European Reference Index for the Humanities), initiative pilotée par la Fondation Européenne pour la Science. Voir le site de l’ERIH qui donne notamment la composition des panels disciplinaires et affirme le primat du peer-review sur l’impact factor.
Il faut cependant noter deux différences essentielles : d’abord, la liste compilée par ERIH, visant à élargir le nombre de revues prises en compte (qui a par ailleurs fait l’objet de nombreuses critiques ), entend recenser l’ensemble des revues scientifiques de qualité (autrement dit, définit un « périmètre de scientificité »). En outre, ERIH souligne que les listes n’ont pas vocation à être utilisées pour évaluer les chercheurs individuellement : “As they stand, the lists are not a bibliometric tool for the evaluation of individual researchers. The distinction between the categories A, B and C is to be understood as being not primarily qualitative and the categorisation is determined by issues such as scope and audience as explained in the ERIH Guidelines. Thus, such categorizations of journals do not prejudge the scientific quality of individual articles that appear in those journals”.

En particulier, ERIH déconseille explicitement l’usage de ces indicateurs pour évaluer des chercheurs lors de candidatures : “The ERIH Steering Committee and the Expert Panels advise against using the lists as a basis for assessments of individual candidates, be it for positions, promotions, research grant awards etc”.

Affirmant s’inspirer de ce classement, l’AERES en transforme complètement le sens : pour déterminer le nombre de publiants dans un laboratoire, les revues ici classées A et B sont considérées comme des « publications de rang A » au même titre que d’autres formes de production scientifique.
Ainsi, les revues classées C par l’ERIH, c’est à dire reconnues comme good scientific journals, deviennent des revues C (ou D) qui, littéralement, « ne comptent pas » ; en outre, ce classement est utilisé pour individualiser le jugement en discriminant entre chercheurs méritants et mauvais chercheurs « non publiants » (par exemple s’ils ont publié 5 articles dans des revues C), qui se voient stigmatisés. La « traduction » dans le contexte français d’une initiative européenne aboutit donc à un contresens qui en modifie radicalement la portée.

Assurer la transparence : une alternative brésilienne ?

Peu cité comme modèle, le Brésil à développé depuis plusieurs années un système original. Il s’agit d’une base de données nationale de cv normalisés et actualisés (Lattes), qui contient à ce jour environ 1 100 000 cv de chercheurs et étudiants brésiliens, accessibles online. Informer cette base de données est nécessaire pour toute demande de financement. Sans voir dans un tel système une panacée, il a au moins le mérite d’assurer la publicité et la transparence des diverses activités des enseignants et chercheurs, ainsi que de la distribution des financements et, accessoirement, fournit un précieux outil bibliographique.