Evaluer les revues ?

On peut grossièrement opposer deux modes d’évaluation des revues. Le premier, le plus ancien, découle d’un simple constat arithmétique : les revues les plus prestigieuses sont les revues les plus citées dans les articles scientifiques, i.e. celles qui implicitement produiraient les meilleurs articles. De cette proposition, découle la notion de facteur d’impact. En comptant les citations, on obtient une liste hiérarchisée des lieux de publication.
A l’inverse, le classement des revues peut se faire sur des critères qualitatifs. C’est le cas actuellement dominant en France ; cette approche était à l’origine de la détermination du niveau de subventions à laquelle les revues avaient droit de la part du CNRS ; c’est elle à nouveau qui est reprise par l’AERES, à la suite de la European Science Foundation qui ont ainsi établi l’une et l’autre une liste des revues de sciences humaines et sociales selon une hiérarchie A-B-C .

Les deux approches ont des biais faciles à mettre en évidence. Dans le premier cas, tout dépend bien évidemment de la base de données servant à faire ces comptage, les choix ayant présidé à sa mise en œuvre devenant déterminants dans les résultats obtenus (une revue absente de la base de données ne peut par définition être parmi les meilleures…) ainsi que le mode de comptage choisi (prise en compte des dernières années seulement…). Les mathématiciens, entre autres, ont dénoncé, démonstration à l’appui, les biais inévitables liés à la nature même des données et aux indicateurs choisis. On trouve une présentation de ces critiques dans le blog du mathématicien Jean-François Méla.

Dans le cas de la seconde, tout repose sur les critères qui seront choisis pour arbitrer entre les différentes revues. Là encore, les critiques se sont élevées en nombre. D’abord celles des historiens des sciences anglais, conduits par Robert Fox, qui ont demandé à l’ESF de retirer de cette liste les revues qu’ils dirigeaient. Du côté français, la critique s’est adressée avant tout au classement de l’AERES, de la part de différentes communautés scientifiques (on peut retrouver leurs prises de position dans des billets précédents en cliquant sur le tag « revues » ou encore sur la page de SLU consacrée à la bibliométrie). Sur un blog de l’URFIST, on trouve également la présentation d’une lecture très critique émanant d’un universitaire américain. Dernièrement enfin, un site s’est mis en place pour centraliser les prises de position et les textes portant sur les classements des revues sous le titre de Publier ou Mourir.

Pour autant, l’idée d’un classement des revues, même si ce n’est pas forcément sur la base d’une catégorisation aussi simpliste que la tripartition A-B-C, n’est pas une pratique totalement nouvelle dans certaines disciplines de SHS. Ainsi que le rappelait Fabien Jobard dans la demi-journée consacrée à l’évaluation, organisée le 20 octobre dernier (voir le billet du 17 novembre « Deux tables rondes sur l’évaluation), la section 40 du Comité national du CNRS (2004-2008) avait établi une distinction entre les revues dans lesquelles publiaient les chercheurs qu’ils évaluaient. Plus anciennement, le CNRS avait développé une pratique d’évaluation des revues dans la perspective d’établir le niveau de subventions qu’elles recevraient (voir le billet du 19 octobre sur le CNRS et les revues). De leur côté, par les économistes ont produit, par le biais de la section 37 du Comité national, leur propre classement.

Pourquoi alors classer ? Est-ce par seule volonté de précéder une demande institutionnelle qui semble à certains inévitable ? N’y a t-il pas dans l’opération de « classement » des revues une volonté d’objectiver les modes de fonctionnement et les attentes des disciplines concernées ? Classer les revues, cela signifie peut être reconnaître explicitement que toutes n’ont pas la même place dans le champ disciplinaire ; et donc se contenter d’objectiver un classement implicite, connu des chercheurs les mieux informés et pas toujours des plus jeunes ou des plus éloignés (physiquement, thématiquement, institutionnellement) de ces mêmes revues.

Reste alors la question des critères et de ceux à qui il revient de les définir. Les classements opérés dans le cadre d’une instance telle que le Comité nationale n’ont pas fait l’objet de critiques. Ils émanent en effet des représentants des pairs, choisis par la communauté disciplinaire elle-même dans un processus électif pour leur majorité. Très différents sont les groupes chargés d’une telle opération par la ESF ou l’AERES, désignés par le pouvoir politique. Mais la grande faiblesse de leurs classements réside moins dans leur « illégitimité » que dans leur incapacité à produire une justification acceptable de leurs choix.

La critique de ces classements pourrait alors être l’occasion d’une réflexion approfondie sur ce qu’est la publication scientifique et sur les attentes de chaque communauté disciplinaire en matière de publications. Evaluer les revues, ce peut être de la part de la communauté scientifique la possibilité de s’offrir un outil d’objectivation du travail de recherche, de l’état des disciplines, des attendus de l’activité professionnelle. Mais pour qu’un tel travail soit possible, il faut qu’il émane d’une instance validée par la communauté scientifique elle-même et qu’elle travaille à l’énonciation des critères choisis dans le cadre d’un débat collégial et contradictoire.


Vous aimerez aussi...

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *