Après la levée de boucliers contre le classement des revues par l’AERES, la notion de « périmètre de scientificité » a paru propre à faire consensus entre au moins une bonne partie des acteurs concernés – et notamment des revues. Je n’ai malheureusement pas assisté aux principales réunions où elle a été débattue : aussi, je m’exprime en situation d’information très imparfaite. Je suis par ailleurs d’accord pour considérer qu’il s’agit de toute façon d’une solution meilleure que le maintien en l’état (ou même avec des révisions périodiques et un peu plus transparentes) du classement AERES. Toutefois, je me pose un certain nombre de questions que je vais exposer de façon délibérément critique, parce que c’est pour moi une façon de réfléchir : je ne prétends pas que mon opinion est faite ni que j’ai pensé à tous les arguments possibles.

Une expérience

Si j’ai la moindre légitimité pour avoir un avis sur la question, c’est éventuellement au titre de mon expérience de cinq ans dans le comité de rédaction de Revues.org¹. En effet, une de ses tâches principales est de décider de quelles revues seront acceptées pour la mise en ligne (je sais qu’il existe un organe de même type pour Persée et j’imagine qu’il en va de même pour Cairn et tous les autres portails).

À cette occasion, j’ai pu découvrir un certain nombre d’objets éditoriaux mal identifiés (projets de création de revues à la ligne éditoriale pour le moins floue ou à la pérennité douteuse), mais aussi d’autres qui étaient parfois « grands » à leur manière (ancienneté, tirage, qualité éditoriale…) mais que pour diverses raisons nous avions du mal à considérer comme des « revues scientifiques de SHS » (la définition, délibérément large, de ce que nous voulions mettre en ligne) de plein droit : des revues par trop locales ou « consanguines » (trop d’articles signés de membres du comité de lecture), ou bien n’indiquant pas comment elles sélectionnaient leurs articles ; d’autres revues surtout centrées sur la vulgarisation, l’engagement politique ou le conseil aux praticiens… et je ne parle pas des revues interdisciplinaires ne laissant que très peu de place (mais une place quand même) aux SHS. Après en avoir longtemps discuté, nous avons d’ailleurs différencié des « cahiers » des « revues » : il ne s’agit pas vraiment d’une hiérarchie, mais certains critères sont interprétés de façon plus souple pour les « cahiers » (qui sont soit des micro-revues, soit des créations dont on attend de connaître la pérennité, soit des revues à autorat délibérément local, soit des objets plus hybrides…), et certains « cahiers » deviennent ensuite des « revues ».

Cette expérience nous dit, je crois, plusieurs choses sur la définition d’un « périmètre de scientificité » :

• c’est un travail difficile et qui prend du temps. Rares sont finalement les cas où la décision est évidente. Nous avons rapidement ressenti le besoin de demander des rapports d’experts extérieurs, en amont de notre discussion collégiale (nous avons vu aussi qu’un vote ne suffit pas, mais qu’il faut discuter pour arriver à une décision). Tout cela prend beaucoup de temps, alors que nous n’examinons que quelques dizaines de revues chaque année.

• les critères ne sont pas évidents, et le statut de chaque objet éditorial peut changer dans le temps.

• il est difficile, à long terme et même si on l’a souhaité au départ, de maintenir l’objectif de n’avoir qu’une seule liste.

• finalement, un certain nombre de décisions sont prises en prenant en considération le but de l’opération (la mise en ligne) : dans le doute, on peut refuser à un moment où les équipes sont déjà surchargées de nouvelles revues à mettre en ligne, voire, à la limite, si des contacts se sont mal passé avec l’équipe de la revue. Nous essayons évidemment de limiter l’influence de tels critères (nous sommes là pour porter un jugement scientifique : ils n’ont joué qu’exceptionnellement) ; mais il n’est pas si mauvais non plus de se rappeler pourquoi nous « labellisons » (si j’ose dire) les revues : non pas dans l’absolu, mais pour savoir comment seront utilisés les (toujours trop faibles) moyens en personnel de l’unité alloués aux nouvelles mises en ligne.

Des leçons et des doutes

Cette petite expérience rappelle, déjà, que plusieurs « périmètres de scientificité » ont été de fait définis par les différents portails (français ou non) de revues scientifiques. On peut leur ajouter, là aussi avec des classements à un seul niveau, si j’ose dire, les listes des revues soutenues par le CNRS (même si la notion de label semble vouée à disparaître, restent les soutiens en argent ou en personnel) et par le CNL. Ces exemples soulignent trois choses intimement liées :

• on peut avoir des listes plus ou moins larges, des critères plus ou moins lâches, même si le but est d’évaluer la scientificité (et de ce point de vue, les critères implicites des sections du CNRS me semblent ressembler à ceux de Revues.org : simplement, ils sont appliqués de façon plus stricte). S’il y a plusieurs listes plus ou moins larges, la réapparition d’un classement n’est pas loin. Si l’on veut établir « un » périmètre de scientificité, visera-t-on plus large (comme Revues.org, ou encore plus) ou moins (comme le CNRS, on encore moins) ? Je crains que ceux qui s’accordent aujourd’hui sur la notion de périmètre (unique) de scientificité n’aient pas tous la même idée de ce que doit être sa largeur ;

• on peut aussi avoir des critères contradictoires, comme le sont en bonne partie ceux du CNRS et du CNL. Entre diffusion (papier et/ou web), prestige (mesuré comment ?), procédures, etc., il faudra à un moment trancher.

• critères et largeur de la liste sont, dans les exemples précités, in fine déterminés en fonction de ce que l’on veut faire de cette liste : à chaque fois, il s’agit d’allouer des ressources limitées. Ce qui ne serait pas le but direct du « périmètre de scientificité » qui a été évoqué : on ne pourra donc pas s’appuyer sur cette finalité pour trancher des discussions qui risquent du coup de se prolonger à l’infini.

Ce que montre aussi l’expérience de Revues.org – et je pense les autres, sans y avoir directement participé – c’est qu’il est long de lister. Que listera-t-on d’ailleurs ? Seulement les revues françaises ? Mais c’est justement plutôt sur les revues finnoises ou portugaises qu’un lecteur de CV peut s’interroger… Et à partir de quelle pré-liste ? Comment repérera-t-on l’ensemble (immense en réalité) des objets éditoriaux éligibles ? Devront-ils se porter candidats (comme dans tous les exemples précités) et sinon comment feront les « listeurs » ? S’il est si long de lister, peut-on espérer des révisions régulières, pourtant nécessaires ?

Une liste pour quoi faire ?

Devant la difficulté de cette tâche, qui ajouterait encore au temps global consacré par la communauté à évaluer le voisin plutôt qu’à produire de la recherche, il me semble qu’il faut passer un peu de temps à se demander pourquoi l’on veut l’entreprendre.

La réponse immédiate serait sans doute « pour remplacer la liste de l’AERES par quelque chose de mieux » (ou de moins pire). Mais, si la liste de l’AERES a été justement critiquée pour son contenu et son mode de fabrication, son but n’est pas moins discutable : si j’ai bien compris, il s’agit essentiellement (version optimiste) d’aider les évaluateurs à mesurer ce qui, dans un CV comprenant beaucoup de publications, est vraiment sérieux ou (version pessimiste) d’automatiser l’identification des « publiants » pour, notamment, fonder sur elle une partie de l’évaluation de leurs centres de recherche. Souhaitons-nous contribuer à ces buts, fût-ce avec une liste plus juste que l’actuelle ?

Il a été dit aussi, et c’est un argument auquel je suis sensible, qu’une telle liste aiderait les doctorants les moins insérés dans la communauté, par exemple, à choisir de bonnes stratégies de publication. Toutefois, une liste de centaines de revues, non hiérarchisée, n’est pas optimale dans cette optique : à ce compte-là, autant revenir à un classement fin, comme celui des économistes, dont c’est le but explicite. Par ailleurs, pourquoi les doctorants en question n’utiliseraient-ils pas les informations déjà accessibles sur l’acceptation des revues par les portails et leur soutien par le CNRS ou le CNL (les « périmètres » déjà constitués) pour se faire une première idée de leur reconnaissance ?

Je retiens surtout, et ma petite expérience de commissions de recrutement me dit que ce n’est pas faux, l’argument de la perplexité de l’évaluateur ou du recruteur devant un CV fourni mais impliquant des supports de publication mal connus. Cela dit, je ne pense pas qu’une liste de type « périmètre de scientificité » (qui risquerait en outre d’être incomplète ou peu à jour, pour les raisons que j’ai dites) résolve au mieux ce problème. Il me semble que deux solutions bien meilleures existent :

• (version réaliste) entrer le nom d’une revue dans un moteur de recherche permet tout de même le plus souvent d’identifier a minima son lieu d’édition, son comité de lecture, le contenu de quelques sommaires, et dans des cas de plus en plus nombreux de connaître ses procédures de sélection et de lire au moins quelques articles (sans compte qu’il arrive qu’on trouve les revues en bibliothèque…) ;

• (version utopique) il y a même des endroits, fort nombreux à l’étranger, où l’on demande aux impétrants d’envoyer 3 ou 5 de leurs articles, choisis par eux : ainsi le jury peut les lire ou au moins les feuilleter, et parfois redécouvrir qu’on publie des choses très inégales dans les revues les plus reconnues, et occasionnellement de belles pages dans des endroits incongrus. Certes, lire prend du temps (d’où l’idée d’envoyer des articles choisis, et pas un dossier énorme qui ne sera pas lu). Mais constituer un périmètre de scientificité aussi, et avec plus de risques de nous déposséder in fine de l’évaluation.