À propos d’un « périmètre de scientificité » pour les revues de SHS

Après la levée de boucliers contre le classement des revues par l’AERES, la notion de « périmètre de scientificité » a paru propre à faire consensus entre au moins une bonne partie des acteurs concernés – et notamment des revues. Je n’ai malheureusement pas assisté aux principales réunions où elle a été débattue : aussi, je m’exprime en situation d’information très imparfaite. Je suis par ailleurs d’accord pour considérer qu’il s’agit de toute façon d’une solution meilleure que le maintien en l’état (ou même avec des révisions périodiques et un peu plus transparentes) du classement AERES. Toutefois, je me pose un certain nombre de questions que je vais exposer de façon délibérément critique, parce que c’est pour moi une façon de réfléchir : je ne prétends pas que mon opinion est faite ni que j’ai pensé à tous les arguments possibles.

Une expérience

Si j’ai la moindre légitimité pour avoir un avis sur la question, c’est éventuellement au titre de mon expérience de cinq ans dans le comité de rédaction de Revues.org1. En effet, une de ses tâches principales est de décider de quelles revues seront acceptées pour la mise en ligne (je sais qu’il existe un organe de même type pour Persée et j’imagine qu’il en va de même pour Cairn et tous les autres portails).

À cette occasion, j’ai pu découvrir un certain nombre d’objets éditoriaux mal identifiés (projets de création de revues à la ligne éditoriale pour le moins floue ou à la pérennité douteuse), mais aussi d’autres qui étaient parfois « grands » à leur manière (ancienneté, tirage, qualité éditoriale…) mais que pour diverses raisons nous avions du mal à considérer comme des « revues scientifiques de SHS » (la définition, délibérément large, de ce que nous voulions mettre en ligne) de plein droit : des revues par trop locales ou « consanguines » (trop d’articles signés de membres du comité de lecture), ou bien n’indiquant pas comment elles sélectionnaient leurs articles ; d’autres revues surtout centrées sur la vulgarisation, l’engagement politique ou le conseil aux praticiens… et je ne parle pas des revues interdisciplinaires ne laissant que très peu de place (mais une place quand même) aux SHS. Après en avoir longtemps discuté, nous avons d’ailleurs différencié des « cahiers » des « revues » : il ne s’agit pas vraiment d’une hiérarchie, mais certains critères sont interprétés de façon plus souple pour les « cahiers » (qui sont soit des micro-revues, soit des créations dont on attend de connaître la pérennité, soit des revues à autorat délibérément local, soit des objets plus hybrides…), et certains « cahiers » deviennent ensuite des « revues ».

Cette expérience nous dit, je crois, plusieurs choses sur la définition d’un « périmètre de scientificité » :

  • c’est un travail difficile et qui prend du temps. Rares sont finalement les cas où la décision est évidente. Nous avons rapidement ressenti le besoin de demander des rapports d’experts extérieurs, en amont de notre discussion collégiale (nous avons vu aussi qu’un vote ne suffit pas, mais qu’il faut discuter pour arriver à une décision). Tout cela prend beaucoup de temps, alors que nous n’examinons que quelques dizaines de revues chaque année.

  • les critères ne sont pas évidents, et le statut de chaque objet éditorial peut changer dans le temps.

  • il est difficile, à long terme et même si on l’a souhaité au départ, de maintenir l’objectif de n’avoir qu’une seule liste.

  • finalement, un certain nombre de décisions sont prises en prenant en considération le but de l’opération (la mise en ligne) : dans le doute, on peut refuser à un moment où les équipes sont déjà surchargées de nouvelles revues à mettre en ligne, voire, à la limite, si des contacts se sont mal passé avec l’équipe de la revue. Nous essayons évidemment de limiter l’influence de tels critères (nous sommes là pour porter un jugement scientifique : ils n’ont joué qu’exceptionnellement) ; mais il n’est pas si mauvais non plus de se rappeler pourquoi nous « labellisons » (si j’ose dire) les revues : non pas dans l’absolu, mais pour savoir comment seront utilisés les (toujours trop faibles) moyens en personnel de l’unité alloués aux nouvelles mises en ligne.

Des leçons et des doutes

Cette petite expérience rappelle, déjà, que plusieurs « périmètres de scientificité » ont été de fait définis par les différents portails (français ou non) de revues scientifiques. On peut leur ajouter, là aussi avec des classements à un seul niveau, si j’ose dire, les listes des revues soutenues par le CNRS (même si la notion de label semble vouée à disparaître, restent les soutiens en argent ou en personnel) et par le CNL. Ces exemples soulignent trois choses intimement liées :

  • on peut avoir des listes plus ou moins larges, des critères plus ou moins lâches, même si le but est d’évaluer la scientificité (et de ce point de vue, les critères implicites des sections du CNRS me semblent ressembler à ceux de Revues.org : simplement, ils sont appliqués de façon plus stricte). S’il y a plusieurs listes plus ou moins larges, la réapparition d’un classement n’est pas loin. Si l’on veut établir « un » périmètre de scientificité, visera-t-on plus large (comme Revues.org, ou encore plus) ou moins (comme le CNRS, on encore moins) ? Je crains que ceux qui s’accordent aujourd’hui sur la notion de périmètre (unique) de scientificité n’aient pas tous la même idée de ce que doit être sa largeur ;

  • on peut aussi avoir des critères contradictoires, comme le sont en bonne partie ceux du CNRS et du CNL. Entre diffusion (papier et/ou web), prestige (mesuré comment ?), procédures, etc., il faudra à un moment trancher.

  • critères et largeur de la liste sont, dans les exemples précités, in fine déterminés en fonction de ce que l’on veut faire de cette liste : à chaque fois, il s’agit d’allouer des ressources limitées. Ce qui ne serait pas le but direct du « périmètre de scientificité » qui a été évoqué : on ne pourra donc pas s’appuyer sur cette finalité pour trancher des discussions qui risquent du coup de se prolonger à l’infini.

Ce que montre aussi l’expérience de Revues.org – et je pense les autres, sans y avoir directement participé – c’est qu’il est long de lister. Que listera-t-on d’ailleurs ? Seulement les revues françaises ? Mais c’est justement plutôt sur les revues finnoises ou portugaises qu’un lecteur de CV peut s’interroger… Et à partir de quelle pré-liste ? Comment repérera-t-on l’ensemble (immense en réalité) des objets éditoriaux éligibles ? Devront-ils se porter candidats (comme dans tous les exemples précités) et sinon comment feront les « listeurs » ? S’il est si long de lister, peut-on espérer des révisions régulières, pourtant nécessaires ?

Une liste pour quoi faire ?

Devant la difficulté de cette tâche, qui ajouterait encore au temps global consacré par la communauté à évaluer le voisin plutôt qu’à produire de la recherche, il me semble qu’il faut passer un peu de temps à se demander pourquoi l’on veut l’entreprendre.

La réponse immédiate serait sans doute « pour remplacer la liste de l’AERES par quelque chose de mieux » (ou de moins pire). Mais, si la liste de l’AERES a été justement critiquée pour son contenu et son mode de fabrication, son but n’est pas moins discutable : si j’ai bien compris, il s’agit essentiellement (version optimiste) d’aider les évaluateurs à mesurer ce qui, dans un CV comprenant beaucoup de publications, est vraiment sérieux ou (version pessimiste) d’automatiser l’identification des « publiants » pour, notamment, fonder sur elle une partie de l’évaluation de leurs centres de recherche. Souhaitons-nous contribuer à ces buts, fût-ce avec une liste plus juste que l’actuelle ?

Il a été dit aussi, et c’est un argument auquel je suis sensible, qu’une telle liste aiderait les doctorants les moins insérés dans la communauté, par exemple, à choisir de bonnes stratégies de publication. Toutefois, une liste de centaines de revues, non hiérarchisée, n’est pas optimale dans cette optique : à ce compte-là, autant revenir à un classement fin, comme celui des économistes, dont c’est le but explicite. Par ailleurs, pourquoi les doctorants en question n’utiliseraient-ils pas les informations déjà accessibles sur l’acceptation des revues par les portails et leur soutien par le CNRS ou le CNL (les « périmètres » déjà constitués) pour se faire une première idée de leur reconnaissance ?

Je retiens surtout, et ma petite expérience de commissions de recrutement me dit que ce n’est pas faux, l’argument de la perplexité de l’évaluateur ou du recruteur devant un CV fourni mais impliquant des supports de publication mal connus. Cela dit, je ne pense pas qu’une liste de type « périmètre de scientificité » (qui risquerait en outre d’être incomplète ou peu à jour, pour les raisons que j’ai dites) résolve au mieux ce problème. Il me semble que deux solutions bien meilleures existent :

  • (version réaliste) entrer le nom d’une revue dans un moteur de recherche permet tout de même le plus souvent d’identifier a minima son lieu d’édition, son comité de lecture, le contenu de quelques sommaires, et dans des cas de plus en plus nombreux de connaître ses procédures de sélection et de lire au moins quelques articles (sans compte qu’il arrive qu’on trouve les revues en bibliothèque…) ;

  • (version utopique) il y a même des endroits, fort nombreux à l’étranger, où l’on demande aux impétrants d’envoyer 3 ou 5 de leurs articles, choisis par eux : ainsi le jury peut les lire ou au moins les feuilleter, et parfois redécouvrir qu’on publie des choses très inégales dans les revues les plus reconnues, et occasionnellement de belles pages dans des endroits incongrus. Certes, lire prend du temps (d’où l’idée d’envoyer des articles choisis, et pas un dossier énorme qui ne sera pas lu). Mais constituer un périmètre de scientificité aussi, et avec plus de risques de nous déposséder in fine de l’évaluation.

1Toutefois, je m’exprime ici à titre purement personnel et sans avoir consulté les autres membres de ce comité.


Vous aimerez aussi...

3 réponses

  1. Sylvain Piron dit :

    Claire s’exprime à titre personnel, en s’appuyant sur son expérience au sein du comité de Revues.org ; c’est précisément cette même expérience qui m’a amené à prendre (un peu plus tôt) une position tranchée sur la question des listes de revues.
    Pour préciser un détail important, la distinction entre « revues » et « cahiers » est d’ordre éditoriale, elle n’implique pas que les articles paraissant dans des cahiers soient par principe d’un niveau scientifique inférieur à celui des revues.

  2. E VERDEIL dit :

    comme je l’ai déjà écrit sur la liste revue_shs, j’ai un point de vue un peu différent.
    Tout d’abord, la liste établie par le comité national du CNRS est en effet une liste extrêmement réduite. Elle n’est du reste pas toujours clairement localisable (et les versions successives ont tendance à disparaître). De plus, elle n’a pas toujours été établie sur des critères transparents (l’AERES non plus, j’y reviens dessous). Surtout, à ma connaissance, au moins jusqu’à récemment, seules y apparaissent les revues bénéficiant d’une subvention et/ou d’une affectation de personnel. Ainsi, des revues qui disposent de leur propre moyen de fonctionnement ne sont pas évaluées ni classées par le CoNRS.
    Je ne connais pas bien le fonctionnement du CNL. Son L’aide me semble t il n’est pas conditionnée par une excellence scientifique mais par des conditions plus larges sur l’intérêt de la revue.
    Il me semble que disposer d’une liste (ou disons d’un répertoire) de référence des revues présente l’avantage de constituer un repère susceptible de structurer le champ des SHS ou du moins certains de ses sous-champs où les pratiques de publication se revendiquant de la recherche sont très confuses. Il ne s’agit pas d’uniformiser ou d’imposer un modèle unique de publication (le livre ou la « vulgarisaton » pédagogique ou grand public sont bien sûr légitimes), mais d’identifier clairement des lieux où la publication procède d’une validation collective et d’un débat.
    Le corolaire de cette position est de défendre une conception large de la dite liste et de revendiquer que sa constitution relève de critères transparents. Je pencherai donc pour une définition relativement formelle de telles listes, afin d’éviter que leur établissement soit pollué par des considérations de réputation, de hiérarchies implicites.
    Concernant la géographie, on attend la publication de la liste AERES révisée pour la géographie. Mais il semblerait, qu’un autre choix a été fait, maintenant une hiérarchie entre revues permettant d’être publiant et revues ne permettant pas de l’être. Avec l’argument que les revues de deuxième catégorie seraient ainsi incitées à « progresser » (alors que la finalité des revues est plutôt de faire « progresser » le savoir et non pas de progresser elles-mêmes).

  3. Sylvain Piron dit :

    Le débat tourne un peu en rond, mais essayons de l’éclaircir. Le dernier paragraphe d’Eric révèle le noeud du problème : des listes, certes , mais pour quoi faire ? L’AERES veut calculer des taux de publiants, pour que le logiciel SYMPA s’en serve pour déterminer les moyens alloués aux établissements. Cela n’a rien à voir avec les autres objectifs annoncés, qu’il faut qualifier de « leurre ».
    Si la question est de distribuer un label disant « ceci est une revue scientifique à comité de rédaction », il ne peut être distribué que par une instance ayant une mission strictement scientifique, et dont la réputation serait sans tâche, en tout cas pas par l’AERES dont la mission n’est pas de procéder à une évaluation scientifique mais à une évaluation gestionnaire, et dont le costume est déjà bien taché. Pour ma part, je ne suis pas très intéressé par l’attribution d’un tel label, hors d’un objectif précis (attribution de subventions, adhésion à un portail, etc.). Si certains ont de l’énergie et du temps à y consacrer, qu’ils s’y colllent. Mais reconnaître la moindre valeur aux arguments de l’AERES pour cette raison, c’est prendre le « leurre » pour une véritable proie. Autrement, cela revient à se faire piéger. J’espère qu’Eric (et les autres) finira par admettre cela.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *