Lettre ouverte aux membres du CNU-04 (science politique) sur les revues et l’évaluation

Chers collègues du CNU 04,

Dans le cadre des réflexions en cours sur les critères d’évaluation des travaux de science politique, et de manière plus générale en sciences humaines, il nous a semblé utile de vous exposer nos analyses relatives aux revues dites à “comité de lecture” ainsi qu’aux “listes de revues” mais aussi du danger qu’il y aurait à opérer implicitement une focalisation sur ce type de supports au détriment des autres. Nos remarques font référence à deux documents publics, le Rapport 2011 de la section 04 et la liste de classement des revues de science politique par l’AERES. Elles valent tant pour la qualification des candidats aux postes d’enseignants-chercheurs, que pour l’évaluation des enseignants-chercheurs dans les procédures de promotion ou autres.

Les positions prises par la précédente section 04 dans son rapport 2011 (*), notamment aux pages 51 et 52, suscitent plusieurs réserves et inquiétudes de notre part :

1) la notion de “comité de lecture actif” est floue dès lors que de très nombreuses revues – y compris parmi les plus connues – sollicitent en relecture des personnes qui n’ont a priori aucun lien avec la revue et dont les noms ne sont publiés par la revue ni ex-ante comme membres d’un comité stable de la revue, ni ex-post dans une liste des relecteurs sollicités pour l’examen de tel numéro ou dossier thématique ou en fin d’année pour l’examen de l’ensemble des numéros lorsque ceux-ci ne sont pas thématisés. Souvent les revues à comité de lecture font état de correspondants étrangers ou extérieurs, dont il est difficile d’apprécier la pertinence et la qualité de l’investissement dans ce long et fastidieux travail de relecture critique. Dans de telles conditions, aujourd’hui très fréquentes, l’impossibilité de contrôler les caractéristiques des relecteurs sollicités rend le critère du “comité de lecture” non seulement flou mais surtout peu pertinent pour juger a priori de la valeur du travail d’évaluation des articles “par les pairs” opéré par les revue… et par suite de la qualité scientifique des articles.

2) par ailleurs, le critère de la longueur approximative des articles (“au dessus de 30 à 35 000 caractères”) n’a aucun sens du point de vue de la qualité scientifique du texte qui ne peut être jugé que par son contenu et non par sa taille. Certains apports scientifiques majeurs sont apparus dans des textes très courts et d’autres textes, longs, peuvent refléter simplement et à l’inverse un faible effort de maîtrise de l’écriture.

3) la “régularité du rythme des parutions” d’une revue ne permet pas de préjuger de la qualité scientifique des articles qui y sont publiés. Au contraire, la contrainte de périodicité imposée par certaines institutions ou bailleurs de fonds a pour effet d’obliger les revues à produire des numéros même lorsque la qualité des articles reçus dans une période déterminée ne le justifierait pas. S’il y avait un critère à valoriser d’un point de vue scientifique, ce serait plutôt et à l’inverse celui de la liberté scientifique du moment et du rythme des parutions.

4) La “liste des revues” en science politique (**) établie sous l’égide de l’AERES n’a ni valeur, ni légitimité dans la communauté scientifique :

a) Établir une “liste de revues” en présentant celles-ci comme offrant des garanties de qualité scientifique revient implicitement à opérer un classement de revues et à déclasser toutes celles qui ne sont pas sur la liste au rang de revues médiocres ou non scientifiques ou étrangères à la discipline. Outre le fait que de telles frontières en science humaines sont souvent bien floues et gagnent à le rester, le risque est grand de masquer derrière elles des clivages intellectuels. Les communautés scientifiques internationales, notamment en sciences humaines, se mobilisent depuis des années contre ces classements. Le fait qu’ils soient exprimés en lettre A, B, C ou en dichotomie oui/non sur divers critères ne change rien au caractère délétère de ce genre d’opération.

b) Chaque scientifique ou entité scientifique peut avoir à l’esprit ou éprouver le besoin d’opérer un tel classement pour son usage privé. Mais l’élaboration d’une liste commune, institutionnalisée, contraignante, et donc “valable” pour tous, s’il était démontré qu’elle soit théoriquement possible,  nécessiterait en pratique des procédures et des moyens totalement hors de portée de notre communauté scientifique aujourd’hui. Étant donné le nombre de revues qu’il faudrait étudier, le travail, s’il devait être fait sérieusement, c’est à dire conformément à ce que nous exigeons des travaux scientifiques en la matière, serait gigantesque. En l’état actuel des procédures, le travail des groupes de l’AERES ne présente aucune garantie de sérieux : ni la méthodologie d’enquête sur les revues, ni le corpus de données utilisés, ni les critères utilisés pour les comparer, ni les raisonnements et modalités de mise en œuvre de ces critères ne sont rendus publics et ne peuvent être contrôlés par les pairs. Rien ne permet donc d’y accorder crédit.

c)  De fait la dernière liste de l’AERES (2011)* en science politique de 326 revues… pourrait facilement en comporter plusieurs milliers par extension dans divers champs linguistiques, intersections disciplinaires, secteurs thématiques et types de revues. Dans cette liste, certaines langues étrangères sont retenues et d’autres non, ceci sans la moindre justification possible. Le nombre de revues retenues dans certaines langues est dérisoire. Par ailleurs, des dizaines de milliers d’articles de science politique ont été publiés dans des revues relevant de plusieurs disciplines ou dans des revues thématiques-sectorielles, ne relevant d’aucune discipline spécifique : ni les unes, les autres n’apparaissent dans cette liste. Des centaines de revues à la charnière du secteur académique et d’autres secteurs professionnels sont étrangement évincées. Enfin, des milliers de revues nouvelles sont apparues en version numérique, qui sont marginalisées par cette liste archaïque. Elle n’a donc strictement aucune valeur.

d) L’animation scientifique dépend aussi des courants théoriques ou des logiques dominantes d’une période qui légitiment les contenus mais pas leur pertinence. Les classements ont souvent tendance à entériner l’histoire d’une revue et son degré d’institutionnalisation. Or l’opération de classement elle-même est un objet de controverses à la fois disciplinaires et scientifiques, pour la bonne et simple raison que le champ des sciences humaines est en constant remaniement et que les critères de la légitimité dont les revues se font aussi l’expression sont toujours susceptibles d’être remis en cause. La détermination d’une liste de revues agréées, sur la base de critères que ceux qui s’en prévalent sont incapables de justifier rationnellement sans renvoyer à une certaine vision de ce que doivent être les sciences humaines, ses méthodes, ses objets légitimes, en bref sans avoir à définir une orthodoxie, est directement contraire à la liberté de recherche. C’est au sein des laboratoires, dans les congrès, les revues, et en fonction des orientations de recherche et des choix opérés par les chercheurs (individus et collectifs), que doit s’opérer le choix des revues comme acte participant directement d’une vision de leur discipline, de son rôle et de ses enjeux. Quoi qu’il arrive, c’est dans le cadre d’une controverse publique et argumentée que la qualité d’un travail scientifique est seule susceptible d’être évaluée, non sur la base de critères fixés a priori dont c’est le rôle de ce même travail que d’interroger la pertinence et éventuellement de les récuser.

Enfin, les précautions rhétoriques qui accompagnent, dans les deux documents publics précités (Rapport CNU-04 2011 et liste des revues de science politique AERES*), la mise en avant de certains supports de publication au détriment de tous les autres paraissent bien superflues : à quoi bon énoncer des critères et dresser des listes si elles n’ont pas d’importance? De facto, les références aux pseudo « comités de relecture » et à telle ou telle liste de revues classées, charrient avec elles, une focalisation irrationnelle sur les publications dans ce format au détriment des livres individuels et collectifs qui ont souvent beaucoup plus d’importance dans la production intellectuelle des sciences humaines.

Pour ces motifs nous demandons à tous les membres du CNU de n’évaluer les travaux scientifiques que sur la base de leurs contenus scientifiques et non de quelques aspects extérieurs et apparents des supports de publication.

(*) Rapport 2011 :
http://www.cpcnu.fr/chargerDocument?name=Rapport_d_activite_2011&path=/sections/section_04/documents/Rapport_d_activite_2011&typeDocument=generique

(**) Liste AERES : http://www.aeres-evaluation.fr/Publications/Methodologie-de-l-evaluation/Listes-de-revues-SHS-sciences-humaines-et-sociales
————————-
93 signataires (au 13.02.2012 – 21h)
————————-
Professeurs et Maîtres de Conférences des Universités, Directeurs et Chargés de recherche au CNRS, relevant de la section 04 (science politique) du Conseil National des Universités, qui souhaitent signer cette lettre peuvent le faire en envoyant leurs signatures à : contact.lettre04@shesp.lautre.net.