Classer, évaluer (Editorial, Annales HSS, 6, 2008)

Le monde de la recherche et de l’enseignement supérieur semble saisi par la fièvre de l’évaluation : c’est dans ce cadre qu’il importe de situer le débat récent autour des classements des revues mis en place en Europe par la European Science Foundation (ESF) et en France par l’Agence d’Évaluation de la Recherche et de l’Enseignement Supérieur (AERES), qui s’est fortement inspiré du précédent. Ces classements séparent les revues européennes entre celles qui ne sont pas classées et celles qui le sont, elles-mêmes étant réparties en trois catégories, A, B et C. La lecture des documents proposés par l’ESF et l’AERES révèle leurs carences. Les procédures et les principes de classement sont impressionnistes, les experts sont anonymes et les erreurs abondent, faisant figurer plusieurs fois certaines revues, avec parfois des classements différents ou des confusions de titre. Plus grave, ces classements montrent des injustices flagrantes, heurtant le sens commun d’une communauté des chercheurs qui n’est pas à ce point ignorante de ses propres valeurs. Les réactions, parfois virulentes, ne se sont d’ailleurs pas fait attendre, en France mais aussi dans d’autres pays européens, ainsi en Allemagne ou en Angleterre. Pour toutes ces raisons, les Annales ne peuvent que souhaiter l’abandon par l’ESF et l’AERES de ces classements à la fois contestables et contestés.

Le débat n’est pas clos pour autant, car derrière ces classements, d’autres enjeux se profilent, qu’il convient de distinguer : celui de l’évaluation des revues, mais aussi, bien entendu, celui de l’évaluation des chercheurs et des unités de recherche. Dans une période de fragmentation des savoirs et de multiplication des publications, l’idée de contribuer à l’organisation d’un espace scientifique de discussion en reconnaissant l’existence de différentes catégories de revues n’est pas a priori dépourvue de sens s’il ne s’agit pas de fabriquer des cloisons étanches ou des hiérarchies arbitraires. Encore faudrait-il que les critères de classement ainsi que l’objectif recherché soient clairement affichés, que les procédures soient l’objet d’un consensus et les révisions régulières. Par ailleurs, dans les pays où les publications dépendent du soutien des institutions et des financements publics, il semble légitime de disposer d’outils pour répartir les ressources sur la base de critères scientifiques. On pourrait d’ailleurs espérer qu’une discussion collective autour de l’évaluation des revues scientifiques permette de débattre de leurs pratiques éditoriales et de rendre plus explicites les attentes des institutions qui les financent et des chercheurs qui les alimentent et les lisent. Les experts scientifiques de l’AERES ont donné récemment, en réaction aux protestations des revues et des chercheurs, des gages de leur souci de discussion. Il faut en prendre acte. Il reste qu’en publiant leurs classements sans aucun débat préalable et sans que leur usage soit clairement établi, les institutions européennes et françaises (à la différence des États-Unis toujours montrés en exemple mais qui ne pratiquent pas ce type de classement) se sont engagées dans une voie dont des décennies de recherches montrent le danger. Les Annales ne peuvent que mettre en garde contre l’usage fait de ces dispositifs de classement et de mesure du savoir et inciter à la réflexivité dans le maniement de ces outils qui n’ont nullement la neutralité qu’on leur attribue. C’est d’abord au nom d’un engagement scientifique dans la pratique des sciences sociales que les réserves à l’égard de ces choix discutables doivent s’exprimer. De tels classements risquent fort de contribuer à figer l’espace intellectuel en rendant beaucoup plus difficiles les innovations et en offrant des rentes de situation aux revues à forte notoriété. Le mouvement de création de nouvelles revues, pourtant nécessaire à la vie intellectuelle, risque d’en pâtir.

Mais le principal problème qui hypothèque le principe d’un classement unique des revues est celui de la diversité des grandeurs selon lesquelles les revues peuvent être classées. Une revue peut être la référence internationale dans son domaine tout en étant limitée à un très petit milieu intellectuel de diffusion, tandis qu’une autre peut toucher une aire géographique restreinte, mais être lue par un nombre bien plus important de chercheurs, et il n’y a qu’à se féliciter de l’existence d’une vraie diversité des revues, garantie d’un pluralisme méthodologique et intellectuel. Enfin, la constitution de ces classements sur des bases disciplinaires, qui varient d’un pays à l’autre, ne fait qu’aggraver les difficultés, et confine parfois à l’absurde lorsqu’une revue interdisciplinaire, voyant son projet intellectuel complètement dénaturé, n’est évaluée que dans une seule discipline. Les communautés de savoirs n’ont pas la même taille, les mêmes frontières ni le même fonctionnement et il importe de reconnaître cette diversité irréductible. La question de l’évaluation des revues scientifiques, parfaitement légitime, reste ouverte, mais un classement unique et uniforme n’est en aucun cas la solution : il est à la fois inutile et contre-productif, comportant plus d’effets négatifs que positifs.

On peut gager toutefois que la résistance au classement des revues aurait été moins vive si ce dernier n’était pas lié à la mise en place de nouvelles formes d’évaluation des chercheurs. Le premier risque d’une telle évaluation est de mettre l’accent sur des critères strictement quantitatifs au moment même où la communauté scientifique prend conscience des limites des outils bibliométriques et de la vanité des mesures comme le « facteur d’impact », y compris dans les sciences physiques ou naturelles, sur lesquelles on prétend aligner coûte que coûte les sciences humaines et sociales. Même si la quantité de publications n’est souvent pas sans rapport avec la qualité de l’activité scientifique d’un chercheur et qu’elle peut avoir une place dans la mesure de son activité scientifique, en fournissant des indicateurs certes faillibles mais objectivables, l’absence d’une corrélation directe et le risque de céder à la facilité des méthodes quantitatives incitent à la prudence, d’autant qu’à la différence d’autres disciplines, les travaux de référence en sciences sociales ne passent pas toujours par les revues, les livres jouant un rôle fondamental dans la structuration du débat intellectuel. D’autre part, une telle conception de l’évaluation témoigne d’une méprise. Un comité de rédaction n’a pas pour fonction de distribuer des notes à la place des évaluateurs institutionnels et il n’y a pas lieu de se délester sur lui de la part la plus importante de l’évaluation, la part qualitative, à un moment où il faudrait au contraire défendre les instances collectives d’évaluation. Un comité de rédaction travaille à garantir la plus grande qualité scientifique possible des articles publiés, mais aussi à défendre une conception de la recherche qui est propre à chaque revue. Les membres de ces comités font des choix intellectuels qui ne sont pas neutres et qui s’inscrivent dans l’histoire et l’identité de chaque revue, ce qui invalide l’utilisation mécanique d’un classement des revues comme principal outil d’une évaluation des chercheurs ou des unités de recherche.

La voie d’une évaluation essentiellement quantitative appuyée sur un classement des revues, nous paraît donc dangereuse. Pour autant, on ne saurait en tirer argument pour refuser par principe une évaluation plus rigoureuse du travail des chercheurs, au nom de l’argument spécieux que tout se vaut. On objectera que les chercheurs sont déjà évalués. Qui pourra néanmoins prétendre sérieusement que les mécanismes d’évaluation individuelle ne puissent être améliorés ? Le refus de toute procédure évaluative ou le maintien d’un statu quo ne sont pas plus souhaitables que les propositions d’évaluation strictement quantitative. L’attachement à une conception scientifique du travail intellectuel en histoire et en sciences sociales ne peut guère s’accommoder d’une prétendue incommensurabilité de nos productions. De même, il y a quelque paradoxe à passer dans la pratique une grande partie de notre temps à évaluer étudiants ou collègues plus jeunes et à refuser tout débat sur les formes d’évaluation. Les conditions actuelles du recrutement universitaire, trop souvent parasité par le localisme et le clientélisme, mais aussi le déroulement des carrières, où les chercheurs les plus dynamiques sont peu encouragés, ou encore les décalages parfois criants entre la reconnaissance scientifique et les parcours institutionnels, plaident en faveur d’une évaluation plus systématique, à condition de s’entendre sur les formes de cette dernière. Or, les évolutions récentes liées à la création d’agences nationales et européennes qui évaluent les revues, les chercheurs et les projets dans une totale opacité, n’ont rien de rassurantes à cet égard. Ces institutions dont les membres sont nommés et non élus contribuent à renforcer le sentiment d’arbitraire par l’absence de critères et de procédures exposés publiquement puis reconnus et validés collectivement. Elles développent à un point encore jamais atteint la bureaucratisation de la recherche, de sorte que les enseignants du supérieur dont le prétendu travail à mi-temps de chercheur est déjà bien entamé par l’accumulation des tâches pédagogiques et administratives passent désormais souvent plus de temps à écrire des projets ou des rapports qu’à effectuer la recherche elle-même. Enfin, et ce n’est pas le moindre paradoxe, alors que la rhétorique politique prétend promouvoir l’autonomie des institutions universitaires, se met en place en réalité une centralisation directement soumise à un pilotage administratif, voire politique, souvent ignorant des réalités les plus élémentaires de la recherche.

Ne nous faisons pas d’illusions : l’évaluation est par nature problématique et insatisfaisante dans nos disciplines. L’évaluation qualitative par les pairs, qu’on oppose volontiers à l’évaluation bibliométrique, n’est pas davantage une panacée : elle est dévoreuse en temps pour les chercheurs, dépend de la façon dont sont désignés les évaluateurs, et n’assure pas que les travaux innovants soient distingués.

Les Annales ne prétendent pas proposer – ce n’est d’ailleurs pas leur rôle – une solution toute faite à ces problèmes, mais ne peuvent que souhaiter une redéfinition collective des règles sous le signe de la transparence, de l’autonomie et de la responsabilité. En cette période d’incertitudes économiques et de menaces accrues sur les conditions du travail scientifique, les revues et les chercheurs qui y publient doivent aujourd’hui démontrer leur capacité à défendre et à illustrer une idée de la recherche scientifique et de son évaluation, même imparfaite, tout en ayant le courage de se l’appliquer à eux-mêmes.

LES ANNALES