Communiqué de la DFG sur la bibliométrie

Voici le texte intégral du communiqué de la DFG, dans la traduction de Christophe Duhamelle (que nous remercions de nous autoriser à la diffuser ici).

Des solutions alternatives au European Reference Index for the Humanities (ERIH) : la DFG à la recherche de méthodes bibliométriques adaptées aux sciences humaines et sociales

Communiqué d’information n°16, 10 mars 2009

Le système scientifique ne peut exister sans que se pose la question de la qualité – autrement dit, de l’évaluation – des performances en matière de recherche. La tradition veut qu’on traite cette question en lien avec les procédures de qualification et de recrutement, lors de la publication d’ouvrages scientifiques, ou pour l’attribution de subventions ; mais à l’heure actuelle c’est avant tout dans le cadre de la répartition première des ressources et de la gestion globale (au niveau général de la politique scientifique comme à celui de la gouvernance de chaque établissement) qu’elle se pose. C’est pourquoi le monde scientifique ressent un besoin si urgent de procédures efficaces, scientifiquement fondées et acceptées par tous pour évaluer les performances scientifiques. Les méthodes bibliométriques constituent de ce point de vue un des principaux chantiers. Alors que, dans certains domaines scientifiques, elles ont été depuis longtemps élaborées, mises à l’épreuve et bien étudiées (y compris leurs limites), on manque en revanche de bases pour adapter ce genre de méthodes aux caractéristiques des sciences humaines et sociales et aux spécificités des disciplines qui les composent. Pour autant, ce domaine scientifique ne saurait se fermer à toute approche bibliométrique : c’est ce qu’a souligné le conseil scientifique de l’initiative de la DFG en faveur des sciences humaines (Förderinitiative Geisteswissenschaften) lorsqu’il a fait du soutien en faveur du développement de ces méthodes une des priorités de la DFG.

Le European Reference Index for the Humanities (ERIH), qui vise à évaluer les périodiques comme lieux de publication des résultats de la recherche en sciences humaines et sociales, se trouve actuellement au centre des discussions. Il fut conçu dans le cadre d’un réseau, subventionné par l’Union, d’organismes européens de soutien à la recherche, ainsi que par la European Science Foundation (ESF). La DFG, au départ, a approuvé l’objectif mais, dès les premières étapes du processus, elle a fait part de ses réserves envers la méthodologie et les procédures proposées et a donc cessé de participer aux travaux de ce réseau.

Le principe de base de l’ERIH repose sur un recensement et un classement globaux des périodiques scientifiques en Europe – ce qui ne manque pas d‘être problématique, pour plusieurs raisons. Le doute semble d’abord permis sur la possibilité de mettre en œuvre le critère utilisé pour déterminer la qualité des résultats publiés de la recherche, ainsi que sur sa pertinence. En effet, on a élaboré des listes, couvrant 15 champs disciplinaires, de quelques milliers de périodiques, répartis à chaque fois en trois catégories censées refléter le degré de diffusion des périodiques dans les communautés scientifiques nationales ou internationales. Ce critère se distingue par sa capacité à saisir des publications de petite ampleur, même si elles sont limitées à un pays ou à une langue ; en revanche, il est totalement inadapté lorsqu’il s’agit de refléter la valeur scientifique des résultats publiés, ou même tout simplement la réputation de chaque organe de publication.

Les classifications ont été effectuées par de petits groupes d’experts constitués pour l’occasion, sans que soit mise en œuvre une consultation systématique des communautés scientifiques nationales et européennes, des associations de spécialistes, des organismes de soutien à la recherche, etc. Les listes qui en résultent sont, sans surprise, entachées de biais qui découlent du hasard de la répartition nationale et disciplinaire de chacun de ces comités ; elles sont donc de qualité hétérogène. Le système de classement privilégie tantôt les disciplines, tantôt les champs thématiques. L’entreprise a dépassé les sciences humaines pour s’attaquer aussi à quelques disciplines des sciences sociales sans pour autant solliciter la participation des instances scientifiques compétentes de l’ESF.

Une première version des listes de l’ERIH fut publiée en 2008 ; elle a suscité la controverse ainsi qu’un rejet sans nuances au sein de certaines disciplines. Tout signale donc que le processus ne bénéficie pas d’une légitimité par consensus. Dans le même temps, plusieurs indices montrent qu’ici ou là le besoin fortement ressenti dans le système scientifique d’indicateurs de performance fondés sur les publications a poussé à recourir à cette fin, dès maintenant, aux listes de l’ERIH. Un tel procédé est contradictoire avec la volonté de promouvoir la qualité de la science et il peut s’avérer hautement préjudiciable aux disciplines concernées. Une des objections formulées, à bon droit, par les disciplines des sciences humaines et sociales – à savoir que les méthodes bibliométriques, en se concentrant sur les périodiques, sont inadaptées aux modes de communication et de publications propres à ces disciplines – est rendue encore plus légitime par les procédures qui découlent de l’ERIH.

Même si ses promoteurs ont explicitement déclaré que l’ERIH n’était pas fait pour être utilisé à des fins d’évaluation, il est évident que de telles classifications, beaucoup trop schématiques dans leur principe et susceptibles d’être employées à mauvais escient, ne devraient pas continuer à être développées et répandues. C’est pourquoi la DFG soutient activement la recherche de méthodes efficaces et adéquates pour l’analyse bibliométrique dans les sciences humaines et sociales. Pour ce faire, la DFG a entamé un processus concret, en coopération avec d’autres organismes de soutien à la recherche français (ANR), britannique (AHRC/ESRC) et néerlandais (NWO). Ces institutions ont conçu et financé en commun le « European Scoping Project : Towards a Bibliometric Database for the Social Sciences and the Humanities ». Dans un souci d’ouverture, les quatre organismes ont intégré l’ESF parmi les porteurs officiels de ce projet.

Un comité directeur composé d’experts internationaux et de représentants du monde scientifique, placé sous la présidence du professeur Ben Martin (université du Sussex), s’est mis au travail en novembre 2008. A la mi-2009 sera publié un premier rapport avec des recommandations sur la manière dont, au sein de l’espace européen et multilingue de la recherche pourrait être construits les pré-requis bibliométriques permettant une évaluation des performances de la recherche qui soit adaptée aux spécificités des sciences humaines et sociales. Cette réflexion doit s’attacher en particulier aux défis particuliers que représentent la diversité des langues scientifiques européennes ainsi que les modalités spécifiques de communication et de publication des différentes disciplines. On peut citer ici l’exemple des monographies et des recueils collectifs : ces formes de publication, fondamentales dans de nombreux domaines scientifiques, doivent être prises en compte dans les procédés bibliométriques – une exigence que néglige complètement la procédure de l’ERIH, fondée sur les seules revues.

Le comité directeur du projet, dans le cadre de ses travaux, se livrera à un recensement et à une évaluation des banques de données et des méthodes bibliométriques qui ont existé jusqu’à aujourd’hui en Europe et peuvent servir de modèles ; pour ce faire, il pourra recourir à des groupes d’experts extérieurs. Ce travail sera complété par des consultations et par l’organisation d’un Stakeholder Workshop. Lorsque ce projet sera achevé, la DFG, au nom du comité directeur, mettra en place un Workshop de plus grande ampleur qui permettra de présenter les résultats et les recommandations obtenus à un cercle plus large de représentants des disciplines des sciences humaines et sociales.


Vous aimerez aussi...

1 réponse

  1. E VERDEIL dit :

    Merci de ce signalement.
    Dans sa lettre mensuelle d’information diffusée ce matin, l’INSHS fait part de la mise en place (phase de test) d’une procédure normalisée dans la base de données RIBAC (Recueil d’Informations pour un oBservatoire des Activités des Chercheurs). Il s’agit d’une révision assez large de la procédure CRAC à laquelle chaque année se soumettent les chercheurs CNRS pour établir un compte rendu factuel d’activités. Cette fiche était jusqu’à présent extrêmement biaisée et imprécise. Je n’ai pas eu le temps de regarder dans le détail pour comprendre si la saisie des informations serait basée sur des listes préétablies ou pas (certains éléments lus tendent à le laisser penser, d’autres non). D’autre part, un des apports de cette nouvelle procédure serait de beaucoup mieux prendre en compte les livres et plus généralement la diversité des tâches des chercheurs (traduction, dictionnaire…).
    Une présentation publique sera organisée le 20 mai à la maison René Ginouvès à Nanterre.
    Précisons qu’à ce stade, je ne porte pas de jugement sur la démarche faute de l’avoir examinée en détail. Disons que dans son principe, il me semble qu’il s’agit de partir de l’activité des chercheurs (d’une manière assez fine) plutôt que d’identifier à priori des listes déterminant la valeur des productions. Une démarche semble t il à l’opposé de ce que nous avons vu jusqu’à présent et sur quoi a porté la discussion. Mais dont un des outputs est la production d’indicateurs de toutes les sortes possibles (sauf des mesures de citations): nous sommes dans une logique de quantification, même si elle est présentée comme étant préalable à d’autres choses.
    Consulter : http://www.cnrs.fr/inshs/Lettres-information-INSHS/lettre_infoINSHS_03.pdf

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *