L’Académie des sciences tire-t-elle à vue sur la bibliométrie ?
Les Echos vs. La Tribune. Intéressante comparaison entre les premières mentions dans la presse d’un nouveau rapport de l’Académie des sciences consacré à l’évaluation, cette fois centré sur la bibliométrie (dont l’une ne se donne même pas la peine de fournir un lien vers le texte commenté, au cas où des lecteurs iraient voir et se rendraient compte de l’absurdité du commentaire…).
Cela dit, je suis presque contente que la traduction-trahison du contenu du rapport par ces deux journalistes insiste sur la prudence qu’il recommande. Car ce rapport est, nécessairement, le fruit de compromis et de méta-compromis, en l’espèce principalement entre des représentants de disciplines qui ont pour l’heure très inégalement adopté la bibliométrie. En gros, certaines parties du rapport prennent, en conséquence la pratique massive de la bibliométrie comme un point de départ, en cherchant à la corriger : un point de vue très adapté vis-à-vis des sciences médicales notamment, beaucoup moins vis-à-vis d’autres disciplines. De ce fait, on pouvait craindre que, du rapport, soit surtout retenue l’idée de “faire avec, le moins mal possible”. Ce n’est pas ce que la presse y lit : tant mieux, parce que ce n’est pas ce qui ressortait, de mon point de vue, des débats préalables. Reste à voir ce que le ministère de la Recherche, son destinataire, en fera.
Je vous laisse lire et commenter le rapport ; j’ai une position très particulière à son égard puisque j’ai participé à sa confection. Je vais donc vous raconter cela dans une petite série de billets à venir ; non pas que cela constitue un complément nécessaire au rapport, que je trouve plutôt riche et équilibré (mais, donc, je ne suis pas très objective sur la question), mais parce que j’y ai beaucoup appris en particulier sur les pratiques des différentes disciplines et sur les manières de parler des pratiques SHS à d’autres.
OpenEdition vous propose de citer ce billet de la manière suivante :
Claire Lemercier (25 janvier 2011). L’Académie des sciences tire-t-elle à vue sur la bibliométrie ? Évaluation de la recherche en SHS. Consulté le 11 décembre 2024 à l’adresse https://doi.org/10.58079/omib
Bonjour
ma première impression à la lecture du résumé et des recommandations, sans avoir eu encore le temps de m’y plonger, est qu’il n’est pas très critique de la bibliométrie, en particulier vis-à-vis des possibilités de bidonnage, de manipulation qui ont été utilement portées à la connaissance de tous notamment grâce à ce blog. Une mention très brève pour le caractère très insatisfaisant des bases de données concernant les SHS mais rien sur le fait que notre production est majoritairement sous forme de livre.
Ce qui impressionne à la lecture, c’est l’absence totale de bibliographie. Un comble pour un rapport sur l’usage de la bibliométrie, où il existe des revues entières consacré au sujet, mais aussi des rayonnages d’ouvrages !
Du coup, on est un peu sidéré quand on lit des choses comme ça :
“Le facteur d’impact (FI) des revues scientifiques fut le premier indicateur à connaître une large publicité. Il était destiné à l’origine aux professionnels de l’édition. Son rôle a été détourné de sa fonction initiale par les chercheurs.” (p. 22)
Visiblement, personne n’a pris la peine de lire la thèse de Wouters (1999) ou même simplement l’article paru dans ARSS, qui contredisent formellement ce schéma de détournement. Le FI a été construit pour faire de la politique scientifique, a été soutenu financièrement par la NSF et le NIH, et pas juste pour faire plaisir aux professionnels de l’édition !
Quant aux recommandations du rapport, les SHS ne sont pas si maltraitées : elles sont souvent à côté des mathématiques et les rédacteurs rappellent plusieurs fois qu’il ne faut pas utiliser la bibliométrie (actuelle) dans ces disciplines.
Les ouvrages sont cités à plusieurs reprises (p.12, p.19), mais leur part dans la production n’est pas quantifiée, ni même leur part de citations, très importante dans certaines disciplines (histoire, sociologie…). Voir le très beau rapport canadien de 2004, lui aussi non cité
http://www.science-metrix.com/pdf/Science-Metrix_Utilisation_bibliometrie_SSH.pdf
J’ai hâte de lire les billets sur la fabrique du rapport de l’Académie
Merci à tous deux pour votre commentaire et désolée d’y avoir réagi tardivement. Dès que j’ai le temps, j’ajoute un billet à propos du travail que Florence Weber et moi avons fait sur les SHS – qui n’était pas simple, qui n’y fera sans doute pas consensus, et qui a en effet été réduit à quelque chose de très court dans le rapport, alors qu’entre autres nous y parlions des livres.
Sur les limites et détournements de la bibliométrie, beaucoup a été dit, y compris par des professionnels comme G. Filliatreau et un représentant de Thomson-Reuters, même si tout n’est pas repris, en effet, dans le rapport.
Je partage surtout la critique sur l’absence de bibliographie, même si d’une certaine façon je m’en sens co-responsable. J’ai été étonnée d’ailleurs que les académiciens (et autres) n’aient en général jamais entendu parler de quelques références sur la pratique de la science (par exemple d’Yves Gingras, pas seulement sur la bibliométrie, mais en général, sur le jugement des pairs par exemple). Manifestement, je surestimais la pénétration des analyses d’histoire ou de sociologie des sciences en “sciences dures”.
A fortiori, oui, l’histoire des indicateurs n’est pas connue et pas vue au premier abord comme importante : ici on a un véritable effet d’habitudes disciplinaires car, en revanche, mathématiciens, physiciens et autres se démontraient mutuellement avec une grande facilité, et de façon très intéressante pour moi, l’inanité de telle ou telle mesure parce qu’elle réduisait une surface (ie une intégrale) à un nombre unique, par exemple. En gros, ils sont plus enclins à critiquer l’outil sur la façon dont il mesure qu’à partir d’une étude de sa genèse – ce qui peut être bien si on peut unir ces forces réflexives, moins bien si elles restent séparées…
Heureusement que les commentateurs de ce blog font, eux, circuler des références : continuez !