Les revues en science politique

Date janvier 4, 2009

L’ANCMSP (association nationale des candidats aux métiers de la science politique) a mis en ligne un dossier reprenant un certain nombre des textes parus sur la question du classement des revues. Certains d’entre eux ont déjà été signalés sur ce site, mais les papiers concernant le cas particulier de la science politique constituent en revanche un ensemble inédit ici.

Une mise à jour de ce dossier a eu lieu mi-décembre 2008. On peut la télécharger ici.

L’évaluation des professeurs par les étudiants

Date décembre 15, 2008

Pour sortir un instant de l’actualité immédiate représentée par les classements de revues en France, signalons trois tribunes dans Le Monde qui donnent des visions très contrastées de l’évaluation des enseignants du supérieur par leurs étudiants aux États-Unis, le pays toujours cité comme exemple ou repoussoir en la matière. De quoi sans doute donner à penser et à discuter, d’autant que la connexion avec le classement, plus ou moins implicite, des universités elles-mêmes est assez immédiate.

Première tribune

Deuxième tribune

Troisième tribune

Et merci à Julien Hering d’avoir signalé ces articles sur la liste de Sauvons la recherche.

Comment je me suis disputée avec les classificateurs

Date décembre 15, 2008

Deux questions m’ont régulièrement été posées depuis que j’ai participé à la rédaction de l’Appel des revues, l’une plus générale, l’autre plus particulière :

A. Comment peux-tu, toi, avoir participé à un tel appel ?

B. Ne crois-tu pas que le classement des revues de l’AERES, aussi mauvais qu’il soit, représentera un choc salutaire pour les revues françaises de notre discipline ?

Dans les lignes qui suivent, je réponds à ces deux questions.

Lire la suite de ce billet »

Quelques raisons de refuser tout classement des revues

Date décembre 11, 2008

A l’occasion de la réunion du 4 décembre dernier, organisée par plusieurs revues de sciences humaines et sociales pour débattre de l’évaluation des revues, dont le compte rendu a été publié sur ce site, l’une des hypothèses avancées envisageait de  “demander à l’AERES une liste unique, pluridisciplinaire et sans classement”. N’ayant pu assister à la réunion, j’ai adressé à la liste “revues_shs” un message, dont je reprends ici l’essentiel, visant à expliquer les raisons de mon opposition à tout classement des revues scientifiques établi par une agence de contrôle de la recherche, en vue d’une évaluation des équipes de recherche. Lire la suite de ce billet »

Motion de l’Association des Historiens des Facultés de Droit

Date décembre 11, 2008

L’Association des Historiens des Facultés de Droit (AHFD), réunie en assemblée générale ce 18 octobre 2008 dans les locaux de l’Université Paris II, entend dénoncer les dangers qui pourraient résulter de la prise en compte, concernant la recherche produite en Histoire du droit et des institutions, de la liste et des critères de classement des revues scientifiques établies par l’ERIH (European Reference Index for the Humanities).

Lire la suite de ce billet »

Les revues et les classements : compte rendu d’une rencontre

Date décembre 8, 2008

Le jeudi 4 décembre 2008 s’est tenu à Paris une réunion autour du thème des classements des revues de SHS. Elle a rassemblée des représentants d’une vingtaine de revues, ainsi que Patrice Bourdelais (délégué scientifique coordinateur des SHS à l’AERES). Un compte rendu est disponible en format Pdf: cr_revues

Le dossier du BMS en texte intégral

Date décembre 6, 2008

Le dernier numéro du Bulletin de méthodologie sociologique (octobre 2008) a consacré son dossier “Recherches en cours” à la question de l’évaluation autour de quatre contributions accessibles en texte intégral :

Fièvre européenne d’évaluation de la recherche dans les sciences sociales

Yves Gingras
La fièvre de l’évaluation de la recherche. Du mauvais usage de faux indicateurs

Laurence Coutrot
Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de la recherche scientifique

François Briatte
Comparaison inter-classements des revues en sociologie-démographie et en science politique

Ce dossier fera l’objet d’un billet dans les jours qui viennent. Nous souhaitions vous informer immédiatement de sa mise en ligne, en espérant qu’il puisse être l’occasion d’engager un débat autour de cette question.

Lisons Peter Lawrence, ou les implications morales de l’évaluation bibliométrique

Date décembre 6, 2008

Un précédent billet d’Emmanuelle a déjà fait allusion aux articles de Peter Lawrence. Il me semble utile d’y revenir plus en détail. Zoologue de premier plan à l’université de Cambridge, ayant lui-même eu des responsabilités dans des revues majeures, il observe avec acuité les dérives auxquelles a conduit, en biologie, le recours à une évaluation fondée sur des données bibliométriques quantitatives dans les décisions de recrutement et de financements. Les articles auxquels je me réfère sont les suivants, tous accessibles à partir de sa page personnelle

  • « Rank Injustice. The misallocation of credit is endemic in science », Nature, 415, Feb. 2002, 835-836.
  • « The Politics of Publication », Nature, 422, Mar. 2003, 259-261.
  • « Men, Women, and Ghosts in science », PLoS Biology 4:e19, 2006.
  • « The Mismeasurement of Science », Current Biology, vol. 17, n° 15, 2007, 583-585.
  • « Lost in publication: how measurement harms science », Ethics in Science and Environmental Politics, 8, 2008.

Le coeur de son analyse se résume d’une phrase : dès lors que des indicateurs bibliométriques sont pris comme des indicateurs de performance et des outils de décision, ils cessent d’être une mesure pour devenir une finalité qui oriente le comportement des acteurs. Il s’agit là d’un cas remarquable dans lequel l’observation scientifique a totalement perturbé le milieu soumis à observation. C’est la performance bibliométrique qui devient un objectif prioritaire, et non plus la découverte scientifique. Ce changement de comportement produit des effets désastreux à toutes les étapes et chez tous les acteurs. Tant les individus que les revues, souvent sous la pression de leurs éditeurs commerciaux, agissent en fonction de ces objectifs, dans le choix des articles que les uns écrivent et que les autres rejettent ou acceptent de publier.

Lire la suite de ce billet »

Classements de revues : zooms sur la psychologie et l’histoire

Date décembre 1, 2008

Après d’autres comparatifs précis, notamment sur la sociologie (mais la mise en ligne du BMS sur le sujet est toujours à venir : voir ici), en voici deux nouveaux, inclus dans des réflexions à chaque fois substantielles sur les enjeux plus généraux des classements de revues. Gabriel Galvez-Behar compare ainsi les classements ERIH et AERES pour les revues d’histoire (domaine où les critères ont été particulièrement opaques côté français), tandis que Stéphane Laurens, dans le Bulletin de psychologie, pour expliquer le “mauvais” classement de cette revue, propose une étude bien plus large portant notamment sur l’influence sur les classements de la publication en anglais et du recensement dans les grandes bases de données.

À chaque fois, ni dénonciation générale ni défense d’une seule revue, mais une investigation précise qui nourrit le débat.

De l’usage pervers d’un outil scientifique

Date novembre 24, 2008

Les critiques faites à l’encontre de la bibliométrie sont de deux natures différentes. On peut lui reprocher d’abord de ne pas être construite pour ce que l’on veut en faire. En effet, la bibliométrie était avant tout, lors de son invention, un instrument d’objectivation des pratiques disciplinaires : on attendait d’elle qu’elle permette de dresser un état des lieu du champ du savoir concerné, qu’elle fasse apparaître la hiérarchie des questions et des lieux de publication, qu’elle montre les réseaux cognitifs en œuvre. De cette dimension d’audit disciplinaire a découlé, dans un certain nombre de cas, une fonction prospective, comme pour les psychologues avant la Seconde Guerre mondiale (on peut lire à ce sujet l’article de Benoit Godin, On the Origins of Bibliometrics). Par ailleurs, la bibliométrie est un outil intéressant pour qui travaille sur la structuration historique d’une discipline comme le montre Yves Gingras dans une étude sur la physique de la première moitié du XXe siècle ( Mapping the Changing Centrality of Physicists (1900-1944)).
Son usage pour l’évaluation est plus récent et pose un certain nombre de problèmes du fait que l’instrument n’a pas été conçu a priori pour la tâche qui lui est aujourd’hui assignée, à savoir des mesures permettant l’évaluation individuelle des chercheurs. La création, à partir des bases de données de publications, d’indices variés et individuels mesurant la visibilité du travail d’un scientifique, la publication d’une liste hiérarchisée des revues ont contribué à la mise en place d’une culture de la performance éditoriale : le « publish or perish » dans les Top-ten journals. Cette transformation du travail scientifique et sa soumission à des objectifs quantitatifs et qualitatifs extérieurs à sa culture d’origine est aujourd’hui de plus en plus fréquemment dénoncée, quelques soient les pays ou les champs disciplinaires concernés. On peut ainsi en lire une violente dénonciation sous la plume du biologiste Peter Lawrence qui appelle de ses vœux un changement radical de la part de la communauté scientifique, entièrement occupée ces dernières années à une course effrénée à la « bonne publication », en dehors de toute réflexion sur la qualité et l’intérêt du contenu du travail en question (on trouve les références de ses articles sur sa page, aux numéros 120, 124 et 134). Dernièrement, un éditorial du Mathematical Structures in Computer Science que l’on peut trouver sur la page de son directeur, Giuseppe Longo, dénonçait une pratique dont le risque principal était la disparition de l’innovation dans un contexte de “conformisme” scientifique croissant.

Cependant, il ne faut pas oublier que ces mesures de l’activité scientifiques émanent en grande partie de la communauté elle-même ainsi que le rappelle Yves Gingras dans son article de mai 2008 (La fièvre de l’évaluation de la recherche. Du mauvais usage de faux indicateurs). Le facteur H par exemple n’est pas l’émanation d’une officine managériale ou d’une agence administrative mais bien un outil élaboré par un chercheur et d’une certaine façon plébiscité par les autres, si l’on en juge par le nombre de scientifiques qui calculent et mentionnent leur facteur H dans leur bibliographie, en dehors de toute demande institutionnelle. Pourtant, les « inventeurs » eux-mêmes se montrent aujourd’hui critiques face aux créatures auxquelles ils ont données naissance. Dans un article récent, Anne-Wil Harzing, démontre les risques très grands que fait courir au travail scientifiques l’usage de ce type d’indicateur dans l’évaluation individuelle. Et elle appelle fermement à « create new systems that would support the advancement of knowledge by encouraging the types of contributions that matter most to the broader society » (2009 - (with N. Adler) When Knowledge Wins: Transcending the sense and nonsense of academic rankings, The Academy of Management Learning & Education, vol. 8, no. 1).

Reste que la question des causes de ce glissement progressif vers une culture scientifique du classement et de l’évaluation quantitative n’est jamais abordée de front. Toutes les critiques du système l’inscrivent dans une tendance générale à la managérisation de nos sociétés sans que soit posée la question des spécificités du monde académique qui ont pu rendre possible l’intégration facile de cette nouvelle culture.