Lisons Peter Lawrence, ou les implications morales de l’évaluation bibliométrique
Un précédent billet d’Emmanuelle a déjà fait allusion aux articles de Peter Lawrence. Il me semble utile d’y revenir plus en détail. Zoologue de premier plan à l’université de Cambridge, ayant lui-même eu des responsabilités dans des revues majeures, il observe avec acuité les dérives auxquelles a conduit, en biologie, le recours à une évaluation fondée sur des données bibliométriques quantitatives dans les décisions de recrutement et de financements. Les articles auxquels je me réfère sont les suivants, tous accessibles à partir de sa page personnelle
- « Rank Injustice. The misallocation of credit is endemic in science », Nature, 415, Feb. 2002, 835-836.
- « The Politics of Publication », Nature, 422, Mar. 2003, 259-261.
- « Men, Women, and Ghosts in science », PLoS Biology 4:e19, 2006.
- « The Mismeasurement of Science », Current Biology, vol. 17, n° 15, 2007, 583-585.
- « Lost in publication: how measurement harms science », Ethics in Science and Environmental Politics, 8, 2008.
Le coeur de son analyse se résume d’une phrase : dès lors que des indicateurs bibliométriques sont pris comme des indicateurs de performance et des outils de décision, ils cessent d’être une mesure pour devenir une finalité qui oriente le comportement des acteurs. Il s’agit là d’un cas remarquable dans lequel l’observation scientifique a totalement perturbé le milieu soumis à observation. C’est la performance bibliométrique qui devient un objectif prioritaire, et non plus la découverte scientifique. Ce changement de comportement produit des effets désastreux à toutes les étapes et chez tous les acteurs. Tant les individus que les revues, souvent sous la pression de leurs éditeurs commerciaux, agissent en fonction de ces objectifs, dans le choix des articles que les uns écrivent et que les autres rejettent ou acceptent de publier.
Les stratégies de recherches sont affectées par ce nouveau contexte, avec une moindre propension à la prise de risque. Il est préférable d’écrire sur des sujets à la mode plutôt que de proposer des travaux vraiment originaux qui demandent un temps de gestation plus long, qui ne seront pas instantanément compris, assimilés et cités, et qui pour cette raison seront moins facilement acceptés par les grandes revues. Cette même temporalité brève incite à publier des recherches encore inabouties, quitte à les corriger par une publication ultérieure. Cette pression s’exerce particulièrement sur les doctorants et post-doctorants qui ont un besoin vital de publier pour espèrer poursuivre leur carrière.
La présentation des résultats est également touchée. Pour faire du chiffre, la publication d’un même travail peut être morcelée en plusieurs articles brefs, au détriment de l’intelligibilité qui demanderait des présentations plus complètes. Les revues elles-mêmes poussent à cette fragmentation. Pour faire face à l’accroissement considérable du nombre d’articles soumis aux revues prestigieuses (le nombre d’articles soumis à Nature a doublé entre 1993 et 2003), celles-ci invitent souvent les auteurs à réduire la taille de leur contribution. La masse des textes qui leur parvient est tel qu’en amont d’une évaluation fondée sur la lecture par un expert, un tri préalable s’effectue, à l’occasion duquel des critères non-scientifiques prennent inévitablement le dessus.
Les stratégies de publication des revues, visant à améliorer leur facteur d’impact, les conduisent également à préférer des thèmes susceptibles d’obtenir une large audience, au détriment de terrains plus spécialisés. Peter Lawrence soupçonne ainsi que l’augmentation rapide du nombre d’articles ayant des implications médicales dans les revues de biologie depuis les années 1990 tient principalement à ce motif.
Question particulièrement cruciale en sciences dures, la pratique de la signature collective des articles amène les patrons d’équipe à s’approprier les travaux réalisées dans leurs laboratoires, sans qu’ils aient toujours pris part aux expériences ou à l’élaboration des hypothèses. La course à la publication accentue drastiquement l’exploitation des doctorants et post-doctorants. Ce thème est longuement développé dans l’article « Rank Injustice. ». Les comportement immoraux peuvent également s’exercer au cours du processus éditorial, le relecteur pouvant abuser du pouvoir qui lui est conféré par la revue sur le texte soumis à examen.
Une dernière conséquence est moins attendue. Si la communauté scientifique a accepté le recours aux classements, c’est que les puissants y trouvaient leur compte – la satisfaction narcissique de la bonne note n’est pas une motivation secondaire dans ce processus. Pour le dire avec une sensibilité de biologiste, la lutte pour la publication favorise les personnalités agressives au détriment des moins agressives. Or ces dernières sont plus souvent des femmes que des hommes. Cette raison explique qu’elles aient tendance à abandonner le monde de la recherche.
Ce dernier point me semble toucher l’essentiel du problème. L’ensemble du tableau que dresse Peter Lawrence peut se décrire de la sorte : l’évaluation quantitative produit une perturbation généralisée de la morale scientifique. Le règne des indicateurs de performance exacerbe des valeurs de concurrence et de compétition. De ce fait, il concourt à ruiner ce qui devrait être au contraire les valeurs centrales de la recherche scientifique : le partage, la collaboration et la critique éclairée au sein de communautés bienveillantes.
Quelques citations
Dans « The Mismeasurement of Science », une comparaison musicale bien trouvée :
It is fun to imagine song writers being assessed in the way that scientists are today. Bureaucrats employed by DAFTA (Ditty, Aria, Fugue and Toccata Assessment) would count the number of songs produced and rank them by which radio stations they were played on during the first two weeks after release. The song writers would soon find that producing junky Christmas tunes and cosying up to DJs from top radio stations advanced their careers more than composing proper music. It is not so funny that, in the real world of science, dodgy evaluation criteria such as impact factors and citations are dominating minds, distorting behaviour and determining careers.
Dans « The Politics of Publication », les responsabilités partagées des gestionnaires et des scientifiques :
Why has this happened? It is partly because, rather than assessing the research itself, those who distribute the money and positions now evaluate scientists by performance indicators (it is much easier to tot up some figures than to think seriously about what a person has achieved). Managers are stealing power from scientists and building an accountability culture that “aims at ever more perfect administrative control of institutional and professional life”. The result is an “audit society”, in which each indicator is invested with a specious accuracy and becomes an end in itself.But bureaucrats are not wholly responsible for these changes — we scientists have enthusiastically colluded. What began as someone else’s measure has become our (own) goal. Although there are good reasons for publishing papers where they are more likely to be read, when we give the journal priority over the science we turn ourselves into philistines in our own world.
Some scientists realize this, but why have most taken up the journal chase so enthusiastically? It has to do with both psychology and careerism. Young researchers see a paper in a good journal as their initiation into the scientific élite. The established seek publication in leading journals to certify their high opinion of themselves. All are learning that building capital in the hard currency of the audit society can be safer and easier than founding a reputation on discoveries. Another factor is that contemporary society has a craze for publicity, to which scientists are not immune. Many are gratified to find themselves or their work reported (accurately or not) in the media, and leading journal provide a route through press releases. El País, for example, usually features articles about any work by Spanish scientists published in Nature, Cellor Science.
Dans « The Mismeasurement of Science », l’avantage donné à l’agressivité :
Sixth, there is an unexpected effect. The struggle to survive in modern science, the open and public nature of that competition, and the advantages bestowed on those who are prepared to show off and to exploit others have acted against modest and gentle people of all kinds — yet there is no evidence, presumption or likelihood that less pushy people are less creative. As less aggressive people are predominantly women, it should be no surprise that, in spite of an increased proportion of women entering biomedical research as students, there has been little, if any, increase in the representation of women at the top. Gentle people of both sexes vote with their feet and leave a profession that they, correctly, perceive to discriminate against them. Not only do we lose many original researchers, I think science would flourish more in an understanding and empathetic workplace.
Quelques recommandations :
« The Mismeasurement of Science » invite à fonder les recrutements sur un discernement des qualités du candidat, plutôt qu’en fonction d’indicateurs de performance.
Who is to blame and what to do? The main villains are fashion, the management cult and the politics of our time, all of which favour numerical evaluation of ‘performance’ and reward compliance. Over recent years, within governments and outside them, people have lost sight of the primary purposes of institutions, and a growing obsession with internal processes has driven more and more bureaucracy — such as increasingly complex grant applications and baroque research assessment exercises — at the expense of research effort. This bureaucracy is placing heavy demands on scientists that lay waste their sense of purpose and attack their self-esteem. But scientists of all ranks, senior as well as junior, are also to blame as we have meek allowed this to happen.
But can we now start to fight back? We need to raise awareness of the problems and make changes locally. For example, appointment committees need to keep uppermost in their minds that they are not hiring a number but a person with a mix of abilities, of which, in research, originality is the most important. I am not alone in thinking that originality is not measured by the impact factors of journals or past citations to the author (see http://voltaire.members.beeb.net/goodscience.htm). Some centralised measures may be helpful for comparison across a country, or even worldwide but they should not be overvalued, as they are now. For hiring, promotion and tenure one should find out more about the candidate, for example by reading their work, or listening to their lecture.
« The Politics of Publication » suggère des moyens de rompre avec le culte de la publication dans des revues à fort impact. Plutôt que de se laisser fasciner par des données quantitatives, les agences de financement devraient prendre du recul pour analyser l’importance qualitative des publications du candidat. De leur côté, les chercheurs établis pourraient donner l’exemple en publiant davantage dans des revues spécialisées et dans des publications en accès libre.
But we can all start to improve things by toning down our obsession with the journal. The most effective change by far would be if the organizations that award grants and manage research programmes were to place much less trust in a quantitative audit that reeks of false precision. Such organizations have the big advantage of hindsight — unlike editors and reviewers at the time of submission, they can ask themselves if key papers published by the candidate are illuminating, have proved influential and whether their main results have been confirmed by others.
Authors can help to break up the cult of the journal. One way is to set up mutually supportive alliances, as has been done for the field of cell signalling (http://www.signaling-gateway.org). If established authors start to publish selectively in open-access websites and in specialized journals when appropriate, a better example would be set for younger scientists. This would reduce the enormous pressure on the leading journals, which then could again begin to publish more comprehensible papers that tell a complete story, perhaps even bringing the ‘general reader’ back to life.
La conclusion de « Lost in publication » propose de ne plus lier les demandes de financement à la rédaction de projets fumeux, mais à la présentation d’un nombre réduit d’articles (par exemple, trois articles parus dans les cinq années précédentes), qui seraient tout simpement lus par les évaluateurs.
In my limited experience, grant applications do not describe what you will actually do but are in reality an ingenuity and knowledge test in which honesty is little valued; they amount to an attempt to demonstrate that one knows what one is doing and can divine what the outcomes of experiments will be and assess what might be risky to reveal. One needs a shrewd idea of what might impress the assessment committees. I am not sure how well time or science is served by this rather weird process. To reduce the pressure on scientists who spend so much time concocting grant applications and to reduce the number of screeds that have to be assessed and compared, I suggest offering an alternative means of grant application that would be based entirely on the quality of the last 5 years’ work as is the case in Canada (CNSRC). All the applicant would have to do, if they chose this option, would be to list say 3 of what they think are their best papers from the last 5 years and describe briefly who was responsible for the work therein […] But how should one evaluate these papers? Just by reading them: there is no better way. This method was used in the past; it is not ‘objective’, but should be an attempt to get at what matters, better I think than relying on a precise measurement of what does not matter. Research has to be evaluated for rigour, originality and significance, for the light it casts and for economic and heuristic value; these qualities may be difficult to assess, but we should try.
Suite à la la publication des résultats du RAE (organisme britannique chargé de l’évaluation de la recherche et des universités), un article en souligne les effets pervers :
http://www.guardian.co.uk/business/2008/dec/21/rae-university-funding
Je reviendrai vous lire car je prépare un livre sur les dangers de l’évaluation.