Évaluation et rigueur scientifique : appel à témoignages
Sur une proposition de François Blanchard, amendée par nous (les quatre rédacteurs de ce carnet), nous vous proposons l’appel à témoignages qui suit. Il s’adresse à toutes les disciplines, SHS ou non. Nous vous suggérons de répondre directement en commentant le billet (c’est le plus simple pour tout le monde…). Si toutefois vous vouliez faire une réponse nettement plus longue, vous pouvez l’envoyer à l’un de nous (François compris) : nous promettons une synthèse d’éventuelles contributions reçues par ce biais, dans l’avenir…
Compter les publications d’un chercheur ou d’un laboratoire, ou le nombre de citations récoltées, c’est souvent passer à côté de ce qui fait l’intérêt même de nos recherches. Or c’est ce vers quoi conduit la rage d’évaluation dont nos dirigeants sont atteints. Plus systématiquement on veut évaluer, plus on souhaite contourner les experts, suspects de collusion avec les évalués et eux-mêmes évalués dans les années qui suivent. Alors on prétend le faire sur critères “objectifs”, et on le fait très mal.
On a beaucoup dit que le nombre de publications dans des revues internationales ou le facteur H mesuraient mal l’effort fourni, en privilégiant les articles courts, en mettant en valeur des résultats plus cités parce que critiquables, en favorisant la publication multiple d’un même résultat. Mais est-ce que cet accent mis sur le quantitatif n’incite pas aussi chacun à infléchir sa propre déontologie de publication, en conduisant à privilégier le nombre au détriment du sérieux et de la qualité ? La question est régulièrement posée. Pour notre part, nous avons l’impression qu’une inflexion s’est déjà produite. C’est encore très vague: une plus grande fréquence d’articles qui reprennent le contenu d’un article précédent avec des modifications mineures, des plagiats, une plus faible rigueur dans les articles qu’on nous envoie à relire et aussi, malheureusement, dans certains de ceux qui paraissent…
C’est pourquoi nous lançons un appel à témoignages. Voyez-vous autour de vous des indices, des cas précis qui vous font penser que “la rigueur scientifique se relâche” ? Si c’est le cas, n’hésitez pas à nous envoyer à tous deux un message décrivant le cas ou les indices. Expliquez-nous en quoi ils marquent un relâchement (on ne comprend pas toujours très bien comment ça se passe dans la maison d’à côté), et ce que vous entendez dans ce cas par “rigueur scientifique”. Dites-nous ce qui est significatif dans le contexte de la sous-discipline, et si l’évaluation quantitative est ancienne ou nouvelle dans le pays d’où provient l’indice. Les indices en sens contraire, s’il y en a, sont aussi les bienvenus.
Même s’il était avéré qu’il existe, décliné de diverses manières selon les disciplines, un relâchement de la rigueur scientifique, la mise en place d’une évaluation quantitative ne serait certainement pas la seule cause de cet effet. On peut par exemple penser que la multiplication des financements de projets à court terme s’accompagne de la multiplication d’événements scientifiques ponctuels (séminaires, colloques, conférences) au détriment de travaux de longue durée, et impose de surcroît de “rendre des comptes” rapidement, autrement dit d’être capable d’exhiber les publications auxquelles tel ou tel projet a conduit.
Nous ne cherchons pas à prouver quoi que ce soit rigoureusement, mais avant tout à faire circuler expériences et réflexions sur ce qu’en tant que scientifiques nous pouvons nous permettre ou devons nous interdire.
OpenEdition vous propose de citer ce billet de la manière suivante :
Claire Lemercier (6 avril 2010). Évaluation et rigueur scientifique : appel à témoignages. Évaluation de la recherche en SHS. Consulté le 5 octobre 2024 à l’adresse https://evaluation.hypotheses.org/853
Comité national du CNRS, section sociologie, première moitié des années 80. Elu, j’ai à rapporter sur les 4 années d’activité d’un chercheur. Absence totale de publications. Commission d’enquête. Celle-ci à la session suivante fait son rapport : ce chercheur est malade. Je demande : \pourquoi n’est-il donc pas en congé de lognue maladie ?\. Intervention de la directrice du département SHS : \on a bien le droit d’être malade ! \. Ce chercheur n’a pas été sanctionné. Cette situation est évidemment (et heureusement) impossible aujourd’hui.
J’estime que c’est d’abord à chacune des équipes de recherche de définir des indicateurs quantitatifs de publication simples : l’indicateur (4 articles en 4 ans dans des revues à comité de lecture) devrait pourvoir être consensuel. Il faut un minimum d’indicateurs quantitatifs et peut-être même un seul.
Sur l’évaluation des enseignants-chercheurs, la bibliométrie, les publiants selon l’AERES, les non-publiants, rubrique \Evaluations\ du blog : http://histoireuniversites.blog.lemonde.fr/category/evaluations/
Cordialement. Pierre Dubois
Voici comment est conçue l’évaluation des enseignants d’université, toutes catégories confondues, dans cette maquette de Licence d’Arts du Spectacle, Université de Caen, qui a été remise en mars dernier au CA de l’université pour le quadriennal :
p.3-4
2 – BILAN DE FONCTIONNEMENT DE LA MENTION
2 – 1 ) Présentez le dispositif d’auto‐évaluation en ce qui concerne :
‐ l’évaluation de la formation et des enseignements,
‐ sa mise en oeuvre dans l’établissement,
‐ sa prise en charge au niveau de la mention
L’évaluation des enseignants a pour cadre général les réunions régulières de l’équipe
enseignante, à l’initiative de la direction du Département.
Les compétences et les attributions de chacun sont évaluées et discutées en réunion, sous la conduite des responsables de diplômes ou de parcours le cas échéant, ou de la direction du département pour les orientations générales.
Elle fait l’objet d’un souci constant lors de chaque décision, qu’il s’agisse de la structure des enseignements, des méthodes d’évaluation des différentes UE ou des différents recrutements d’enseignants titulaires ou de chargés de cours.
Ces réunions ont lieu au minimum une fois tous les deux mois.”
Tout commentaire est le bienvenu.
Par le biais de Jean Kempf et Marc Chénetier, je découvre un texte de Noel Malcolm, publié en 1996 dans The Independent, qui répond à notre question… voir http://www.independent.co.uk/opinion/words-1329734.html
On pourra réfléchir sur ce qui a changé depuis lors (mais le Royaume-Uni avait déjà le RAE, qui ressemble à ce qui nous tombe dessus aujourd’hui), et surtout sur les alléchantes solutions proposées in fine…
Qui de nos dirigeants seraient atteints de rage de l’évaluation ?
Les indicateurs bibliométriques, comme le nom l’indique, sont des indicateurs. Rien de plus. Ils devraient être considérés comme étant une aide à l’évaluation ou à la décision. Ce sont des chiffres et il ne faut pas avoir peur des chiffres. Ce sont des données supplémentaires qui n’étaient pas disponibles par le passé, nous devons maintenant apprendre à les utiliser de façon raisonnée. Serions-nous tentés (nous les scientifiques) de refuser des données supplémentaires qui pourraient nous aider et faciliter une juste évaluation ?
Le facteur H n’est pas nécessairement favorisé quand on écrit des articles courts. Il faut que les articles soient cités pour que le h-index augmente. Peut-être qu’au contraire ces nouveaux indicateurs vont favoriser le travail de fond, les articles dans lesquels on trouvera de la rigueur scientifique dans l’argumentation – en effet qui irait citer un article avec peu de rigueur (ou peu de résultats ou peu de qualité démonstrative …) ? Pour ma part les mauvais articles je ne les cite pas. Avant ces indicateurs on ne comptait que le nombre d’articles, ce qui n’est pas une bonne façon de faire. Avec ces indicateurs, on se rend compte qu’il faut faire attention à sa stratégie de publication, et il me semble qu’on devrait se convaincre d’aller dans le sens de l’écriture de bons articles (pour qu’ils soient cités) plutôt que de se focaliser sur une production en termes de nombre. Mais il est sain de se poser ces questions que vous soumettez au débat.
Voici quelques raisons circonstancielles pour lesquelles je me demande s’il n’y a pas n’y a pas une baisse de la qualité moyenne des publications dans mon secteur des mathématiques.
D’abord, de janvier à mars on m’a demandé mon avis sur trois articles soumis, dont chacun illustrait une pathologie particulière.
Le premier, j’en ai parlé sur cette page. Il cite trois autres papiers, publiés dans des revues internationales, dont chacun s’évertue à prouver dans un cas particulier un résultat dont la preuve générale tient en trois lignes. Ce que l’auteur, manifestement, ne savait pas non plus.
Le second est une simple tentative pour resservir mot pour mot un résultat déjà publié par deux de ses trois auteurs, en le flanquant d’une petite conséquence sans intérêt. Les auteurs savent ce qu’ils font, car ils se sont bien gardés de citer le précédent article, et c’est presque par hasard que je me suis rendu compte de la supercherie.
Le troisième cas est le plus surprenant : les auteurs y manipulent le langage mathématique. Nous utilisons souvent la notion de point fixe, qui est facile à comprendre. Un point fixe pour une transformation, c’est un point que cette transformation laisse inchangé. On appelle théorèmes de point fixe les résultats qui affirment que, quand une transformation satisfait certaines hypothèses, elle a au moins un point fixe ; ces théorèmes ont souvent des applications nombreuses, ce qui leur donne une certaine aura. Que font nos deux lascars ? À la suite de plusieurs autres, ils utilisent une nouvelle définition des mots point fixe, vaguement apparentée à l’habituelle mais faible et bancale, qui leur permet d’affirmer qu’ils ont obtenu un théorème de point fixe dans ce sens nouveau. La mise en valeur de leur résultat se fait donc au prix d’une équivoque sur un terme de notre vocabulaire de base.
Par ailleurs, depuis un certain temps je vois qu’un nombre croissant d’articles soumis ou publiés reposent sur un seul petit résultat. L’habitude chez nous est (encore) de publier des articles plutôt longs, contenant cinq ou six résultats articulés entre eux et s’éclairant les uns les autres ; ou bien, un seul résultat difficile dont ils construisent la preuve. La multiplication des papiers à faible contenu change pas mal de choses. D’abord, elle exclut les résultats difficiles ou les répartit dans une série de publications. Ensuite, la masse de papier augmente : dans ma spécialité un article à un petit résultat fait sept à neuf pages, un article sérieux quinze à trente, parce que les préliminaires sont les mêmes. Trop vite soumis, les petits articles contiennent souvent un résultat intermédiaire qui perd toute valeur le jour où un résultat plus fort ou plus général a été trouvé. Enfin, ils sont souvent moins intéressants, pour la raison que je viens de dire et parce que les auteurs, trop pressés pour réfléchir, s’en remettent aux autres du soin de trouver une utilité à ce qu’ils ont écrit. Le seul mérite de ces papiers est d’allonger la liste de publication des auteurs et le nombre de pages publiées.
L’interprétation ? Il y aurait beaucoup à dire, mais on en reparlera certainement.
Un article du THE (‘Publish or perish’ culture distorting research results: http://www.timeshighereducation.co.uk/story.asp?sectioncode=26&storycode=411323&c=2) présente une étude réalisée par Daniele Fanelli de l’Université d’Edimbourgh, qui montre que la course à la publication a comme effet principal de ne privilégier que les résultats de recherche « positifs » : “growing competition for research funding and academic positions, which, combined with an increasing use of bibliometric parameters to evaluate careers… pressures scientists into producing ‘publishable’ results”.
L’article de D. Fanelli est effectivement au coeur du débat de ce billet. On peut le lire en accès libre à l’adresse suivante: http://www.plos.org/press/pone-05-04-fanelli.pdf
J’en ai également fait une chronique sur mon blog: http://rachelgliese.wordpress.com/2010/04/24/la-recherche-positive/
Et je copie le commentaire laissé chez Rachel :
“Il faut quand même lire l’article en question pour se rendre compte que la corrélation annoncée est bien faible (mais c’est un résultat positif 🙂
Il suffit de regarder la figure 2 pour avoir envie de se méfier des conclusions un peu trop hâtives, non ?
Ensuite, que faites vous quand vous avez un résultat négatif ? Vous publiez direct ou vous cherchez une explication ? Désolé mais comme referee, si je reçois un papier qui me dit “je crois que A donne B donne C donne D mais j’ai fait l’expérience et ça marche pas” ma réponse sera forcément “c’est un peu court jeune homme”. Parce qu’un résultat négatif est SUPER intéressant. A ne donne pas D ? A quelle étape ça casse ? B ? C ? D ? Pourquoi ? Est-ce qu’en changeant les conditions expérimentales ça s’améliore ? etc. etc. En bref, on finit toujours pas trouver quelque chose de positif, un début d’explication. Ou alors c’est qu’on n’a rien compris à ce qu’on fait.
Alors avant de crier au loup et de voir un “biais” (autrement dit, une triche), il faudrait peut-être aller voir ces chercheurs “très productifs” et observer ce qu’ils font de leur résultats négatifs, non ?”
__________________________________________________________
Par ailleurs, j’avoue ma fatigue.
J’ai du mal à comprendre la démarche de cet appel à témoignage. Mettons que vous récoltiez une dizaine de témoignages. So what ? Est-ce que cela prouvera que la rigueur scientifique se relache ?
Et, comme vous le dites si bien, “Même s’il était avéré qu’il existe un relâchement de la rigueur scientifique, la mise en place d’une évaluation quantitative ne serait certainement pas la seule cause de cet effet.” Il n’y aurait même aucune indication que ce soit effectivement l’une des causes. Cela pourrait aussi bien être dû à la proportion grandisssante de femmes faisant un doctorat ou au réchauffement de la planète ! (oui, ce sont des hypothèses ridicules, c’est une démonstration par l’absurde)
Un exemple n’est pas une preuve. Une correlation n’est pas une causalité.
J’ai bien lu que vous ne cherchiez “pas à prouver quoi que ce soit rigoureusement, mais avant tout à faire circuler expériences et réflexions”. Dans ce cas, vous pouvez lire “La sourie truquée” (Broad et Wade), vous en trouverez plein !
Ah mais non, suis-je bête, ça montrerait que la rigueur scientifique n’était pas si grande que cela il y a 40 ans déjà, ça ne va pas du tout dans le bon sens, désolé.
“Ce sont des chiffres et il ne faut pas avoir peur des chiffres.” (Rachel)
“Un exemple n’est pas une preuve. Une correlation n’est pas une causalité.” (Pablo)
Non, c’est vrai ? Merci vraiment. Je n’y avais pas pensé. Sans doute d’ailleurs que François Blanchard n’y avait pas pensé non plus. Sans parler des autres rédacteurs du blog.
— Sérieusement, je voudrais répondre à la question : à quoi bon, si d’éventuels témoignages ne constituent pas une preuve ? Je n’aurais pas pour ma part initié cet appel à témoignages, mais je ne l’ai pas non plus disqualifié, et ce pour la raison suivante.
On peut se demander si la recherche et l’enseignement supérieur ne connaissent pas actuellement certaines mutations. Je suis comme tout le monde, il m’arrive de penser que rien ne change, semper idem sub sole, etc. Mais il m’arrive aussi de me convaincre qu’il y a bien des mutations, et qu’il faudrait les analyser. Pour cela, certains disposent d’outils puissants, les historiens, les sociologues, certains anthropologues aussi. Je n’en suis pas. Mais il y a quelque chose que je peux faire, et que nous pouvons tous faire, c’est essayer de comprendre ce qui nous arrive, là où nous sommes, et de justifier les décisions que nous prenons, là encore là où nous sommes. C’est cela qu’on appelle un “témoignage” : que celui qui a vu quelque chose le dise, non pas parce qu’il croit qu’il détient la vérité, ou tout simplement la totalité de l’histoire, mais parce qu’il a réussi à mettre ces mots-là sur ce qui lui est arrivé.
Désolé pour le ton de mon commentaire précédent rédigé (comme écrit) sous le coup d’une certaine fatigue.
Je continue cependant de percevoir l’appel à témoignages comme une forme assez pauvre. J’ai suffisamment hurlé chaque fois que des journalistes utilisaient des témoignages pour illustrer des idées préconçues (exemple courant : sur l’insécurité) pour ne pas avoir envie de retrouver cette forme dans des débats qui me touchent.
Si, le but recherché est de comprendre les mutations de l’enseignement sup et de la recherche, je trouverais plus intéressant de provoquer une discussion sur ces mutations (massification, globalisation, société de la connaissance, TIC, NPM,…), par exemple décrites dans cet article
http://www.changemag.org/Archives/Back%20Issues/March-April%202010/tracking-global-full.html
Merci pour ces précisions, car le ton du commentaire précédent était pour le moins inadapté. On comprend ainsi mieux ce qui fait que nous avons des façons opposées d’aborder la même question. Nous (je parle au minimum pour Sophie et moi, et sans doute beaucoup d’autres) ne cherchons pas simplement à comprendre ces mutations pour nous y adapter, comme nous y invite le discours idéologiquement dominant dont Valérie Pécresse est le plus remarquable porte-parole, mais aussi et surtout à y résister pour défendre les vieilles idées que nous nous faisons de l’activité intellectuelle : posture critique et assurément réactionnaire, mais nous avons appris l’an dernier, à nos frais, à assumer cette double qualification.
La massification de l’enseignement supérieur et de la recherche est évidemment le phénomène central avec lequel nous avons à nous débrouiller. Le sens de ce carnet vise largement à réflechir aux moyens de maintenir, dans ce nouveau cadre, les vieux principes de l’éthique scientifique, et c’est pourquoi l’appel lancé par François y est à sa place. Cet appel au témoignage n’a rien à voir avec un micro-trottoir (même dit poliment, la comparaison est à la limite de l’injure). Il s’agit de faire émerger dans un espace public des faits bien spécifiés dont l’éventuelle multiplication pourrait passer inaperçue si personne ne prend l’initiative de les dénoncer. Ce faisant, nous n’agissons pas à la façon d’un quidam parlant d’un phénomène sur lequel il n’a aucune prise ni aucune connaissance particulière, mais en tant que membres de communautés intellectuelles, et à ce titre collectivement responsables du maintien d’un niveau d’exigence dans les pratiques scientifiques.
La question que pose cet appel est en effet cruciale : est-ce que la mutation (mondiale) des conditions de l’université et de la recherche conduit à remettre en cause la moralité scientifique ? C’était déjà le sens des inquiétudes de Peter Lawrence dont nous nous sommes fait l’écho ici. La production savante, dans chaque discipline, reposait sur des règles implicites de bienséance qui déterminent notamment le seuil à partir duquel il vaut la peine de publier un résultat. Les trois exemples donnés par François suggèrent que ces règles commencent à être mises à mal en mathématiques. Ils montrent également que les comités de rédaction sont les lieux dans lesquels ces règles doivent être défendues. C’est sans doute l’expérience de ces comités qui pourra apporter le plus d’éléments pertinents.
La forme de l’appel à témoignage n’est peut-être pas la plus appropriée, car ceux qui ont abandonné les vieilles règles pour passer de l’artisanat à l’industrie ne s’en rendent peut-être pas compte, ou ne s’en vanteront pas, et ceux qui l’observent n’ont sans doute guère envie de dénoncer des collègues. Il faut l’entendre comme une interpellation générale à observer ce qui se délite autour de nous. Les propositions de Richard Ernst que j’ai reproduites hier vont exactement dans le même sens.
De mon côté, dans la même période, j’ai été confronté à deux situations d’un genre un peu différent, et qui n’a rien de très nouveau, puisqu’il s’agit de plagiat. C’est surtout la concomitance des deux affaires, au cours des derniers mois, qui m’a frappé.
Fin janvierr, le conseil scientifique du CLEO a été saisi d’une demande de retrait d’un article publié par une revue que nous diffusons. Après enquête, voici comment je reconstitue les événements : le plagiaire, professeur d’université, directeur d’UFR et membre de l’IUF, avait pris la mauvaise habitude d’alimenter ses séminaires de recherches par les travaux d’autrui, à peine remâchés. Pris par son élan, il s’est livré à un tel exercice lors d’un colloque, en sortant ouvertement de son champ d’expertise ; le résultat ayant impressionné l’auditoire, cédant à la pression de ses amis, il n’a pas pu refuser de publier son texte, pensant qu’une publication en ligne dans une revue de centre serait peu visible. Manque de chance, elle rend au contraire les publications bien plus visibles, et c’est ainsi que l’affaire a été découverte. Le texte ayant été retiré, et l’auteur plagié ne souhaitant pas donner suite, il n’y a eu (pour l’instant) aucune conséquence.
En revanche, la seconde affaire a conduit au renvoi du coupable. Il s’agit d’un professeur de philosophie médiévale à Leuven qui avait publié comme articles des chapitres d’une thèse finlandaise dont l’auteur avait abandonné la recherche pour la politique. Ce dernier a fini par s’en apercevoir, et a dénoncé le plagiat à l’université. Une commission d’enquête, étudiant toutes les publications du coupable, a relevé près de 30 articles constituant des plagiats. L’affaire a été rendue publique : http://www.timeshighereducation.co.uk/story.asp?storycode=410670 (certains commentaires sont très intéressants). Cette affaire met à son tour en cause la responsabilité des revues qui ont accepté de tels articles, sans se rendre compte de leur nature.
Le plagiat et la fraude sont évidemment des pratiques anciennes. La question que je pose à mon tour est celle de leur éventuelle recrudescence sous l’effet des contraintes de publier en quantité et dans l’urgence.
Je me réponds quelques jours plus tard pour admettre que oui, le plagiat prolifère dans les travaux universitaires, et plus encore la tolérance à l’égard de ces pratiques.
Jean-Noël Darde, Maître de conférences à Paris 8, en présente quelques cas bien documentés : http://archeologie-du-copier-coller.blogspot.com/
L’appel à témoignages est une démarche souvent utilisée pour mettre en avant le coté émotionnel et aucune généralité ne peut être déduite de ce genre d’approche. Cela s’oppose à l’approche scientifique qui au contraire cherche à démontrer une hypothèse. C’est assez cocasse d’utiliser cette approche « de témoignages » pour essayer de démontrer que la qualité de la science est en danger…
C’est assez cocasse aussi d’amalgamer, au nom de la science, toutes les choses qui peuvent constituer un “témoignage” ou un “appel à” sous prétexte qu’on utilise les mêmes mots pour en parler. La prochaine fois que je verrai un témoignage en justice (qui est quand même le sens propre, celui du journaliste étant plutôt un sens figuré récent), je me souviendrai de me gausser, du fait que le témoignage ne peut pas être un élément de preuve, etc.
Cela pour dire non pas que nous sommes des juges, pas plus que des journalistes, mais que la parole issue d’une expérience nous intéresse. On verra ensuite ce qu’on peut généraliser, ou pas.
Si quelqu’un dispose d’un instrument bien calibré pour tester “vraiment scientifiquement” ce qui nous intéresse, qu’il ou elle s’exprime aussi…
La forme “appel à témoignage” n’était pour moi qu’une amorce pour la discussion. Dans le même esprit que Sophie, Claire et Sylvain, je vous propose de passer là-dessus et de nous recentrer sur l’essentiel.
Voici une question que je me pose : existe-t-il dans chaque discipline des normes consensuelles sur ce que doit être une publication ? J’en ai l’impression, à condition d’y mettre beaucoup de nuances.
En tant que rapporteur débutant, pendant quelques années je ne savais trop comment juger les articles, et j’ai dû faire beaucoup de ce que j’appellerais aujourd’hui des bêtises. Comme mon cas n’est pas isolé, cela veut dire qu’une proportion significative de papiers, soumis à des apprentis rapporteurs, sont appréciés suivant des normes vacillantes.
Ensuite, en discutant avec les collègues, on s’aperçoit qu’ils partagent souvent les mêmes valeurs en matière de publications, mais avec des différences parfois considérables. Certains considèrent que tout résultat nouveau est publiable, quel que soit son intérêt – mais ils sont d’accord avec moi sur ce qu’est une bonne rédaction.
Voici maintenant une anecdote sur ce qui peut se passer aux frontières entre disciplines, et qui me laisse perplexe. Une revue de la frontière maths-physique, qui désigne trois rapporteurs par article, m’en envoie un à lire. Je le trouve exécrable : pas de résultats sérieux, des résultats faux, d’autres indices de l’incompétence des auteurs sur le sujet traité, le tout baignant dans un baratin prétentieux. Je le dis. Quelques semaines plus tard, la revue m’annonce que l’article est refusé mais que les auteurs ont été encouragés à soumettre leur article ailleurs !
Comment interpréter cela ? Est-ce qu’un autre rapporteur, physicien, avait été impressionné par des considérations que je trouvais banales et qui étaient nouvelles pour lui ? Ou bien, est-ce qu’il y avait dans cet article des contenus intéressants pour la physique et qui m’auraient échappé ? Possible, puisque je ne suis pas physicien. Ou bien encore, fallait-il aller chercher un peu de corruption, un rédacteur de la revue cité dans le papier, ce qui lui en aurait donné une idée positive, ou alors un rédacteur ami d’un des auteurs ?
Pour finir par des “exempla”, à l’adresse http://www.siam.org/news/news.php?id=1663, vous pouvez lire un édito récent du président de la Society for Industrial and Applied Mathematics, dans lequel il dénonce des pratiques massives de plagiat et de manipulation des indices bibliométriques.
Claire, j’ai bien envie de vous renvoyer la patate chaude de l’amalgame. On ne peut pas comparer un témoignage qui pourrait solutionner une action de justice (délit factuel avec un accusé identifié – le témoignage peut devenir un élément décisif) avec une question diffuse et générale qui ne peut pas se régler devant une instance qui rendrait un jugement « définitif » et qui concerne des millions de chercheurs (là le témoignage ne peut pas être un élément de preuve car l’accusé est un système global qui concerne trop de gens – principe de l’exception qui ne fait pas la règle).
Pour répondre à la question posée dans ce billet, on peut se questionner sur la méthodologie à adopter. La méthodologie, ce n’est pas sans relation avec la rigueur scientifique dont il est question dans ce billet. Moi je préfère l’approche du Dr Fanelli (voir commentaire par Emmanuelle, 22 avril) car je pense que le témoignage ne démontrera rien de tangible. Toutefois son avantage est qu’il peut apporter des éléments de réflexion qui pourrait nous aider à avancer, c’était d’ailleurs l’intention de François, si je comprends bien le message précédent. Ce n’est pas certainement à négliger, malgré son caractère peu démonstratif.
Le plagiat, les résultats erronés, les mauvais articles … il me semble que ça existe depuis que la science existe, non ? La vraie question, si je comprends bien, est de savoir si cela a augmenté ces derniers temps, depuis l’apparition des indicateurs bibliométriques et/ou à cause de la pression croissante que l’on met sur les chercheurs. Peut-être qu’une démarche d’historien statisticien serait utile ?
Enfin, plus généralement, je suis convaincue que la démarche scientifique n’est pas fondamentalement différente que l’on soit sociologue ou physicien. J’ai très envie de penser cela. Toutefois, en y réfléchissant un peu, je perçois tout de même quelques différences qui pourrait expliquer les différences de perception des différentes communautés scientifiques, en particulier sur le positionnement bibliométrique et ces fameuses listes des revues. Je prends l’exemple de la physique : cette physique est la même quelque soit les pays. Son langage est international et la communauté n’a pas trop de difficultés à adopter des normes internationales. Une certaine standardisation est indispensable si on veut converser avec son collègue allemand ou américain. La situation est certainement très différente pour la sociologie car il n’y a pas de société internationale, il y a un juxtaposition de sociétés en relation les unes avec les autres mais avec toutes leurs particularités, histoires, etc … Le principe du « standard international » me parait plus difficile dans ce cas, contrairement à la physique. Tout cela est certainement très naïf mais n’étant pas sociologue je n’ai pas passé beaucoup de temps à penser au problème.
Je ne peux évidemment pas m’exprimer au sujet des SHS, mais en informatique (section 27 du CNU, section 7 du CNRS), il y a un vrai problème d’enflement des bibliographies. Mes constatations rejoignent celles de François Blanchard.
* Dans certains pays notamment, il est de coutume que les thésards ou post-doc fassent signer leurs articles par leur « hiérarchie » (professeur responsable du laboratoire), même quand celui-ci n’a pas participé et à peine lu l’article. Cela aboutit à d’énormes listes bibliographiques.
* On connaît des pactes de signatures (groupes d’auteurs qui co-signent leurs articles respectifs). Combiné avec la technique précédente, l’efficacité est redoutable.
* Soumission d’articles incrémentaux (un petit bricolage par rapport à l’article précédent).
* Soumission d’articles quasiment à l’état de brouillon.
* Obfuscation sémantique: dissimuler un résultat banal sous un formalisme ou une terminologie inhabituelle.
Bonjour,
J’ai commencé à rédiger une contribution à ce débat, mais je crains que le résultat ne soit trop long, trop brouillon et surtout mal interprété à certains passages. Avec l’espoir de corriger ces défauts autant que possible grâce à vos remarques, je vous soumets le texte en l’état.
Fr.
Le texte est désormais en ligne, bienvenue à tous vos commentaires.
Ce n’est pas seulement le plagiat estudiantin qui prolifère : la mise en ligne des publications (via gogol bouc) met en évidence disons pour faire comme à la Sacem les “emprunts indélicats” (comprendre plagiat par les puissants des travaux des dominés). Cette question aussi devra être traitée, rapidement. Cette révélation de fraudes scientifiques anciennes, qui déstabilise aussi bien des collègues glorieux encore en poste, des retraités ou des ancêtres fait du temps présent une période instable. Il n’est qu’à comparer avec les conséquences de la mise en ligne des PHD par les universités étésuniennes et canadiennes (documents achetables librement par tous), documents mis en ligne sans demander les autorisations des auteurs. Il suffit que le PHD n’ait pas été soutenu sous le régime “confidentiel”.