La leçon à tirer de deux expériences exemplaires : Minons le système avant qu’il ne nous mine !

Dans un billet récent, Claire a publié les instructions lapidaires d’un collègue permettant d’augmenter facilement son facteur d’impact. Le principe d’une action de ce genre est vieille comme le monde : celui qui connaît les règles qui régissent un système social peut facilement les faire jouer en sa faveur. Ce qui est peut-être nouveau dans le domaine de l’évaluation universitaire est que des règles, autrefois implicites et assez complexes pour qu’il y ait toujours quelque marge de manœuvre, sont en passe d’avoir été remplacées par des procédures quantitatives pauvres.

Toutefois, c’est précisément cette pauvreté qui fait qu’il nous est possible, non seulement de les détourner à notre avantage, ce qui ne serait pas une ambition très haute, mais de tenter des expériences amusantes, voire, pour les plus courageux d’entre nous, de parfaitement répondre aux demandes de ce nouveau système sans renoncer en rien à notre intégrité.

J’ai très tôt fait remarquer que les mathématiciens étaient les mieux placés pour dénoncer la pauvreté des procédures quantitatives actuellement mises en usage. Parmi les analyses théoriques récentes, je signale l’article de D. N. Arnold et K. K. Fowler, « Nefarious Numbers »0. Après avoir rappelé un certain nombre de critiques bien connues, cet article s’intéresse au cas de l’International Journal of Nonlinear Sciences and Numerical Simulation (IJNSNS) qui, ces cinq dernières années, a eu un facteur d’impact l’emportant de loin sur les 175 autres journaux de la catégorie « mathématiques appliquées » de la base de données ISI1. Ce facteur d’impact ne correspondant absolument pas au jugement des pairs tel qu’il apparaît dans la liste de journaux élaborée dans le cadre de l’initiative ERA (Research Excellence in Australia), la question se pose de savoir d’où vient la distorsion. Les auteurs n’ont aucun mal à montrer (mais regardez tout de même le détail de l’article, c’est à proprement parler effarant), que cette distorsion entre la mesure quantitative (« objective ») et le jugement des pairs (« subjectif ») vient des pratiques systématiques d’auto-citation qu’ont adoptées les éditeurs de l’IJNSNS, aussi bien pour leur journal que pour leurs propres personnes2.

Le problème aujourd’hui d’analyses théoriques de ce genre — que ressent cruellement ceux qui comme moi pensent qu’il y a actuellement une lutte à mener — c’est qu’elles sont comprises seulement par ceux de notre camp, et non, pour reprendre une formule canonique, par ceux qui jugent qu’il faut cesser de penser et se retrousser les manches. Il me semble à cet égard intéressant de mentionner deux expériences rendues publiques à l’automne. Et, comme il s’agit effectivement d’une lutte à mener, je conclus par un appel à volontaires tout à fait sérieux pour prolonger et systématiser la seconde en SHS ; cet appel correspond au titre de ce billet*.

1) L’expérience Ike Antkare

Tapez Ike Antkare sur Google Scholar, vous constaterez qu’il s’agit d’un des plus grands scientifiques d’aujourdui : son facteur h est meilleur non seulement que celui de vos collègues, mais même d’Einstein. Si vous ne prenez pas au sérieux Google Scholar (et vous auriez tort, car bien des systèmes « objectifs », « transparents » et « internationaux » de l’évaluation quantitative reposent sur les données que fournit ce moteur de recherche), vous pouvez consulter de la base de données CiteSeer, une bibliothèque numérique et un moteur de recherches qui fut pionnière en informatique.

Pourtant, non seulement Ike Antkare n’existe pas en tant que personne physique (ce qui n’est pas bien grave, le mathématicien Bourbaki n’a pas non plus existé en tant que personne physique…), mais ses publications n’ont rigoureusement aucun intérêt, ni même aucun sens. Elles ont en effet été générées automatiquement par un programme conçu par Cyril Labbé.

Cyril Labbé est membre du laboratoire informatique de Grenoble, et il travaille depuis longtemps sur des programmes lexicographiques, éventuellement appliqués à des textes littéraires. Comme il l’explique sommairement dans l’article où il présente le canular Ike Antkare, ce dernier repose sur des choses extrêmement simples :
— l’existence d’un générateur d’articles informatiques, légèrement modifié pour l’occasion, qui a permis de produire un grand nombre d’articles d’Ike Antkare ;
— l’introduction dans Google Scholar, via des articles authentiques, de références aux faux articles innombrables d’Ike Antkare ;
— le recours massif à l’auto-citation dans les innombrables articles d’Ike Antkare.

La conclusion de l’article était, dans ces conditions, inévitable : « At this point in time, tools computing individual researcher performance indices using Google scholar are not reliable. This experiment shows how easily and to what extent computed values can be distorted. It is worth noting that this distortion could have been easily achieved using names of real people, thus helping them discretely or discrediting them noisily. »

On peut se demander d’où vient « Ike Antkare ». Je n’ai aucune indication là-dessus. « Ike Antkare » a assurément pour iniales « IA », acronyme usuel d' »intelligence artificielle », mais ce n’est sûrement pas ça. Tant qu’à faire d’interpréter au petit bonheur la chance, « Ike Antkare » me fait joliment et invinciblement songer à « Athèna Nikè », et il faudrait alors y voir une victoire effective de l’intelligence des chercheurs face à l’absurdité de l’évaluation quantitative.

2) L’expérience Hermès

Que mes associations par sonorité soient justifiées ou non, j’appellerai « Hermès » la deuxième expérience, au motif bien futile qu’elle vient de Paris-XII (or on me dit qu’Hermès est le douzième des dieux grecs…) : et, par les temps qui courent, un messager des dieux ne devrait pas être négligé.

On trouve sur Hal un article écrit par vingt auteurs, intitulé « Compter et mesurer. Le souci du nombre dans l’évaluation de la production scientifique », à paraître dans la Gazette des mathématiciens. On aura compris qu’il s’agit d’une critique de la bibliométrie. Sans reprendre ses arguments, familiers aux lecteurs de ce blog, je note que les citations qu’il donne des travaux de Christophe Dejours témoignent de la conscience qu’ont ses auteurs de l’idéologie néo-libérale qui alimente les pratiques d’évaluation managériale.

Là où la chose devient franchement intéressante, c’est qu’on trouve également sur Hal, publié par les mêmes auteurs, un véritable article de mathématiques, intitulé « The Logarithmic Sobolev Constant of The Lamplighter ».

Je ne l’ai pas lu et je ne vais pas en faire un compte-rendu ! Je voudrais simplement attirer l’attention sur le caractère exemplaire de cette action. Sachant que les mathématiciens, contrairement aux médecins et aux biologistes, ne se mettent pas à vingt pour co-signer des articles, et ayant pris connaissance de l’article théorique à paraître dans la Gazette des mathématiciens, il suffit de savoir faire 1+1 pour comprendre qu’il s’agit d’une initiative visant à subvertir l’évaluation managériale, qui organise la course au plus grand nombre de papiers, qu’on considère les chercheurs, les laboratoires ou les universités, avec tous les effets pervers qui peuvent en résulter.

Cette initiative consiste, si je comprends bien, à proposer aux membres de son laboratoire (ou à un collectif constitué de quelque manière qu’on voudra), de ne plus publier que collectivement. Chacun écrirait donc ses articles et ses livres comme il l’a toujours fait, simplement, au moment de signer, au lieu de mettre son unique signature, il apposerait celle du collectif qu’il s’est choisi. Cela aurait de singulières vertus contre des formes d’individualisme et de narcissisme qui, assurément, existent depuis toujours, mais qui s’affichent aujourd’hui de façon d’autant plus crasse qu’elles sont favorisées par le système.

3) Minons le système avant qu’il ne nous mine !

Il n’est pas facile de savoir jusqu’où ces mathématiciens de l’est de Paris veulent aller, et j’imagine qu’eux-mêmes attendent de voir ce que donnera cette première tentative expérimentale pour essayer de le déterminer. Mais je suis pour ma part prête à participer à des tentatives de ce genre.

Il me semble qu’on peut envisager deux formes d’actions :

a) Que chaque article écrit par au moins un membre d’une équipe soit désormais signé par tous, de sorte que, au moment de l’évaluation de ladite équipe, chaque membre remette rigoureusement le même rapport d’activités. (Puisque chacun aura remarqué que, alors que l’évaluation par l’AERES des équipes est supposée être collective, il est demandé qu’on remplisse des fiches d’évaluation individuelles).

Le problème de cette première forme d’action est que nous savons tous qu’il y a assez peu de collègues autour de nous prêts à ce genre d’actions ! D’où la seconde proposition :

b) Que chaque article écrit par au moins un membre d’un collectif C soit désormais signé par tous, de sorte que, au moment de l’évaluation des n équipes dans lesquelles apparaissent au moins un membre du collectif C, ces équipes apparaissent comme ayant été engagées dans quantité d’excellentes collaborations.

Quant aux noms de ces collectifs, les noms de généraux des deux Napoléons devraient suffire.

Ceux qui sont intéressés par l’action b) peuvent me contacter.

0 D. N. Arnold avait, en tant que Président de la Society for Industrial and Applied Mathematics, pris position dans un article vigoureux intitulé « Integrity Under Attack: The State of Scholarly Publishing ».

1 Par exemple, facteur d’impact en 2008 = 8,81, alors qu’il est respectivement de 3,69 et 2,80 pour les journaux placés en 2e et en 3e positions respectivement.

2 Un petit exemple pour la route tout de même : « The top-citing author to IJNSNS in 2008 was the journal’s Editor-in-Chief, Ji-Huan He, who cited the journal (within the two-year window) 243 times. The second top-citer, D. D. Ganji, with 114 cites, is also a member of the editorial board, as is the third, regional editor Mohamed El Naschie, with 58 cites. Together these three account for 29% of the citations counted towards the impact factor. » Le cas de Ji-Huan He est bien documenté aujourd’hui, voir ici, ou , en lançant dans la fenêtre de recherche en haut à gauche « Ji-Huan ».

* Merci à François Blanchard et Didier Piau de persévérer à m’envoyer des informations sur d’autres mondes que le mien.


12 réponses

  1. Didier Piau dit :

    Puisque la note [2] mentionne ce nom en passant, on peut relever que Mohamed El Naschie fut également le rédacteur en chef de la revue Chaos, Solitons & Fractals (CS&F) depuis sa création en 1991 jusqu’en 2008, revue dont Ji-Huan He était co-rédacteur en chef. D’ailleurs CS&F appliquait les mêmes tactiques que IJNSNS : auto-références massives, et 378 articles signés par El Nashie parus dans CS&F sur la période. Le résultat ? Un h-index de 30 (les connaisseurs apprécieront) et des citations répétées dans la rubrique What’s hot in Science de nos grands amis de la société Thomson Scientific, voir par exemple ici. Tout allait pour le mieux dans le meilleur des mondes au point qu’en 2008 CS&F réussit à atteindre un Impact factor de 3,025, le 5ème meilleur score de toute la rubrique Mathematical sciences cette année-là. Hélas les gens sont méchants et le scandale finit par éclater au point qu’en 2008 Elsevier se décida à congédier tout ce beau monde et, semble-t-il, à faire redémarrer la revue avec un nouveau comité de rédaction.

    Sur Elsevier en général, voir ici. Sur l’affaire CS&F en particulier, voir ici et .

    Pour finir, un commentaire de l’auteur du dernier texte en lien résume bien les choses, je crois : The story of El Naschie is kind of sickly fascinating, but ultimately I think it’s a distraction..

  2. François Blanchard dit :

    Merci à Sophie pour cette synthèse, et pour avoir pointé l’initiative qu’elle a nommée Hermès. Hélas, nous ne sommes pas de Paris 12 mais de Marne-la-Vallée, une autre composante du PRES Paris Est, et nous n’avons donc pas de numéro qui justifie le choix d’un dieu particulier. Toutefois Hermès convient parfaitement.
    Je voudrais signaler qu’on trouve à l’adresse
    http://www.mediapart.fr/club/edition/au-coeur-de-la-recherche/article/091210/compter-et-mesurer-lobsession-du-nombre-dans-le
    une version condensée de l’article à paraître dans la Gazette des mathématiciens.

  3. Leeman dit :

    Je ne crois pas que les stratégies concernant les mentions, citations et références rapportées ici soient bien nouvelles. Les dénoncer inlassablement n’en est pas moins nécessaire.
    Il ne faudrait cependant pas pour autant oublier ou marginaliser ce que donnent les bonnes vieilles expertises anonymes telles qu’elles se pratiquent par exemple au CNRS, à l’encontre de chercheurs qui peuvent avoir un poids et une notoriété scientifiques plus grands que leurs évaluateurs. Pour l’un, on fait tellement cas du travail du chercheur que l’on se trompe de dossier et lui refait le même rapport que lors de la session précédente (fautes d’orthographes comprises). Pour un autre, on signale les publications de niveau « A » mais en les dévalorisant aussitôt (l’expert étant nettement plus exigeant que les comités scientifiques des supports en question). Un troisième se voit recommander de changer de théorie sans autre démonstration. En tout anonymat, bien sûr.
    Admettre ces pratiques et ne pas les dénoncer, est-ce rendre service à la crédibilité de la recherche française?

  4. Gaïa dit :

    Quand je fais une recherche sur Ike Antkare dans la base de données ISI Web of Knowledge, je constate que le monsieur n’existe pas et en plus il n’a jamais rien publié. Mais pour revenir à Google Scholar, comment un moteur de recherche peut-il référencer des articles qui n’ont jamais été publiés, qui sont écrits par un Monsieur qui n’existe pas et qui se dit travailler à l’ « International Institute of Technology United Slates of Earth » ? Ceci dit c’est bien joué, c’est très amusant, bravo à l’auteur du canular !

  5. David dit :

    Ike Antkare, comme le précise le blog de G. Gensane, se prononce « I can’t care » (je m’en fiche totalement)

    http://blogbernardgensane.blogs.nouvelobs.com/archive/2010/12/14/les-ravages-de-la-lru-189.html

    Et merci pour cet article!

  6. Hakim Bourfouka dit :

    À l’initiative Ike Antkare et Hermès, on peut aussi ajouter celle développée il y a un an maintenant par Hakim Bourfouka dans un article intitulé « Des rives précaires de la recherche », paru dans les pages de la revue Multitudes (# 39, hiver 2009).

    Le problème que pose des actions de minage bibliométrique de type b) semble être la question du collectif, et plus précisément de la pertinence d’une équipe de recherche comme collectif « pour soi ».
    Il est vrai qu’une telle question ne vient à se poser que depuis des points de vue non-statutaires : c’est toute la singularité de l’idée d’auteur-collectif et d’Hakim Bourfouka. Une forme de lutte bibliométrique indissociable d’une pratique intermittente de la recherche au sein de laquelle un certain nombre de travailleurs scientifiques (de tous horizons disciplinaires) peuvent se reconnaître et disposer d’un moyen puissant de pérenniser leurs pratiques grâce à des gains exponentiels de légitimité.

    (Consultable sur Cairn http://www.cairn.info/revue-multitudes.htm)

    • Sophie Roux dit :

      L’article de Hakim Bourfouka appelle en effet à la constitution d’auteurs-collectifs, à l’initiative de la classe composé des « précaires cognitifs ». L’analogie avec le prolétariat dans l’analyse classique de Marx est manifeste lorsqu’il écrit par exemple : « N’ayant que peu de choses à gagner dans le jeu tel qu’il est réglé actuellement, le précariat cognitif en tant que classe composée de quasi-anonymes n’a pas grand chose à perdre, et doit constituer son invisibilité en stratégie qui lui permette de renverser le champ à son avantage » (p. 87). La création d’auteurs-collectifs, soutient-il, ne changerait pas grand chose pour le précariat cognitif, elle obligerait à faire prévaloir les questions de contenu sur les questions de personne, elle réhabiliterait l’évaluation par les pairs par rapport aux pratiques bibliométriques appliquées à des personnes. La proposition diffère de ce que je décrivais dans mon billet, puisqu’une des caractéristiques des auteurs-collectifs est qu’ils sont appropriables par tous, alors que, pour simplifier, je pensais « groupe fermé ».

      Dans la conclusion de l’article (l’autre proposition qu’il contient est celle d’un salariat des précaires actuels), je relève en particulier la phrase suivante
      « cette logique possède tous les défauts de ses avantages : en soutenant notamment que tous les outils d’une transformation radicale de l’Université sont déjà à disposition et que ce changement ne nécessite pas forcément que les cours s’arrêtent, que les jurys de CAPES soient bloqués ou que chaque salle de TD soit équipée d’un vidéoprojecteur, elle prend le risque de s’aliéner ses alliés objectifs dans la contestation des réformes actuelles. Cette proximité des solutions et la simplicité des réagencements s’oppose à la geste révolutionnaire qui a toujours besoin de voir trembler des montagnes, mais recèle aussi les plus grands pièges pour qui tenterait de mettre en pratique ces transformations sans les avoir pensées sur le mode de l’analyse réflexive qui permet de retourner les mots du pouvoir en se réappropriant leur usage » (p. 88-89).
      Il me semble effectivement depuis longtemps que la relative facilité avec laquelle les réformes universitaires se mettent en place vient de ce qu’elles font jouer des habitus bien plus profonds que tous les discours théoriques d’opposition. D’où vient ce que tout un chacun aura observé, à savoir que rares sont ceux qui ont non seulement critiqué les réformes, mais fait les gestes minimaux qui ne contribuaient pas à leur mise en place.

  7. Sylvain Piron dit :

    Un commentaire avec un train de retard. Les deux expériences ne sont pas du même ordre, et je ne suis pas sûr qu’elles soient reproductibles, ce qui n’enlève bien sûr rien à leur intérêt.
    Le canular Ike Antkare, cousin germain de Gérard Menvussa, n’a pas besoin d’être répété, car il a démontré assez irréfutablement d’un seul coup que Google Scholar ne peut pas être pris comme base sérieuse pour quelque calcul que ce soit. Il ruine du même coup tous les indicateurs qui le prennent comme base de calcul. C’est du très grand art, qu’il faut saluer, et auquel il faudra se référer sans se lasser pendant des années. Tous ceux qui veulent faire un travail sérieux de mesure dans le domaine de la bibliométrie savent maintenant qu’on les attend sur le sérieux de leur base de travail.
    La proposition des mathématiciens de Marne-la-Vallée est pour sa part un acte militant, qui n’a pas les mêmes répercussions, mais qui peut éventuellement avoir des effets locaux puissants (pour démontrer la solidarité d’une équipe face à ses instances). C’est pour cela que je doute de la possibilité de sa reproduction à grande échelle. En revanche, ce qui me semble beaucoup plus intéressant comme stratégie générale est de multiplier les signatures collectives de travaux réellement menés collectivement. Cela n’implique pas de bouleverser des pratiques de travail, mais seulement de rendre visible ce qui se passe réellement dans beaucoup de cas : les articles sont le résultat de processus collectifs de discussions, relectures et commentaires. Il suffirait que nous prenions (en sciences humaines et sociales) l’habitude de faire comme dans les sciences dures, et d’associer dans la signature de l’article les noms de tous ceux qui y ont collaboré pour commencer à sortir de la logique de compétition individuelle. Je n’aime pas trop l’idée de signer en tant que collectifs aux noms de généraux napoléoniens (même si je comprends l’idée subversive), et je ne prône pas la constitution de multiples Bourbaki de tous côtés : il me semblerait plus juste et plus fructueux de faire apparaître, selon ce requiert le cas, des collections d’individus travaillant en réseau. Dernier point : ce sont évidemment les membres les plus avancés de ces réseaux qui doivent faire bénéficier aux plus jeunes de ce partage de signature, et non l’inverse.

    • Sophie Roux dit :

      Comme Sylvain, je crois que l’expérience de Cyril Labbé n’a pas à être répétée ; que Google scholar ne puisse servir de base de donnée a été montré une fois pour toutes, ce n’est pas une question de discipline.

      Quant à la proposition d’amplifier l’expérience de Marne-la-Vallée, je vois bien aux réactions qu’elle suscite (ou ne suscite pas) qu’elle ne sera pas suivie.

      Un ami me fait ainsi remarquer quelques-uns des blocages auxquels elle se heurterait :
      « Si je m’imagine faisant cela dans mon labo, j’ai l’impression que ce sera perçu exactement comme un refus de donner sa liste de mes publications. Cela me permettra juste d’indiquer que je ne suis pas seul, que j’appartiens à un groupe qui fait cela. Mais cela peut être obtenu plus simplement en constituant une liste de personnes déclarant ceci et cela. Pour le dire autrement : un labo où une partie significative de personnes fait cela apparaîtra comme non évaluable. Avec donc les mêmes pressions de la part de ceux qui veulent l’être parce qu’ils considèrent que sans cela, etc, etc. Je pense aussi que les revues peuvent aussi très vite bloquer cela. Imagines-tu que les membres du comité de rédaction de la Revue [XYZ] laisseraient passer un article dont ils sauraient pertinemment que je suis l’auteur avec plein de signataires? S’il avait de telles complicités, je pense que le problème ne se poserait pas. »

      Il me semble rétrospectivement que le fait d’envisager la possibilité d’une telle action a actuellement la valeur d’une expérience de pensée, permettant de mieux repérer les points de blocages, ainsi de voir en quoi chacun d’entre nous contribue à la mise en place de ce qu’il réprouve, et finalement de se demander ce qui peut bouger. C’est ce que remarquait Hakim Bourfouka dans le passage que je citais un peu longuement : la lutte, si lutte il y a, est dans de tout petits changements de pratique, pas dans des oppositions grandiloquentes.

      Finalement, oui, pour ma part, j’essaie déjà en général de favoriser le travail collectif et conséquemment les signatures communes. Cela est beaucoup dans ma discipline de rattachement institutionnel (la philosophie), puisque j’ai entendu dire une fois qu’un ouvrage co-signé n’avait aucune valeur dans un dossier, puisqu’on ne savait pas quelle était la part de chacun.

      • C’est fou comme les différentes disciplines adoptent parfois des principes opposés. La communauté mathématique a la chance, pour l’instant du moins, de considérer les copublications favorablement au moins quand le nombre d’auteurs est faible (deux ou trois, voire quatre). En général, chaque coauteur reçoit presque tout le bénéfice de l’article. Ça me semble très profitable à la science, mais des initiatives commencent à remettre ce principe en cause.

        Il y a tout de même des exceptions notables ; ainsi il est bienvenu pour le recrutement maître de conférence d’avoir publié au moins un article seul, ou du moins de n’avoir pas de coauteur permanent. Les seules collaborations qui sont presque systématiquement considérées comme sans valeur sont celles faites avec le directeur de thèse, pendant ou peu après la thèse.

        • Sophie Roux dit :

          Cher Benoit,

          Ta remarque me fait réaliser que c’est aussi un privilège de signer en son nom propre ! En fait, la morale de l’histoire est toujours la même selon moi : le plus important est que le chercheur soit libre de choisir les modalités de publication qui sont conformes au projet qui est le sien.

          Cela dit, le décompte effectif des articles pose des problèmes dès que les pratiques de signature se compliquent. Je te retranscris ici le paragraphe d’introduction d’un développement consacré à cette question dans le rapport norvégien intitulé « A Bibliometric Model for Performance-based Budgeting of Research Institutions.
          Recommendation from the committee appointed by the Norwegian Association of Higher Education Institutions on assignment from the Ministry of Education and Research »

          An academic publication is usually the result of a cooperative effort between several researchers, but the degree to which this is reflected in the publication’s author by-line varies among fields. In the humanities and social sciences, only one author is usually credited per publication. In other fields, it is most common to credit several authors per publication. In these cases, the authors list the addresses of several institutions. This occurs partly because the members of the author group are affiliated with different institutions and partly because an individual author lists his or her affiliation with more than one institution. When this phenomenon is measured in the Norwegian articles registered by ISI in 2003, the natural sciences and medicine are overrepresented. Nonetheless, the measurement gives an idea of how the pattern would appear for most of the articles published in international journals from the higher education sector. The table below illustrates such a measurement for 2003.

          (Le premier nombre est x, le deuxième le nombre d’articles avec x auteurs, le troisième le nombre d’articles avec x adresses institutionnelles.)

          1 : 838 ; 208
          2 : 1198 ; 1853
          3 : 1236 ; 1850
          4 : 1016 ; 1225
          5 to 10 : 2006 ; 667
          11 to 100 : 339 ; 235
          Over 100 : 40 ; 0

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *