La leçon à tirer de deux expériences exemplaires : Minons le système avant qu’il ne nous mine !

Dans un billet récent, Claire a publié les instructions lapidaires d’un collègue permettant d’augmenter facilement son facteur d’impact. Le principe d’une action de ce genre est vieille comme le monde : celui qui connaît les règles qui régissent un système social peut facilement les faire jouer en sa faveur. Ce qui est peut-être nouveau dans le domaine de l’évaluation universitaire est que des règles, autrefois implicites et assez complexes pour qu’il y ait toujours quelque marge de manœuvre, sont en passe d’avoir été remplacées par des procédures quantitatives pauvres.

Toutefois, c’est précisément cette pauvreté qui fait qu’il nous est possible, non seulement de les détourner à notre avantage, ce qui ne serait pas une ambition très haute, mais de tenter des expériences amusantes, voire, pour les plus courageux d’entre nous, de parfaitement répondre aux demandes de ce nouveau système sans renoncer en rien à notre intégrité.

J’ai très tôt fait remarquer que les mathématiciens étaient les mieux placés pour dénoncer la pauvreté des procédures quantitatives actuellement mises en usage. Parmi les analyses théoriques récentes, je signale l’article de D. N. Arnold et K. K. Fowler, “Nefarious Numbers”⁰. Après avoir rappelé un certain nombre de critiques bien connues, cet article s’intéresse au cas de l’International Journal of Nonlinear Sciences and Numerical Simulation (IJNSNS) qui, ces cinq dernières années, a eu un facteur d’impact l’emportant de loin sur les 175 autres journaux de la catégorie “mathématiques appliquées” de la base de données ISI¹. Ce facteur d’impact ne correspondant absolument pas au jugement des pairs tel qu’il apparaît dans la liste de journaux élaborée dans le cadre de l’initiative ERA (Research Excellence in Australia), la question se pose de savoir d’où vient la distorsion. Les auteurs n’ont aucun mal à montrer (mais regardez tout de même le détail de l’article, c’est à proprement parler effarant), que cette distorsion entre la mesure quantitative (“objective”) et le jugement des pairs (“subjectif”) vient des pratiques systématiques d’auto-citation qu’ont adoptées les éditeurs de l’IJNSNS, aussi bien pour leur journal que pour leurs propres personnes².

Le problème aujourd’hui d’analyses théoriques de ce genre — que ressent cruellement ceux qui comme moi pensent qu’il y a actuellement une lutte à mener — c’est qu’elles sont comprises seulement par ceux de notre camp, et non, pour reprendre une formule canonique, par ceux qui jugent qu’il faut cesser de penser et se retrousser les manches. Il me semble à cet égard intéressant de mentionner deux expériences rendues publiques à l’automne. Et, comme il s’agit effectivement d’une lutte à mener, je conclus par un appel à volontaires tout à fait sérieux pour prolonger et systématiser la seconde en SHS ; cet appel correspond au titre de ce billet^*.

1) L’expérience Ike Antkare

Tapez Ike Antkare sur Google Scholar, vous constaterez qu’il s’agit d’un des plus grands scientifiques d’aujourdui : son facteur h est meilleur non seulement que celui de vos collègues, mais même d’Einstein. Si vous ne prenez pas au sérieux Google Scholar (et vous auriez tort, car bien des systèmes “objectifs”, “transparents” et “internationaux” de l’évaluation quantitative reposent sur les données que fournit ce moteur de recherche), vous pouvez consulter de la base de données CiteSeer, une bibliothèque numérique et un moteur de recherches qui fut pionnière en informatique.

Pourtant, non seulement Ike Antkare n’existe pas en tant que personne physique (ce qui n’est pas bien grave, le mathématicien Bourbaki n’a pas non plus existé en tant que personne physique…), mais ses publications n’ont rigoureusement aucun intérêt, ni même aucun sens. Elles ont en effet été générées automatiquement par un programme conçu par Cyril Labbé.

Cyril Labbé est membre du laboratoire informatique de Grenoble, et il travaille depuis longtemps sur des programmes lexicographiques, éventuellement appliqués à des textes littéraires. Comme il l’explique sommairement dans l’article où il présente le canular Ike Antkare, ce dernier repose sur des choses extrêmement simples :
— l’existence d’un générateur d’articles informatiques, légèrement modifié pour l’occasion, qui a permis de produire un grand nombre d’articles d’Ike Antkare ;
— l’introduction dans Google Scholar, via des articles authentiques, de références aux faux articles innombrables d’Ike Antkare ;
— le recours massif à l’auto-citation dans les innombrables articles d’Ike Antkare.

La conclusion de l’article était, dans ces conditions, inévitable : “At this point in time, tools computing individual researcher performance indices using Google scholar are not reliable. This experiment shows how easily and to what extent computed values can be distorted. It is worth noting that this distortion could have been easily achieved using names of real people, thus helping them discretely or discrediting them noisily.”

On peut se demander d’où vient “Ike Antkare”. Je n’ai aucune indication là-dessus. “Ike Antkare” a assurément pour iniales “IA”, acronyme usuel d'”intelligence artificielle”, mais ce n’est sûrement pas ça. Tant qu’à faire d’interpréter au petit bonheur la chance, “Ike Antkare” me fait joliment et invinciblement songer à “Athèna Nikè”, et il faudrait alors y voir une victoire effective de l’intelligence des chercheurs face à l’absurdité de l’évaluation quantitative.

2) L’expérience Hermès

Que mes associations par sonorité soient justifiées ou non, j’appellerai “Hermès” la deuxième expérience, au motif bien futile qu’elle vient de Paris-XII (or on me dit qu’Hermès est le douzième des dieux grecs…) : et, par les temps qui courent, un messager des dieux ne devrait pas être négligé.

On trouve sur Hal un article écrit par vingt auteurs, intitulé “Compter et mesurer. Le souci du nombre dans l’évaluation de la production scientifique”, à paraître dans la Gazette des mathématiciens. On aura compris qu’il s’agit d’une critique de la bibliométrie. Sans reprendre ses arguments, familiers aux lecteurs de ce blog, je note que les citations qu’il donne des travaux de Christophe Dejours témoignent de la conscience qu’ont ses auteurs de l’idéologie néo-libérale qui alimente les pratiques d’évaluation managériale.

Là où la chose devient franchement intéressante, c’est qu’on trouve également sur Hal, publié par les mêmes auteurs, un véritable article de mathématiques, intitulé “The Logarithmic Sobolev Constant of The Lamplighter”.

Je ne l’ai pas lu et je ne vais pas en faire un compte-rendu ! Je voudrais simplement attirer l’attention sur le caractère exemplaire de cette action. Sachant que les mathématiciens, contrairement aux médecins et aux biologistes, ne se mettent pas à vingt pour co-signer des articles, et ayant pris connaissance de l’article théorique à paraître dans la Gazette des mathématiciens, il suffit de savoir faire 1+1 pour comprendre qu’il s’agit d’une initiative visant à subvertir l’évaluation managériale, qui organise la course au plus grand nombre de papiers, qu’on considère les chercheurs, les laboratoires ou les universités, avec tous les effets pervers qui peuvent en résulter.

Cette initiative consiste, si je comprends bien, à proposer aux membres de son laboratoire (ou à un collectif constitué de quelque manière qu’on voudra), de ne plus publier que collectivement. Chacun écrirait donc ses articles et ses livres comme il l’a toujours fait, simplement, au moment de signer, au lieu de mettre son unique signature, il apposerait celle du collectif qu’il s’est choisi. Cela aurait de singulières vertus contre des formes d’individualisme et de narcissisme qui, assurément, existent depuis toujours, mais qui s’affichent aujourd’hui de façon d’autant plus crasse qu’elles sont favorisées par le système.

3) Minons le système avant qu’il ne nous mine !

Il n’est pas facile de savoir jusqu’où ces mathématiciens de l’est de Paris veulent aller, et j’imagine qu’eux-mêmes attendent de voir ce que donnera cette première tentative expérimentale pour essayer de le déterminer. Mais je suis pour ma part prête à participer à des tentatives de ce genre.

Il me semble qu’on peut envisager deux formes d’actions :

a) Que chaque article écrit par au moins un membre d’une équipe soit désormais signé par tous, de sorte que, au moment de l’évaluation de ladite équipe, chaque membre remette rigoureusement le même rapport d’activités. (Puisque chacun aura remarqué que, alors que l’évaluation par l’AERES des équipes est supposée être collective, il est demandé qu’on remplisse des fiches d’évaluation individuelles).

Le problème de cette première forme d’action est que nous savons tous qu’il y a assez peu de collègues autour de nous prêts à ce genre d’actions ! D’où la seconde proposition :

b) Que chaque article écrit par au moins un membre d’un collectif C soit désormais signé par tous, de sorte que, au moment de l’évaluation des n équipes dans lesquelles apparaissent au moins un membre du collectif C, ces équipes apparaissent comme ayant été engagées dans quantité d’excellentes collaborations.

Quant aux noms de ces collectifs, les noms de généraux des deux Napoléons devraient suffire.

Ceux qui sont intéressés par l’action b) peuvent me contacter.

---

---