L’Académie des sciences vue de l’intérieur : plus de discussions que de tirs, décidément
Je l’avoue, je n’ai pas beaucoup été “à l’intérieur” de l’Académie des sciences… mais découvrir comment discutent des académiciens, en tout cas sur un tel sujet, fut intéressant et en fait plutôt agréable. Voici la première partie de mes impressions. Je l’ai laissée sous la forme où j’avais commencé à la rédiger le 29 septembre 2010, peu après la première réunion de préparation du rapport. J’avais alors accepté la demande des membres de la commission d’attendre la publication du rapport pour mettre en ligne ces impressions. J’espère que cette petite série de billets sera complétée par les retours d’expérience d’autres participant.e.s à la discussion.
Il y a quelques mois, je me suis trouvée invitée à participer à un groupe de travail mis en place par l’Académie des sciences sur le thème « Évaluation et bibliométrie » – au milieu, pour l’essentiel, de distingués académiciens, ainsi que de représentants d’autres institutions comme l’AERES ou de spécialistes comme Ghislaine Filiatreau, de l’Observatoire des sciences et techniques. Par quel miracle ? Non pas parce que les académiciens lisaient ce carnet (même s’il est maintenant possible que certains le consultent), mais parce que Florence Weber, déjà invitée au titre des sciences humaines et sociales, avait souhaité que quelqu’un d’autre représentât ces disciplines, et quelqu’un « qui ne soit pas d’accord avec elle » – même si cette appréciation de nos positions, fondée sur quelques discussions en comité de sélection ou dans des couloirs de l’ENS, a semblé finalement assez erronée. Il est donc tout à l’honneur de l’Académie d’ouvrir ainsi la discussion aux SHS (sans recourir pour cela à celle des sciences morales et politiques, ce qui pourrait justifier une longue digression sur l’histoire de ces institutions…) et à celui de Florence Weber de favoriser le débat contradictoire.
Le sentiment de mon incompétence m’arrêtant (sans doute trop) rarement, il me restait à décider s’il était intéressant ou non de participer à un groupe créé à la demande de Valérie Pécresse. Cette demande faisait suite à un précédent rapport de l’institution sur l’évaluation des enseignants-chercheurs, qui, entre autres choses belles et bonnes, recommandait un usage très encadré, et subordonné au jugement des pairs, des indicateurs bibliométriques. En conséquence, la ministre demande maintenant à l’Académie d’examiner la pertinence des indicateurs utilisés (en particulier en comparant les prévisions et les décisions effectives des comités d’évaluation : tâche un peu mystérieuse, mais qui semble avoir été tentée de façon intéressante – à suivre), d’en proposer de nouveaux (qui tiennent compte notamment des différences entre disciplines) et d’édicter des règles de bon usage pour les experts scientifiques. Un programme bien chargé pour quelques mois, et qui présentait le risque d’aboutir à l’élaboration d’un nième indice (comme les classements européens ou français supposés supplanter celui de Shanghai) ou bien à une charte de bon usage aussitôt mise de côté. J’ai décidé d’aller y voir tout de même ; je ne garantis pas, bien sûr, que le gouvernement fera quelque chose de la production du groupe, mais je ne regrette pas mon incursion en ces hauts lieux, aussi instructive que rassurante sur le fond. Je ne vous transmettrai pas ici le copieux compte rendu de la première, longue et libre, discussion, mais voici quelques impressions à la volée, autour d’un message que je pressentais déjà vrai, mais pas à ce point : le clivage pertinent, en la matière (sur la bibliométrie comme sur l’évaluation en général) ne passe pas entre les SHS et les « sciences dures » – et les pratiques de ces dernières ne sont pas forcément celles qu’on évoque quand on les invoque comme modèles ou comme repoussoirs.
Questions de disciplines
Il y avait en effet bien des disciplines autour de la table, et, comme souvent, les mathématiciens étaient parmi les plus sceptiques quand à l’intérêt de toute forme de bibliométrie. Deux raisons sans doute à cela :
– ils s’y connaissent en mathématiques… (comme la plupart des autres présents) et donc s’amusent des modes de calcul très artisanaux de certains indices en vogue (du h à diverses variantes « au carré ») et plus fondamentalement n’ont rien contre la multiplication des dimensions et rechignent à résumer une distribution complexe en un chiffre unique. D’où un fort consensus dans la salle sur la nécessité, si l’on compte, de fournir tous les indices à la fois, ou mieux les données sous-jacentes entières (avec la temporalité des publications et des citations, avec la situation du chercheur dans les domaines dont il relève, etc.). On peut bien sûr être pessimiste sur l’application d’une telle recommandation : un chiffre, même mauvais, tuera toujours plusieurs chiffres dans l’esprit d’un « décideur » pressé. Mais si l’Académie des sciences peut affirmer qu’on peut être « grand » en recherche de plusieurs façons différentes, que cela change dans le temps, etc., cela ne peut pas faire de mal…
– ils publient relativement peu d’articles, les signent souvent seuls, citent des articles relativement anciens, et affirment lire vraiment les travaux pour recruter – bref, ce sont des littéraires, pourrait-on hâtivement conclure. Je ne connais pas assez ce milieu pour pouvoir dire si la partie idyllique de cette image correspond à la réalité, même si j’ai entendu peu de voix discordantes. En tout cas, d’une part, la communauté mathématicienne semble exister comme telle, malgré les clivages sous-disciplinaires, et donc arriver assez bien à produire du jugement des pairs (pensez par comparaison qu’il n’y a même pas de véritable association des historiens en France…) ; d’autre part, ce qui est apparu dans l’ensemble des discussions, c’est que les disciplines différaient, du point de vue de leurs rapports possibles à la bibliométrie, suivant d’autres clivages que celui entre sciences « dures » et « molles ».
En fait, un clivage plus important sur ce sujet, et plus simple à objectiver, est sans doute lié à la quantité moyenne d’articles qu’un chercheur produit pendant sa vie professionnelle. Il y a manifestement des disciplines où le rythme de publication (accentué sans doute par les cosignatures, parfois à beaucoup plus de trois ou quatre) est si élevé qu’on cite très vite, mais seulement des papiers récents, qu’on ne s’y retrouve vite plus dans les bibliographies des collègues, même relativement jeunes, etc. Bref, il y aurait des disciplines où on ne pourrait pas tout lire, voire où on ne pourrait pas sérieusement lire et décrypter tout un CV. Résumer tout cela par de la bibliométrie, avec les garde-fous d’usage (qu’elle ne serve que de premier filtre, que ses résultats soient interprétés par des pairs, que l’on ne s’en serve pas pour le recrutement à un premier poste…), pourrait alors avoir un sens : je veux bien faire confiance sur ce point aux représentants des disciplines concernées, au premier chef les sciences de la vie, notamment dans leur versant médical. En revanche, l’idée que l’on puisse utiliser des indices h tous inférieurs à 10 (typiques des historiens français dans l’état actuel des bases de données bibliométriques !) pour hiérarchiser des chercheurs a, de l’avis de tous, quelque chose de baroque. Quand le nombre total de publications est raisonnable, un consensus se fait sur l’idée qu’il faut les lire : par exemple demander au candidat d’en sélectionner un petit nombre (ses choix étant ensuite ascultés…), puis les lire – un usage que j’apprécie de plus en plus pour l’avoir pratiqué comme candidate et comme membre de jury, et je constate que je ne suis pas isolée dans ce cas.
Bref, comme les mathématiciens – et plus encore, du fait de l’inadéquation des bases de données bibliométriques, qui ne permettent même pas tellement de tester l’outil dans nos disciplines –, nous autres représentantes de la sociologie et de l’histoire étions en partie des spectratrices étonnées dans des débats par ailleurs passionnants portant sur les disciplines situées à l’autre extrémité du spectre. Par exemple sur la question de l’ordre de signature, et du droit même de cosigner, des différents auteurs d’un article, qui, cela dit, toute question de bibliométrie mise à part, trouve des parallèles et mériterait débat en SHS : toutes les personnes « sans qui l’article n’aurait pas pu se faire » doivent-elles signer ? (et dans ce cas, pourquoi les directeurs de services « fournissant » des patients plus ou moins que les enquêtés ou les archivistes ?) Faut-il se limiter à ceux et celles qui ont effectivement écrit une partie, ou encore qui seraient capables de présenter oralement l’ensemble de l’article ? (des nomes intéressantes sur ce point sont présentées dans ce document concernant les revues de médecine, signalé par Alain-Jacques Valleron)
Des discussions tout aussi exotiques pour moi évoquaient les problèmes liés à l’attribution de prix très prestigieux (de l’Académie) par des jurys très interdisciplinaires qui s’avouaient, logiquement, incapables de comprendre le détail des recherches des uns et des autres. On peut comprendre alors la logique du recours à la bibliométrie, qui n’est guère qu’une forme technicisée (je n’ose pas dire objectivée, vu ses nombreux biais connus) de la réputation connue par ouï-dire. Je ne m’étais jamais posé la question de tels prix, même si elle peut se rapprocher (en plus grand…) de celle des jurys de bourses élitistes et interdisciplinaires évoqués par Michèle Lamont et pourrait donc probablement se résoudre par le moins mauvais des mauvais systèmes, un jugement des pairs attentif à l’ergodiversité des disciplines ; quoi qu’il en soit, même si certains veulent donner une place importante à la bibliométrie dans de tels cas, il ne s’agit évidemment pas d’un cas très représentatif des activités d’évaluation.
La bibliométrie et les pairs
Au-delà de ces débats précis et des différences entre disciplines, il y avait bien des points de consensus (plus, me semble-t-il, que ce que chacun.e avait anticipé avant la réunion) qui méritent d’être résumés ici, même si je sais bien que cela ne leur gagnera pas nécessairement l’adhésion de Valérie Pécresse – du moins sera-t-il peut-être plus difficile d’arguer que seuls les chercheurs « non excellents » pensent ainsi.
- L’absurdité d’une utilisation de la bibliométrie pour le recrutement. Or, sans doute là aussi de façon spécifique par rapport à des disciplines où les crédits sont plus cruciaux, c’est là le noeud du système pour les SHS : là que les ressources sont les plus rares et là que l’évaluation pèse le plus sur l’avenir.
- L’absurdité d’une utilisation de la bibliométrie comme outil de gestion mécanique des ressources humaines : seuls des pairs peuvent apprécier de tels indicateurs. Évidence pour nous, évidence contraire pour certains services du ministère ou du CNRS…
- Le fait que la bibliométrie, si on veut bien la faire, est un métier. Pas seulement parce qu’il faut comprendre les indicateurs pour les interpréter, mais parce que bien les produire n’a rien d’évident. Nous avons entendu des exemples édifiants de h index produits d’une part en quelques minutes par n’importe qui, d’autre part en quelques heures par un spécialiste et totalement divergents… Les simples questions d’homonymie ont de façon évidente de telles conséquences. Quant à l’utilisation de Google Scholar, souvent présentée comme la seule planche de salut pour les SHS (vu la faible couverture des bases de données mieux construites), les membres du groupe osaient à peine me croire quand j’en parlais, vu le manque de qualité des données… Cela veut dire, particulièrement pour nos disciplines où les bases elles-même sont à construire (si une telle chose est possible vu la multiplicité et la variété des supports de publication), que si l’on voulait faire proprement de la bibliométrie, il faudrait y dédier de nombreux postes : calculer son propre indice, même avec une base bien construite, n’est même pas forcément à la portée de chaque chercheur. On peut alors se demander si le jeu en vaut la chandelle… En tout cas, il est intéressant de voir que les scientomètres professionnels, comme G. Filiatreau, sont eux-mêmes très critiques sur les usages faits de leurs indicateurs et demandent plus de moyens de recherche pour des outils qui ne sont en rien stabilisés.
- Le fait que le constat des failles de la bibliométrie et le renvoi au jugement des pairs ne dispense pas de réfléchir aux bonnes pratiques en la matière. Plusieurs intervenants, dans des disciplines variées, sont revenus sur les problèmes du recrutement local, ou plus généralement endogame ; on sentait que certains auraient aimé se tourner vers la bibliométrie comme dispositif supposé plus neutre pour résoudre ce problème, mais avaient aussi pris conscience de ses défauts propres. Le premier rapport de l’Académie proposait déjà quelques recommandations, mais très générales, sur l’évaluation dite (dans ce contexte) « qualitative ». Il est possible que d’autres idées sortent de nos discussions (celles du groupe, ou celles que Florence Weber et moi avons pu avoir, à sa marge, sur les SHS), mais difficile d’imaginer comment aller au-delà d’une simple charte d’éthique… Cela dit (et ici, c’est moi qui parle, et non plus le consensus du groupe) la lecture d’études sur le recrutement, bien au-delà du cas des universitaires (par exemple celle-ci), ou encore le modèle offert par les recrutements d’ingénieur.e.s CNRS, plus encadrés que ceux des chercheurs, pourraient permettre de poser quelques principes de base : par exemple la présence obligatoire de personnes issues d’autres disciplines (ce qui peut obliger à expliciter devant elles des règles tacites de fonctionnement) et de personnes dont le rôle est précisément de faire respecter les règles (comme les élu.e.s du comité national font respecter l’égalité entre candidat.e.s dans les recrutements d’ingénieur.e.s).
- Le fait que les indicateurs bibliométriques sont plus intéressants dans le détail pour les spécialistes du domaine et au premier chef pour la personne concernée (au fond, qui me cite ? j’aimerais bien qu’une base de données réponde à cette question : nous rêvons tous à la postérité…) que pour les extérieurs (pairs relatifs ou non chercheurs) à qui, en pratique, on les destine. Plusieurs participants ont plaidé ainsi pour l’auto-analyse ou pour une sorte de cross-examination (le candidat étant sommé de commenter ses indices, de justifier pourquoi son h est bas, etc.). Je suis très partagée sur ce point : spontanément, je suis d’accord. Mais c’est peut-être mon habitus de bonne élève (ou mes habitudes de regardage de nombril), très commun dans notre profession, qui parle… : je me méfie, pour avoir entendu Cédric Lomba et Sophie Pochic parler de l'(auto-)évaluation en entreprise et des déceptions qu’elle a créées (leur texte n’est malheureusement pas encore publié).
Bonjour,
je suis mathématicien, et s’il est vrai que nous sommes ouvertement majoritairement très opposés à l’extension de la bibliométrie, je peux tout de même tempérer un peu l’image idyllique du recrutement. En pratique, et dans le meilleur des cas, seul le rapporteur d’un candidat en lit les travaux, et encore uniquement l’introduction des articles ou les rapports sur leur recherche. Du coup, les arguments qui ont le plus de portée dans un comité sont le prestige des revues dans lesquelles le candidat a publié, le prestige du directeur de thèse (s’il soutient bien son doctorant), et quelques autres. Je pense que c’est une erreur, et qu’on devrait essayer de parler plus entre nous des maths des candidats, mais une partie significative de mes collègue semble penser qu’ils ne peuvent de toute façon strictement rien comprendre à un théorème hors de leur domaine, ce qui est un peu triste.
Ensuite, j’ai lu le début du rapport de l’Académie, et je ne suis pas très positif à son sujet. Par exemple, il se contredit et se berce d’illusions très vite : le premier argument en faveur de l’usage de la bibliométrie est le nombre excessif d’évaluations à mener, et le temps énorme que ça prendrait de les faire à partir des travaux ; puis un peu plus loin, on y lit que les indicateurs bibliométriques ne devraient être utilisés qu’accompagnés de la lecture de quelques articles des candidats. Il est pourtant évident que la bibliométrie ne permet de gagner du temps que si elle se subsitue à l”évaluation qualitative, pas si elle s’y ajoute.
En fait, au milieu de la première page j’ai eu l’impression qu’on pouvait se passer du reste du rapport et tirer la conclusion de ce premier argument en faveur de la bibliométrie : il ne faut pas se donner les moyens d’évaluer plus vite, il faut simplement évaluer rarement, mais bien. Le recrutement et deux ou trois promotions importantes pourraient faire l’objet d’une évaluation poussée, et quelques trucs efficaces pourraient être évalués plus rapidement, de façon ad hoc (par exemple les délégations où le projet de recherche et les besoins –suite à une responsabilité administrative lourde, un congé maternité ou longue maladie par exemple– sont prépondérants).
Merci beaucoup pour votre commentaire et désolée de ne pas y avoir répondu plus tôt (je bloquais sur une recherche…).
Ce que vous dites au début me confirme que les choses sont plus similaires entre disciplines qu’on ne le croît : nous sommes tous confrontés à l’éclatement des savoirs (je n’ai pas le début d’une réponse, mais ce serait bien de l’admettre…) mais aussi au manque de temps pour évaluer. Il me semble qu’au moins au stade crucial des recrutements, il faudrait qu’on prenne ce temps. D’autant que la seule fois où j’ai siégé dans un comité de sélection qui a eu le temps de lire vraiment les thèses, cela a eu des effets importants.
Sur le rapport, votre lecture m’intéresse et confirme certaines de mes craintes. Il s’agit en fait vraiment d’un rapport de compromis, et je crains qu’en effet, pour cette raison, il contienne certaines phrases que l’on peut poser comme directement contradictoires entre elles et qui puissent donc être utilisées dans des buts qui ne seraient pas cautionnés par ses auteurs. C’est dommage ; je ne sais pas complètement si on aurait pu faire mieux.
Ce qui est intéressant, sur un plan réflexif, c’est que le compromis ne s’est pas seulement fait entre des personnes (même s’il y avait une personne qui encourageait clairement les usages de la bibliométrie, mais pas n’importe lesquels, et beaucoup qui étaient très prudentes voire opposées à la plupart des usages) mais à l’intérieur de beaucoup des rédacteurs. Ce qui me déçoit, c’est, comme vous apparemment, qu’on n’ait pas pu extirper complètement la référence à un gain de temps, qui me semble assez fallacieuse puisqu’on souligne par ailleurs que produire une bibliométrie “propre” prend du temps. Mais il y avait vraiment chez certains cette idée que croulant sous le poids des dossiers, notamment de spécialités très éloignées des leurs, ils avaient besoin d’un pré-tri. Il me semble personnellement assez dangereux que ce pré-tri soit bibliométrique, en particulier parce que justement pour une spécialité éloignée, on n’a pas les points de repères sur les pratiques d’écriture et de citation qu’on a pour la sienne. Mais on ne sortait pas de l’argument du pré-tri…
C’est vrai que pour avoir vu arriver des paquets de 250 dossiers, je ne sais pas complètement quelle est la meilleure manière de pré-trier. En histoire, on fait avec l’agrégation pour les postes du supérieur, ce qui me semble mal ajusté ; en sciences sociales, on regarde souvent s’il y a un livre, ou un article dans une revue majeure, ce qui est un peu mieux mais avec bien des failles dans les deux sens (surestimation ou sous-estimation de la recherche des candidats si on adopte ce critère unique) ; de guerre lasse, le localisme peut fournir un critère du type “au moins, on les connaît”…
Cela dit, ce que vous dites limiterait au moins le nombre de situations avec 250 dossiers à évaluer – et n’est pas assez souvent dit dans ces débats.