Remarques sur l’évaluation

Une fois encore, je retrouve en rangeant mon ordinateur une vieille ébauche de billet, dont je me dis que, à condition de l’actualiser un peu et de lui mettre un point final, elle pourrait bien être un billet tout cours.
Or donc, il s’agissait, dans cette ébauche écrite au printemps 2009, de
A. clarifier la notion d’évaluation,
B. proposer une distinction entre quatre idéaux-types d’évaluation, de manière à montrer sur quelques cas comment ces idéaux-types sont plus ou moins purs ou mélangés dans nos pratiques, ce qui explique quelques malentendus.

A. Contrairement à d’autres termes qui ont été récemment dévoyés (ainsi le terme « autonomie », puisqu’on dit que les universités sont autonomes, mais que cela signifie simplement la responsabilité qu’elles ont de gérer la masse salariale, tandis que, par ailleurs, elles n’ont jamais été si fermement tenues en main pédagogiquement (par les maquettes, les référentiels, les directives en tous genres) et scientifiquement (par l’amenuisement des financements récurrents au profit des financements sur projets, voir la série des —ex)), le terme « évaluation » a gardé dans les discours actuels son sens usuel. Évaluer, c’est, littéralement, attribuer une valeur, dire quelle est la valeur de quelque chose.

On ne voit pas tellement comment on pourrait aller plus loin que cette définition. On remarquera cependant que l’évaluation varie nécessairement selon les réponses qu’on voudra bien donner aux questions suivantes :

1) Qu’est-ce qui est évalué ? On peut se dire qu’évaluer une copie, un article, une revue, une personne, une équipe, la démocratisation de l’enseignement supérieur d’un pays ou la puissance de sa recherche, etc. ne devraient pas donner lieu aux mêmes procédures, autrement dit que les procédures convenables ici ne conviennent pas là. On peut se dire aussi que, comme bien des procédures de mesure, les procédures d’évaluation, aussi précisément déterminées qu’elles soient, ne mesurent très exactement que ce qu’elles mesurent : et ainsi, je ne pense pas qu’il soit indifférent que les différents indicateurs quantitatifs mis en place (facteur g et facteur h par exemple) ne donnent pas lieu aux mêmes classements.

2) Qui évalue ? Une bonne blague du Président de la République, si bonne qu’il l’avait faite à deux reprises dans des allocutions publiques, était que l’évaluation des chercheurs se réduit en fait en une auto-évaluation, c’est-à-dire à rien. (Commentaire de mai 2011 : depuis deux ans, j’ai découvert le Petit journal, je sais donc maintenant que notre Président se répète en continu, autrement dit que le fait qu’il répète une blague pas ne montre pas qu’il pense qu’elle est bonne : il se répète parce qu’il se répète, point-barre.) On peut penser qu’il ne savait pas ce dont il parlait, c’est là le sens de tous les témoignages qui ont fleuri pour indiquer que les enseignants-chercheurs étaient évalués de multiples manières tout au long de leur carrière. Je pense cependant, comme Sylvain que le président savait ce qu’il disait : selon lui, les enseignants-chercheurs ne sont pas évalués, parce qu’ils sont évalués par les « autres eux-mêmes » que sont leurs pairs. Autrement dit, ce qui est souhaité, et pas seulement en France, c’est une évaluation par des experts en évaluation. Ce qui m’amène à la question suivante.

3) Comment évaluer ? Dans un régime où tout devient objet d’évaluation, le meilleur des individus et le plus pur des savants finit par se dire que, tant qu’à faire, ne serait-ce que pour être entendu, il peut produire conformément aux critères d’évaluation ; il ne travaille plus pour clarifier une question, résoudre un problème, mettre en place un nouveau dispositif technique, etc., il travaille pour avoir une bonne évaluation. C’est ce que l’on dit par exemple de certains examens qui sont « bachottés » : cela veut dire, non pas se cultiver, et puis passer l’examen, mais n’apprendre que ce qui est supposé utile pour passer l’examen. Bien évidemment, en écrivant ceci, je ne suppose pas qu’il fut un temps béni où la recherche était “pure”, si l’on entend par là quelque chose d’indépendant de tout conditionnement social. Mais qui ne voit qu’il y a une différence entre une recherche inévitablement conditionnée socialement et la recherche « bachottée », qui serait faite uniquement pour satisfaire certains objectifs, comme de passer un examen ?

4) Pourquoi évaluer ? L’idée que l’évaluation serait un premier pas vers une amélioration des pratiques n’est pas en elle-même attaquable. C’est par exemple en ce sens que nous proposons des « exercices d’évaluation » aux étudiants ou que les étudiants nous rendent des « fiches d’évaluation » où ils nous indiquent ce qu’ils ont apprécié ou pas dans nos cours et comment ils pensent que ceci ou cela pourrait être améliorer. C’est aussi en ce sens que des rapporteurs sont sollicités par des revues pour indiquer comment un article peut être amélioré, si cela est possible. Mais le problème, que je n’ai pas vu souvent abordé, est celui du coût terrifiant de l’évaluation. Je me suis pour ma part tenue à distance des évaluations qui se pratiquent dans nos agences (l’ANR et l’AERES), mais j’évalue en revanche des articles pour des revues pratiquant la lecture en double-aveugle. C’est terrifiant ce que cela prend comme temps et comme énergie ! Et cela d’autant plus que, parfois, l’équipe de rédaction décide de publier quand même l’article, alors que les modifications n’ont pas été toutes faites. (Non, je ne donnerai pas de noms.) Parlons breton aux bretonisants. Dans le cadre d’une économie de la connaissance, la question que pose ce coût est simplement économique : ce que l’évaluation fait dépenser se traduit-il par un gain substantiel en termes d’amélioration des pratiques ? de quantité ou de qualité de la recherche ?

(Ajouts de Mai 2011. Par ex., la série des —ex a coûté cher en HETD d’enseignants-chercheurs, en papier, en réunions, en espèces sonnantes et trébuchantes pour les consultants et tous les experts du monde entier (enfin quand même plutôt choisis dans cette portion respectable du monde entier qu’est l’Europe de l’Ouest et l’Amérique du nord) : est-ce qu’en pratique, on aurait atteint un résultat substantiellement différent en donnant de l’argent — plus d’argent — aux régions déjà riches et aux universités déjà puissantes ? En tout cas, je suggérais que non tout à la fin d’un autre billet. A une toute autre échelle, on peut se demander si la procédure de la lecture en double-aveugle représente nécessairement un gain pour la qualité des revues. Il est bien possible qu’elle représente un gain seulement lorsqu’un certain seuil de la démographie scientifique (ça y est, voilati pas je me mets à parler compliqué… je veux juste dire qu’il y a beaucoup de gusses qui publient dans le domaine) est dépassé. — En fait, il se pourrait bien qu’il y ait deux régimes d’évaluation des articles par les revues tout aussi défendables l’un que l’autre, parce qu’appropriés à des échelles différentes : en-dessous du seuil X, on connaît tout le monde, donc on sait qu’untel étant bon, le papier qu’il fera sera bon, donc on peut lui demander un papier pour un numéro spécial ; au-dessus, on ne peut plus procéder ainsi, tout simplement parce qu’on ne connaît pas tout le monde. L’aspect pas très agréable de la manière de procéder des revues en-dessous du seuil X est alors moral (parce que se mettent en place des réseaux de connivence, de retours à l’envoyeur, etc.), mais, d’un point de vue strictement scientifique, il n’est pas sûr que leur gestion la plus économique ne soit pas, étant donné ce qu’elles sont, la gestion “paternaliste” ou “clubbish”.

(Bon alors, maintenant non seulement on est en mai 2011, mais en plus je vais un peu sortir de mon sujet. C’est que ce qui précède amène une autre idée. Si les — ex ne présentent aucun bénéfice scientifique, deux hypothèses, comme souvent pas exclusives, sont à envisager :
— ou bien ceux qui les ont mis en place, tout en brandissant des impératifs économiques, sont en fait de mauvais économistes, ils ne font pas les bons calculs, parce qu’ils ne prennent pas en compte toutes les données.
— ou bien il y a un bénéfice qui n’est pas directement économique.
De fait, faites l’expérience de pensée suivante : supposons que le Ministère ait annoncé qu’il y allait avoir les labex, les équipex, les idex, mais sans faire aucun appel d’offre — c’est-à-dire que le Ministère ait annoncé qu’il mettait en place une politique scientifique instituant des financements très diversifiés des universités, des labos, des équipements. Comme j’ai suggéré, ça n’aurait rien substantiellement changé quant aux lieux où l’argent serait allé. Mais vous imaginez le résultat : tollé général. Pourtant, dans la vraie vie, cette année, il ne s’est rien passé, ou plus exactement il y a eu des protestations formelles, en ce sens que beaucoup pensaient que ce n’était pas bien, mais qu’en même temps, tout le monde jouait le jeu. Et, maintenant, comment protester, puisque ce sont les meilleurs qui sont récompensés ? Les universitaires et les chercheurs sont par définition pour la méritocratie, ils aiment les meilleurs, ils sont là où ils sont parce qu’ils ont été les meilleurs à l’école depuis qu’ils sont petits !
Le bénéfice est donc politique, c’est un bénéfice qui permet une gouvernance douce, reposant sur la persuasion des principaux intéressés qu’ils sont là où ils sont parce qu’ils le méritent bien. En amont, la question posée était la suivante : “Elèves Pécresse et Belloc, vos propositions sont pas trop mal. Mais comment les mettre en place sans mettre le peuple dans la rue ? Avec la crise, la réforme des retraites, et pas mal de raisons que le bon peuple soit pas content, la mayonnaise pourrait bien prendre et les contestations monter ?”. La réponse desdits élèves fut immédiate : “Ah ça c’est pas dur, on y déjà pensé, on va faire un concours”.
J’abrège, parce que ceux qui (me) connaissent auront compris où j’en viens à petits pas, et qu’il me faudrait un peu de temps pour convaincre les autres. On n’est pas loin, en politique universitaire, de mécanismes bien identifiés en politique tout court, par exemple depuis l’ouvrage de Chomsky et Berman, La fabrique du consentement, récemment pointé de manière moins systématique dans un billet de Grégoire Chamayou. Il s’agit tout simplement de donner au bon peuple que nous sommes l’illusion qu’ils sont en démocratie (autrement dit, que nous avons un pouvoir décisionnel), alors que les choses se décident largement sans nous.
Je ferme ma parenthèse sur les bénéfices politiques (en termes de gouvernance) de l’évaluation et, en lui donnant ce titre-là, je m’aperçois que je ne suis finalement pas tellement sortie de mon sujet que ça).

B. La multiplicité des questions qui se posent à propos de l’évaluation maintenant rappelée, je voudrais distinguer quatre idéaux-types de l’évaluation que tout enseignant-chercheur pratique, en faisant un peu plus subtil que ce qu’il nous est arrivé de faire sur ce blog, en particulier lorsque nous opposions “évaluation scientifique” et “évaluation managériale” ou “gestionnaire” (par ex. ici, ce qui a pu donner lieu à des précisions par nos collègues de sciences de la gestion, voir là).

1) L’évaluation scolaire. C’est celle que nous pratiquons lorsque nous corrigeons des copies, quel que soit leur niveau. Une copie, dans une discipline donnée, étant un exercice formaté, nous savons bien que nous n’évaluons pas (ou très rarement, seulement dans les meilleurs cas absolument) les capacités d’un candidat donné dans une discipline donnée, mais, en laissant de côté des compétences extrêmement générales (savoir écrire, mettre un “or” et un “donc”, à moins que ce soit un quantificateur existentiel, à leur place), simplement une plus ou moins grande capacité à se conformer à ce qui est requis dans cet exercice. Ainsi, supposons le théorème de Fermat démontré dans un copie de L1 correspondant à un examen sur les fonctions continues, il n’y aurait pas de raison de mettre une bonne note à cette copie, tout simplement parce que ce n’était pas ce qui était demandé, ni sous la forme requise.

2) L’évaluation scientifique. C’est celle que nous pratiquons lorsque nous évaluons un article pour une revue, ou bien, pour nous-même, en nous demandant ce que nous pensons de ceci ou cela, gratuitement et à titre privé en quelque sorte. Encore celle-ci n’est-elle jamais totalement pure ou intrinsèque : tout d’abord, bien sûr, parce que nos articles sont clairement formatés, eux-aussi. Mais aussi parce que, lorsque nous évaluons un article pour une revue, il est rare que nous procédions seulement “intrinsèquement”, nous nous référons aussi implicitement au périmètre de cette revue, à ce qui est pertinent pour elle et à ce qui ne l’est pas ; de la même façon encore, si nous évaluons un ouvrage à titre privé, nous le ferons aussi en fonction de nos intérêts du moment — et il nous arrivera, par ex., de penser que “ça a l’air vachement bien, mais là vraiment je n’ai pas le temps, etc.”

3) L’évaluation administrative. C’est celle que nous pratiquons entre collègues (soit d’une même discipline, soit d’un même groupe de disciplines dans une commission, soit d’une même université) lorsqu’il s’agit d’attribuer des fonds, une promotion, un congé sabbatique pour mener à bien un projet, etc. Je la dis administrative, parce qu’il me paraît important de souligner que, contrairement à la précédente, elle inclut des éléments portant non pas sur le produit fini (est-ce que ce papier est bien ou pas ? est-ce qu’il fait science ou pas ?), mais concernant la carrière d’une personne, son investissement dans différentes instances académiques (celui qui a beaucoup donné a le droit de ne rien faire, c’est-à-dire un peu de recherche), sa capacité à mettre en œuvre un projet dont, à première vue, nous ne pensons rien parce que ce n’est pas exactement notre domaine, etc. Mais il est à noter que, contrairement à celle dont il va être question maintenant, cette évaluation administrative nécessite, pour bien faire, à la fois une connaissance du domaine et un dialogue entre collègues, permettant de transposer pour nos collègues qui ne sont pas de notre domaine ce que nous en savons. (C’est un des apports du livre de Michèle Lamont, How Professors Think, que de montrer comment ce dialogue se mettait en place).

4) L’évaluation “gestionnaire”, je mets désormais des guillemets histoire de ne vexer personne. C’est le degré zéro de l’évaluation, celle qui entend supprimer et la connaissance du domaine et le dialogue avec les collègues. C’est à laquelle nous avons affaire lorsqu’on nous demande en solitaire d’évaluer un unique projet, le seul choix laissé étant de mettre une note (généralement de 0 à 5, allez savoir pourquoi, mais il peut aussi s’agir de dire si ce projet est dans les 15% les meilleurs, dans les 45% les meilleurs, ou dans les 100% les meilleurs : là j’exagère, c’est moi qui rigole). Même si nous connaissons effectivement le domaine, puisque c’est nous l’expert, nous n’avons aucun point de comparaison (puisque nous évaluons un seul projet) et nous n’avons personne avec qui dialoguer, à qui nous opposer (puisque nous sommes tout seul devant notre ordinateur). C’est l’évaluation rêvée de ceux qui souhaitent gérer la science comme des flux de marchandises, comme un processus sans sujet de connaissance.

Je pense cette distinction entre quatre espèces d’évaluation assez bien fondée, cela fait quelque temps que je m’en sers dans diverses circonstances pour savoir où je suis et ne pas me tromper dans ce que je fais.
Ainsi, je voudrais pour finir m’en servir non pour critiquer (une fois de plus) l’évaluation “gestionnaire”, mais pour dissiper des malentendus et des frustrations qui, comme chaque année, s’expriment lorsque les campagnes de recrutement universitaire s’achèvent. Au risque d’enfoncer des portes ouvertes, les recrutements universitaire ne reposent pas seulement sur une évaluation scientifique, ou pas toujours principalement sur elle. Il est dur de généraliser, car toutes sortes de cas de figure sont possibles. Néanmoins, dans un certain nombre de cas, s’ajoutent à l’évaluation scientifique les facteurs suivants :
— l’adéquation à un profil, et plus généralement les effets de marque (ce n’est pas celui qui a écrit cet article qu’on recrute, mais celui qui incarne telle tendance dans la discipline),
— la pure performance rhétorique pendant l’audition,
— les jeux de pouvoir à l’intérieur d’une discipline, voire maintenant, en ère LRU, à l’intérieur d’une université,
— l’alchimie entre les membres d’une commission.
En attendant que tous ceux qui sont en poste soient convaincus qu’il est possible de mieux faire, et s’en donnent effectivement les moyens…, je conseille donc aux candidats d’arrêter de penser que, s’ils ne sont pas recrutés, c’est qu’ils sont moins bons ; je ne dis pas que c’est très gai, mais enfin, pour l’instant, c’est comme ça, et il vaut mieux le savoir que de prendre sur soi. Mais aussi, inversement, je voudrais conseiller à tous mes collègues d’arrêter de penser que, s’ils ont été recrutés, c’est qu’ils sont les meilleurs — mais là, étant donné les egos d’un certain nombre d’entre eux, je pense que je vais passer pour carrément folle aux yeux de beaucoup.