De quoi la liste des revues est-elle le nom ?


Ce billet polémique plutôt qu’informatif a besoin d’un préambule historique. Il a été écrit en mars ou en avril 2009, et je l’ai retrouvé aujourd’hui, en parcourant d’anciens fichiers. Je l’avais écrit à la demande de Sylvain, qui m’avait suggéré de faire le point sur une discipline, la philosophie. Pour autant que je m’en souvienne, je n’avais pas pensé qu’il était intéressant de le publier, parce qu’il me semblait à la fois redire des choses déjà dites, et ne plus être d’actualité. En le relisant un an après cependant, j’en suis venue à me demander ce qu’était l’actualité de ce genre de billets, et aussi, si c’était bien à moi d’en juger. Le voici donc.


Les guerres de l’hiver ont eu un précédent automnal : la querelle des revues, qui portait sur l’opportunité des listes de revues établies par l’ERIH puis par l’AERES. Je m’étais dit que, quand un nombre suffisant d’analyses auraient été publiées, j’en ferai une sorte de compte rendu critique. C’est le printemps, il est temps de s’y mettre.
Mon projet était de faire un compte rendu critique : non pas seulement répertorier des positions, mais juger des questions selon qu’elles sont bonnes ou mauvaises. Une bonne question est ici une question qui me paraît aller au cœur du problème, une mauvaise question, une question qui fétichise des questions secondaires.
Mon projet était de faire un compte rendu disciplinairement limité, basé sur les textes parus dans des revues de philosophie :
i) Le premier en date est un éditorial de la Revue philosophique de la France et de l’étranger, intitulé “Non à la quantophrénie évaluatrice”,
ii) Puis vient un éditorial de Dialectica, par Pascal Engel, intitulé “Measure for measure”, qui se présente comme une réponse au précédent,
iii) Enfin, un numéro spécial de la revue Cités, annoncé de longue date comme un événement.
Mon projet initial a échoué, en raison d’une déception. Finalement, il y a dans ces textes beaucoup de mauvaises questions, et la bonne question selon moi est rarement abordée de front.

Un certain nombre de mauvaises questions reposent sur une série de couples, entre lesquels nous serions supposés devoir choisir.

l’opposition du qualitatif et du quantitatif. Les uns mettent en avant l’objectivité des nombre, les autres défendent une évaluation « qualitative » plutôt que « quantitative ».
C’est une mauvaise question, à la fois parce que les listes de revues n’ont rien de quantitatif en tant que telles, et parce que le problème avec les mesures quantitatives n’est pas à proprement parler qu’elles soient en nombres, mais de savoir si elles mesurent effectivement ce qu’elles affirment mesurer.

la distinction entre les sciences humaines ou sociales et les autres sciences. On reproche à la liste des revues de vouloir aligner les sciences humaines et sociales sur le modèle des autres sciences dures, ou bien on dit, au contraire, que ce modèle doit être suivi.
C’est une mauvaise question, à la fois parce que le spectre des disciplines et des savoirs est plus continu ou plus confus qu’on veut bien l’imaginer et parce que les critiques les plus dures et les plus informées des pratiques bibliométriques sont venues des mathématiciens.

la différence entre langue nationale (le français) et langue internationale (l’anglais). La chose n’est pas exactement symétrique ici. Il n’y a pas à défendre l’anglais comme langue de communication scientifique internationale : c’est un fait que l’anglais tient ce rôle. A ce fait, on oppose le raisonnement suivant : les listes conduisent inéluctablement à favoriser les revues en anglais (dans l’état actuel des choses, c’est vraisemblable), l’anglais ne peut plus être qu’un sabir entre nos mains (ici, on craint que ce pessimisme procède en partie au moins de certaines défaillances individuelles).
C’est une mauvaise question, car les listes de revues accélèrent certainement un processus de standardisation linguistique, mais on ne voit pas pourquoi ce processus serait nécessairement un processus de dégradation de la langue, ni, a fortiori, de la pensée.

Quelle est donc la bonne question ? Il s’agit tout simplement de savoir comment les savoirs sont validés, pour parler le sociologique.

Une des caractéristiques de l’Ancien Régime me semble avoir été la suivante : une certaine fluidité et un feuilletage suffisant des institutions pour que chacun puisse trouver sa chacune, et chacune son chacun, je veux dire par là s’aménager les espaces de liberté qui conviennent à ses recherches. En bref, on pouvait être un jour national et l’autre international, le matin plus historien et le soir plus économiste, l’hiver écrire des compte rendus et l’été son chef-d’œuvre : laisser se faire les rencontres. Une autre caractéristique était que l’arbitrage entre les bons et les mauvais articles étaient faits par ceux qu’on appelle les pairs. On oppose parfois, à propos de la sélection des articles, les procédures « scientifiques » (par ex., le double rapport aveugle) aux procédures « non-scientifiques » (par ex., le comité de rédaction vous commande un article). Mais, dans l’un et l’autre cas, même si l’évaluation ne se fait pas à propos des mêmes objets (un article dans le premier cas, une personnalité scientifique dans le second), elle est faite par des pairs, d’autres universitaires.

Par rapport à cet Ancien Régime, l’établissement d’une liste de revues en sciences humaines et sociales est un des multiples symptômes de la nouvelle évaluation managériale qui est maintenant appliquée à l’université française, comme à d’autres institutions. Selon moi, cette nouvelle évaluation managériale ne procède pas tant d’une modification des techniques d’évaluation que d’une modification des rapports de pouvoir au sein de l’institution : il s’agit tout simplement de dessaisir les universitaires du pouvoir qui était le leur, et ce au profit de managers.

C’est donc cela, et uniquement cela, la bonne question selon moi : qui détiendra le pouvoir d’ici une quinzaine d’années ? Les universitaires ou les managers ?
— Je dis « une quinzaine d’années » comme je dirais « une dizaine d’années » ; c’est juste pour dire qu’il y a une période de transition, pendant laquelle certains universitaires croiront qu’ils ont le pouvoir alors qu’ils se feront les fossoyeurs du pouvoir académique. Autrement dit, s’il faut combattre la liste des revues de l’AERES, ce n’est pas à la liste comme telle, par une sorte de fétichisme, qu’il faut en avoir. A supposer que la liste soit explicitement et définitivement retirée, et non pas seulement, selon les tactiques favorites des gens de pouvoir d’aujourd’hui, contournée dans une discipline, amendée dans une autre et suspendue dans la dernière, aurait été gagnée seulement une petite échauffourée en rase campagne.

L’objectif en fait, est de faire en sorte que cesse la perspective d’un management de l’enseignement supérieur et de la recherche par des indicateurs de performance que les universitaires et les chercheurs n’ont pas défini eux-mêmes.


19 réponses

  1. Rachel dit :

    Je comprends mal ce problème de revues pour les SHS. Il semble que dans les autres secteurs, les problèmes sont moindres ou inexistants. J’avoue ne pas avoir lu tous vos billets sur la question, c’est certainement expliqué quelque part. Mais j’ai toutefois une question : ces listes ne sont-elles pas générées par des chercheurs de la discipline ? Ils me semblent que les acteurs de l’AERES sont des chercheurs ou anciens chercheurs, non ?

    • Sophie Roux dit :

      De la fin du commentaire vers son début :

      1) Il ne faut pas confondre les personnes et les fonctions. Que les classificateurs de l’AERES soient des chercheurs ne signifient pas qu’ils classent en tant que chercheurs. En prenant un exemple tout à fait caricatural, si des chercheurs, aussi excellents qu’ils fussent, étaient sélectionnés pour accomplir des fonctions peu honorables (par exemple, écrire des discours d’un homme/d’une femme politique), ils ne le feraient pas en tant que chercheurs. Classer des revues, c’est une des choses les plus pauvres que puisse faire un chercheur, non ?

      2) De fait, il y a eu un certain nombre de billets sur la question sur ce blog. Si vous avez un peu de temps pour lire, vous pouvez cliquer sur “Classement de l’AERES”, cela fera sortir un certain nombre de billets, et vous verrez que le blog accueille des sons de cloches assez différents. Pour ma part, j’aime bien les tout premiers dans le temps :
      http://evaluation.hypotheses.org/156
      http://evaluation.hypotheses.org/275
      http://evaluation.hypotheses.org/283

      3) De mon point de vue, il y a au moins trois problèmes :
      — le premier problème est que les listes de l’ERIH et de l’AERES ont de fait été mal faites, c’est-à-dire sans réflexion préalable sur l’évaluation et sans procédure claire.
      — le problème de principe se pose ensuite de savoir si elles pouvaient être bien faites. Entendons-nous bien : je pense que tout chercheur a dans la tête une sorte de “hiérarchie floue” des revues (“hiérarchie”, parce qu’il estime que, certaines revues sont en règle générale, plus exigeantes que d’autres à tel ou tel égard, mais “floue” parce qu’il sait aussi qu’il y a certaines choses qu’il peut trouver dans la revue X et d’autres dans la revue Y, mais que ces deux revues ne sont pas inscrites dans la même hiérarchie). Mais je crois qu’il y a un monde de cette hiérarchie floue dans la tête de chacun à un classement qui se prétend objectif et transparent.
      (Au passage, je ne pense pas que la situation soit bien différente dans les sciences, mais cela demanderait des explications, là, je fais bref.)
      — le dernier problème est celui des usages qui peuvent être faits d’un tel classement dans le cadre des réformes en cours. Les sciences ont fonctionné pendant les trois derniers siècles sans classement des revues, c’est quand même une coïncidence frappante qu’on se mette à classer les revues alors que tous les pays européens connaissent des réformes lourdes en matière d’enseignement supérieur et de recherche, non ?

    • Claire Lemercier dit :

      Pour ajouter aux réponses de Sophie sur un point précis, celui des autres sciences (même si certes, je suis historienne, mais j’ai un peu lu et j’ai même des amis physiciens…).
      Je ne me sens pas autorisée à juger des “problèmes” ailleurs, mais des critiques en tout cas y existent sur les usages de l’impact factor, du “publish or perish” et de la restriction des lieux de publication légitimes, etc. Plus nombreuses ou moins nombreuses qu’en SHS, ce serait bien difficile à objectiver. Plus anciennes en tout cas.
      En revanche, les listes de l’AERES et de l’ERIH (propres aux SHS) posent un problème assez différent, et rarement identifié comme tel y compris par ceux qui les critiquent. Il ne s’agit en effet pas de listes fondées sur de la bibliométrie, mais produites suivant un processus opaque (et hétérogène entre disciplines) par des personnes nommées suivant un processus guère moins opaque. Ce qui est une partie non négligeable du problème.
      Par ailleurs, sur la notion de pairs, outre la différence faite avec raison par Sophie entre personne et fonction, on pourrait ajouter que lorsqu’on demande à trois ou quatre historiens européens de classer l’ensemble des revues d’histoire du monde, on n’est pas dans le même périmètre de “parité” que lorsqu’on envoie pour lecture un article d’histoire médiévale de la médecine à un spécialiste d’histoire médiévale de la médecine…

  2. Rachel dit :

    Merci pour vos éclaircissements qui sont forts utiles. Je ne peux m’empêcher de faire quelques remarques, un peu dans le désordre.

    Je peux comprendre que le travail d’évaluation de la recherche ne correspond pas à une action de recherche. Mais pour que cette évaluation soit pertinente je pense qu’elle doit être réalisée par des chercheurs … non ? Je peux également comprendre que classer des revues ne soit pas particulièrement passionnant. Mais le classement n’est pas non plus déconnecté de la démarche scientifique. Cette démarche utilise souvent les classements et les catégories. C’est une façon d’ordonner les savoirs ou d’aider à faire émerger une idée ou un résultat.

    Il y a un certain décalage entre le vocabulaire que vous utilisez (et pas seulement vous) : vous parlez de « classements » et l’AERES parle de « listes ». Qui a raison ?

    Ceci dit, je suis d’accord avec vous, la hiérarchie des revues on l’a plus ou moins en tête et quand on veut publier un travail c’est bien de ne pas se tromper de cible car sinon on peut perdre beaucoup de temps.

    Cette difficulté dans l’acceptation des listes de revues en SHS (je ne juge pas, je n’y connais rien) laisse un peu penser qu’il y a des désaccords dans cette discipline pour définir ce qui pourrait servir comme critère d’évaluation (car pour évaluer, il faut bien le faire sur des critères …). Ou alors ça traduit un mouvement beaucoup plus large, particulièrement marqué en SHS et qui correspondrait à un refus d’être évalué ?

    Je pense qu’il y a une petite différence entre le « classement des revues » et la « bibliométrie », d’ailleurs c’est ce que semble dire Claire (1) En ce qui concerne les revues, en sciences « dures », comme par exemple la physique, ces catégories de revues semblent bien acceptées, alors que dans d’autres disciplines, elles sont controversées. Je ne comprends pas bien pourquoi. Cela traduit-il une diversité dans le comportement à la publication des chercheurs en SHS qui auraient un spectre de publications beaucoup plus large que d’autres secteurs scientifiques ? Si oui, chercherait-on à restreindre ce spectre ? (2) en ce qui concerne la bibliométrie (h-index, citation index, ..), je suis d’accord avec Claire : les critiques émanent aussi bien des SHS que des autres sciences. Et je suis bien incapable de dire le % de personnes critiques …

    Souvent sur votre blog on peut lire des propos assez durs envers l’AERES. Parfois même ces propos me paraissent inadaptés comme par exemple le billet récent dans lequel on parle de « l’inénarrable président, Jean-François Dhainaut, vient de commettre un nouvel éditorial qui brille par sa fausse candeur ». Ces termes me paraissent peu courtois et laissent transparaître un peu de mépris. Je doute fort que ça rehausse le débat, à moins que votre blog soit délibérément polémiste (comme peut l’être le mien). Pour ma part je trouve qu’il est assez sain que le président d’une agence d’évaluation regarde comment ses homologues font autour de nous et qu’il nous fasse partager ses impressions ou souhaits d’orientation dans un éditorial. Sur le sujet de cette fronde anti-AERES et bibliométrie, je trouve également que le sujet est très mal positionné. L’AERES ne fait pas l’évaluation des personnes et ne demande pas d’indicateurs bibliométriques des personnes. Par contre le CNRS a entamé depuis deux ans un réel fichage des indicateurs bibliométriques des personnes. La fronde anti-bibliométrie devrait être retournée contre le CNRS, en toute objectivité …

    • Sophie Roux dit :

      Il y a un certain décalage entre le vocabulaire que vous utilisez (et pas seulement vous) : vous parlez de « classements » et l’AERES parle de « listes ». Qui a raison?

      Les deux, mon général. L’ERIH, puis l’AERES, ont fait des listes de revues (toutes les revues ne sont pas comprises dans ces listes), classées en trois catégories (A, B, C). Le classement de l’AERES ayant suscité quelques protestations, il existe des disciplines où les trois catégories ont disparu (donc est demeuré seulement une liste), d’autres où l’on est passé à deux, d’autres enfin où les trois sont restées.

      le classement n’est pas non plus déconnecté de la démarche scientifique. Cette démarche utilise souvent les classements et les catégories. C’est une façon d’ordonner les savoirs ou d’aider à faire émerger une idée ou un résultat.

      Auriez-vous une idée du type de résultat scientifique ou tout simplement intellectuel qui va pouvoir émerger d’un classement des revues en deux ou trois (ou plus) catégories ?

      Ou alors ça traduit un mouvement beaucoup plus large, particulièrement marqué en SHS et qui correspondrait à un refus d’être évalué ?

      Faut-il donc rappeler que les représentants des SHS passent des concours, postulent à des postes, reçoivent des distinctions, écrivent des rapports sur leurs activités scientifiques ? En bref, leur carrière leur fournit bien des occasions d’être évalués. Il n’y a donc aucune raison de supposer qu’ils refusent l’évaluation comme telle : ils refusent certaines modalités de l’évaluation.
      Si je souhaitais vous faire la réponse du berger à la bergère, je pourrais vous dire que, si les scientifiques “durs” se sont trouvés, à l’exception des mathématiciens, bien moins engagés dans des mouvements sociaux de résistance aux réformes en cours, c’est qu’ils ont moins d’outils intellectuels à leur disposition pour penser le social et pour comprendre ce qui leur arrive.
      Je vous rassure, pour ma part, je ne pense pas ce que je viens d’écrire. C’est simplement pour essayer de vous faire saisir ce qu’a d’un peu limite la représentation que vous semblez vous faire des sciences humaines et sociales.

      Je pense qu’il y a une petite différence entre le « classement des revues » et la « bibliométrie », d’ailleurs c’est ce que semble dire Claire (1)

      Je suis tout à fait d’accord. Je l’ai d’ailleurs écrit dans un des billets auquel je vous renvoyais.
      Mon allusion aux sciences dures se rapportait en fait à une idée différente. En physique, puisque c’est de là que vous semblez parler, tout le monde a entendu de quelques revues iconiques, comme Nature ou Science ; je suppose aussi qu’il y a quelques revues que tout le monde connaît étant donné leur poids institutionnel, par ex. la revue de l’American Association of Physics, quel que soit son nom.
      Mais la physique est divisée en quantité de sub-disciplines et sub-sub-disciplines et croisement de sub-sub-disciplines entre elles, n’est-ce pas ?
      Est-ce que vous croyez vraiment que ça se passerait bien si l’on demandait à quatre physicien(ne)s, même pas choisi(e)s au hasard, mais s’étant coopté(e)s, de faire un classement de toutes les revues du monde entier en deux ou trois catégories ? Ne croyez-vous pas plutôt que le classement qui en résulterait pècherait, soit par ignorance (parce que ça fait quand même beaucoup, toutes les revues de physique du monde entier), soit par préjugé (par exemple, parce que, du fait même qu’on œuvre dans la sub-sub-discipline X, on a tendance à penser qu’elle est importante), soit par paresse (on se dit qu’un titre américain est plus important qu’un titre indien, parce que, de fait, en règle général, la science se publie en anglais, y compris en Inde) ?

      • Sylvain Piron dit :

        Puisque c’est de moi qu’on parle, je rassure Rachel. Je n’ai pas dit le quart de ce que je pense véritablement de M. Dhainaut. J’ai déjà eu l’occasion, il y a longtemps, de commenter un texte qui est (probablement) de sa plume : http://evaluation.hypotheses.org/128
        Nous avons une dent contre l’AERES, comme beaucoup d’autres chercheurs et universitaires, parce que cette institution souffre d’un déficit natif de légitimité (cf. http://evaluation.hypotheses.org/63) et que son comportement et celui de son président ne font rien pour l’arranger. Certes, nous sommes aussi furieux contre certaines instances du CNRS qui cèdent à la passion bibliométrique, mais pour d’autres raisons, nous sommes très attachés à la défense de cette institution en tant que telle.

  3. Rachel dit :

    Sophie, je suis bien contente de savoir que vous ne me considérez pas comme étant intellectuellement diminuée (je suis effectivement une physicienne …).

    Au sujet des concours, je sais bien que les acteurs des SHS passent des concours, ont des activités scientifiques etc … ils sont chercheurs ou EC comme moi, je connais un peu le milieu. Mais je sais aussi qu’il est assez discutable de dire que leur carrière (EC en général) leur fournit bien des occasions d’être évalués. En effet, une fois qu’ils sont recrutés, ils peuvent parfaitement passer toute leur carrière sans jamais être évalués. Par exemple ils peuvent arrêter la recherche et ne pas soumettre d’article et ne pas écrire de rapport d’activité (là je parle des EC, un peu plus délicat à faire pour les C). Quand à l’évaluation des EC ça n’existe pas, sauf quand il s’agit de demander une promotion ou une qualification à un concours. Mais rien n’oblige à faire cette démarche. Certes ces configurations ne sont pas la majorité, loin de là, mais ça existe. Sinon je suis d’accord, avec une activité normale de recherche, on est évalué tout le temps. Pour ma part je trouve inutile d’en rajouter une couche comme par exemple l’évaluation quadriennale des EC par le CNU. Ou alors que ça soit très léger – on pourrait par exemple juste donner le chiffre de son facteur h …

  4. Rachel dit :

    Sylvain, merci pour vos deux liens (mais le deuxième ne fonctionne pas). C’est certain que le titre de l’article en question (sur l’AERES et les SHS) est intéressant, tout comme peut l’être celui de l’un de vos derniers billets « La bibliométrie comme arme de citation massive », il est racoleur à souhait et il fait un peu frémir (d’accord, ce n’est pas votre titre …).

    C’est un peu surprenant que vous disiez que l’AERES n’est pas légitime (peut-être vouliez vous dire collégiale ?). Il me semble bien que c’est une autorité administrative très officielle … mais le lien étant inactif, je n’ai pas pu lire votre argumentaire.

    Elles sont où vos chroniques où vous exprimez le fait que vous être furieux contre la démarche de fichage bibliométrique du CNRS ?

    • Sylvain Piron dit :

      Rachel, je m’étonne que vous ne connaissiez pas la distinction conceptuelle assez simple et cruciale qui existe entre “légalité” et “légitimité”. L’AERES a été créé par la loi, et à ce titre nous la respectons légalement, mais elle illégitime dans les fonctions qu’elle exerce, et à ce titre nous la critiquons et ne la respectons pas moralement et scientifiquement, parce qu’elle est une machinerie bureaucratique opaque qui ne représente pas la communauté scientifique et la dépossède d’une de ses missions fondamentales. Les rédacteurs de ce carnet n’ont aucun monopole dans la discussion de ces sujets, et nous sommes souvent solidaires de ce qui se dit ailleurs, notamment chez nos amis de SLU. Vous trouverez un argumentaire plus complet à propos de l’AERES dans un rapport du Comité national de la recherche scientifique (organe représentatif), qui dit des choses très précises : http://www.sauvonsluniversite.com/spip.php?article3560 ; regardez aussi ce qu’écrit mon ami Michel Barthélémy : http://www.sauvonsluniversite.com/spip.php?article2313 Un autre problème, personnel, de M. Dhainaut, vient des fonctions qu’il a exercé à l’UMP, ce qui constitue le contraire de la garantie d’indépendance que l’on attendrait de la part du responsable d’une autorité administrative (mais c’est un problème beaucoup plus général de la culture politique française en ce moment). A propos d’un délire bibliométrique d’un institut du CNRS, retournez voir ce que j’ai écrit dans le dernier paragraphe de http://evaluation.hypotheses.org/374 ; il y a eu une vague de protestation contre les nouvelles fiches d’évaluation individuelles au CNRS et un appel à ne pas remplir les données bibliométriques. Nous avons peut-être eu tort de ne pas faire un billet à ce moment, mais nous avons aussi beaucoup de travail en dehors de ce carnet, et pas toujours le temps de tout dire. Au cas où vous auriez manqué quelques épisodes, les chercheurs ont passé beaucoup de temps ces dernières années à lutter contre les projets funestes de la direction du CNRS (comme bien d’autres, j’ai écrit une lettre ouverte à ce sujet, que vous trouverez sur le site de SLR, si vous voulez vérifier que je n’ai pas d’exclusive dans l’orientation de mes critiques).

  5. François dit :

    Billet intéressant, comme beaucoup d’opinions formulées sur ce sujet. Je retiens des critiques qu’elles se divisent en deux : celles qui refusent ontologiquement le principe du classement, et celles qui observent en plus la piètre qualité des classements publiés. À mon avis, la piètre qualité est une condition suffisante pour ne pas accepter l’état actuel des choses : les classements ne peuvent pas subsister en l’état.

    Je remarque toutefois que la publication de listes de revues est un outil de nature différente, qui consiste à orienter la production scientifique vers quelques lieux identifiés d’excellence scientifique. À condition que les listes fassent l’objet d’un renouvellement “écologique” régulier et rigoureux, je trouve cet outil plutôt salutaire, mais je n’ai pas plus de connaissances que ça pour en juger plus avant.

  6. Rachel dit :

    Sylvain, illégitimité de l’AERES me semble une question d’appréciation. Moi je la considère légitime. Je pense qu’il est plus sain d’éviter le juge et partie (ce qui n’était pas le cas du CNRS et ses CoNRS). Je ne peux pas être d’accord sur le coté « machine bureaucratique opaque » de l’AERES. Dans sa démarche d’évaluation, l’AERES est particulièrement transparente : elle rend public les critères d’évaluation, explique le déroulement de l’évaluation et rend public le compte rendu d’évaluation. Bref elle est tout le contraire de l’évaluation passée du CNRS, pour laquelle on était constamment dans le flou (pas de critères d’évaluation clairs, pas de rapport transparent …). Par ailleurs je pense qu’en terme de machinerie bureaucratique, le CNRS n’a rien à envier à l’AERES.

    Merci pour votre lien qui raconte une inquiétude sur un fichage que l’INSU aurait pu tenter voici deux ans. Mais l’INSU n’est qu’une petite partie du CNRS et le « délire bibliométrique » du CNRS ne concerne pas que cet institut. Il est global : le CNRS a entamé depuis 2007 une démarche bibliométrique d’ampleur (et pas l’AERES), sans pour autant annoncer (à ma connaissance) ce qu’il fera de ce fichage bibliométrique des personnes (un hit parade des chercheurs ?). Dommage que vous ne trouviez pas le temps d’aborder sérieusement cette question.

    Quant à M. Dhainaut je ne savais pas qu’il avait exercé des fonctions à l’UMP (lesquelles ?), mis à part qu’il avait présidé un comité scientifique sur invitation de l’UMP. Pour ma part je connais nombre de chercheurs et EC qui occupent des responsabilités et qui militent pour le PS (ou à l’UMP, peu importe): ça ne me dérange absolument pas. L’acceptation et le respect des différences d’opinion devraient faire partie de la culture universitaire. Je n’aime pas les chasses aux sorcières.

  7. Bonjour,

    Merci pour cette discussion fort intéressante.

    Quelques remarques :

    Sur l’évaluation
    – Je suis d’accord avec Rachel. Il est possible de passer à travers les mailles de l’évaluation par les pairs. Cette dernière suppose que l’on fasse la démarche d’être évalué : proposition d’article, montage de projet, demande de promotion, etc. On ne peut toutefois entretenir le soupçon qu’il existerait un “certain nombre” d’EC qui ne remplirait pas une partie de leurs missions (de recherche notamment) sans être plus précis.
    – Par ailleurs, si l’on joue cartes sur table, il faut aussi poser le problème de ceux (que je crois nombreux) qui en font beaucoup pour pas grand chose. Bref, je comprends que les représentants de la Nation veuillent savoir si cette dernière en a pour son argent, mais il faut que cette évaluation soit faite à charge et à décharge.
    – Il y aura toujours une interférence entre l’évaluation des savoirs et celle des performances ; entre l’évaluation scientifique et l’évaluation économique. Pour une raison qui est bien simple : la science est aussi une activité économique qui a besoin de ressources. Les scientifiques ne peuvent pas ne pas prendre en compte cette dimension. Il me semble donc que les communautés scientifiques ne doivent pas se contenter d’opposer évaluation par les pairs et évaluation bureaucratique. Elle doivent PROPOSER des modèles d’évaluation qui articulent ces deux dimensions.
    – Ce qui se joue, me semble-t-il, c’est à la fois la définition des communautés au sein du champ scientifique mais aussi la place de ce dernier par rapport à d’autre champs. Pour s’imposer, il faut proposer. Je crois que la difficulté que nous avons à proposer un contre-modèle tient à la difficulté que nous avons à nous constituer en communauté.

    Sur “l’Ancien Régime”
    – Il ne faut pas oublier que l’une des raisons des progrès de l’évaluation nouvelle formule, c’est que l’évaluation d’Ancien Régime n’est pas toujours couronnée de succès. Un droit d’inventaire s’impose et tout le monde sait que la colonne “Passif” risque d’être bien remplie.
    – C’est bien parce que nos communautés n’ont pas fait le ménage qu’on le fait à leur place. C’est clair sur les listes des revues. N’oublions pas que l’un des arguments avancés de bonne foi par certains était de fournir aux évaluateurs (comités de sélection, etc.) des références partagées pour éviter que les décisions ne sombrent dans l’arbitraire.
    – On en revient à la question de la définition des communautés. Pour le dire vite, l’individualisme avait déjà déstabilisé le milieu scientifique avant de subir les coups de l’évaluation bureaucratique. Le fait que l’on ne puisse pas exiger de quelqu’un de faire son travail, ni même dire qu’il ne le fait pas, a des effets délétères. Il faut aussi poser la question de la “police” des communautés scientifiques (au sens “Ancien Régime” du terme) plutôt de passer sous les fourches caudines de la “gouvernance”.

    Sur l’AERES
    -Oui, l’agence pose un problème de légitimité. Mais peut-être faudrait-il reposer plus globalement la question de ce qui est légitime dans la constitution politique des communautés scientifiques ?
    – Le classement des revues par l’AERES a été fait de “bric et de broc” mais la publicité de ce classement a permis de le dénoncer. L’avantage de l’AERES par rapport à d’autres instances d’évaluation (je pense à la MSTP), c’est la publicité de ses critères, de ses rapports et la possibilité d’y répondre.
    – N’oublions pas que l’AERES réunit plusieurs milliers d’experts recrutés parmi les pairs. Il faut s’interroger sur cette attractivité de l’Agence.
    – Il me semble qu’il serait bon de s’interroger sur le coût de l’AERES. Qui évalue l’Agence ?

  8. Rachel dit :

    Pour cette histoire d’illégitimité de l’AERES, j’aimerais bien qu’on m’explique … est-ce que c’est un problème de méthodologie de l’agence ? un problème politique ? Un problème d’experts nommés et non-élus ? Un refus plus globale de l’évaluation ?

    • Le problème de l’AERES, c’est essentiellement qu’il s’agit d’une autorité administrative indépendante dont les membres sont nommés et non élus.

      Cela tranche avec d’autres instances d’évaluation, comme les conseils scientifiques et les CA d’universités, les sections du CNRS (si je ne dis pas de bêtise) et le CNU dont la majorité des membres sont élus.

  9. Rachel dit :

    Si c’est une autorité administrative indépendante, c’est un peu normal de ne pas avoir d’élus. Prêchez-vous de mélanger juge et partie comme on faisait avant ? Je signale tout de même que l’AERES fait une évaluation par les pairs et dans ce cadre c’est un peu curieux de juger cette évaluation comme illégitime.

    Une élection à l’université, c’est souvent fait pour choisir des représentants (par exemple un CS ou un CA). Le travail d’évaluation n’est pas, à mon sens, un travail de représentation pas plus qu’il ne correspond à une mission de porter un message d’une communauté, et non plus un quelconque exercice de pouvoir. Je comprends mal la nécessité d’avoir des évaluateurs élus. Le choix au cas par cas me parait une démarche plus pertinente. Cela permet d’étendre le spectre de choix et de prendre ceux qui paraissent les plus compétents pour une mission donnée (par exemple l’évaluation d’une unité). La liste des membres d’un comité d’évaluation est par ailleurs connue à l’avance de sorte que l’unité puisse alerter en cas de conflit d’intérêt ou de suspicion d’incompétence. Mais tout cela m’amène à poser d’autres questions (si vous avez le temps … ça m’aiderait à comprendre) :

    Ce qui compte surtout, à mon sens, c’est la qualité de l’évaluation qui est faite. En quoi les membres élus seraient-ils garants d’une évaluation de meilleure qualité ?

    Si on prend par exemple le CNU dans lequel il y a 2/3 de membres élus et 1/3 de membres nommés, ces derniers sont-ils illégitimes ?

    Quand je soumets un article à un éditeur, il nomme des reviewers (évaluateurs de l’article) : considérez-vous comme illégitimes ces reviewers ?

    Est-il normal d’élire (choisir) les personnes qui vous évaluent ?

    • Sophie Roux dit :

      Je ne répondrai pas à toutes les questions ce soir, mais seulement à la question de la légitimité de l’AERES. Je dois cependant dire aussi, de manière plus générale, être un peu étonnée par toutes ces questions : il me semblait que, sur ce blog et ailleurs, un certain nombre d’entre elles avaient été débattues et clarifiées. J’ai un peu l’impression d’avoir à recommencer à zéro, et, quoique généralement pédagogue dans l’âme, je ne suis pas sûre de ne pas bientôt atteindre le moment où je dirais : avant d’écrire votre prochain commentaire, pour commencer, merci de lire et de méditer deux ou trois fois tous les billets de ce blog. Car, évidemment, la question se pose de savoir pourquoi ce qui n’a pas été entendu une première ou une seconde fois le serait la troisième ou la quatrième.

      Donc, la légitimité de l’AERES. Application de ce qui vient d’être dit : il n’y a pas si longtemps, j’ai posté sur ce blog une lettre où je donnais un certains nombre d’éléments pour une critique de l’AERES. J’ai donc du mal à comprendre que ces éléments soient passés sous silence.
      http://evaluation.hypotheses.org/866
      Merci de le lire, donc.

      Contrairement à ce qu’écrit Gabriel Galvez-Behar, je ne crois pas que le problème de l’AERES se réduise au vieux débat entre élus et nommés. Selon moi, la différence entre une instance d’évaluation comme le CNU (je pense qu’on peut dire des choses similaires des commissions CNRS, mais je parle de ce que j’ai vu fonctionner) et l’AERES tient dans les points suivants :

      1) L’AERES apparaît comme une agence universelle d’évaluation, alors que le CNU avait des missions limitées d’évaluation. Ma théorie politique naïve du pouvoir a toujours été que, plus il est divisé, mieux l’on se porte. (Les lettrés évoqueront Montesquieu, et ce n’est pas par une sorte de lettrisme de second degré que je ne mets pas en avant cette référence : c’est que je crois, réellement, qu’il s’agit chez moi d’une théorie politique naïve).

      2) Qu’on soit élu ou nommé au CNU, une fois qu’on l’est, on le reste pendant quatre ans : on peut faire des pieds de nez à ses collègues, se révéler bien plus intransigeant qu’on ne le paraissait, ou le contraire, etc. On y est ! Supposons en revanche un “expert” de l’AERES qui, pour une bonne ou une mauvaise raison, celui qui l’a effectivement choisi, ne plaise pas à son patron, le “délégué scientifique” : croyez-vous vraiment qu’il sera repris pour ne prochaine mission d’expertise ? La différence entre le CNU (élu ou nommé, peu importe) et l’AERES est donc que dans le premier cas, un EC est responsable et proprement autonome ; dans le second, c’est simplement un pion qu’on a mis là et qu’on remplacera s’il ne remplit pas son office.
      Peut-être me direz-vous que les délégués scientifiques et les experts de l’AERES ne seront jamais guidés que par la recherche de l’excellence la plus haute. Mais c’est un fait aussi de ma théorie politique naïve qu’il ne faut pas parier sur les vertus des hommes, et que les institutions sont faites pour éviter ce genre de pari.

      3) Au CNU, les membres d’une section sont libres (l’autonomie encore une fois !) de définir comme ils l’entendent les critères qu’ils entendent appliquer et leurs procédures de décision (votes, discussions, recours à des rapports supplémentaires). A l’AERES les experts sont là pour remplir des cases prédéfinies. C’est tellement vrai que même la notation finale n’est pas donnée par les membres du comité de visite ! Donc, encore un élément de théorie politique naïve : il vaut mieux que chacun puisse décider des règles de sa conduite, et ne soit pas soumis à des règles qu’il n’a pas acceptées “en son âme et conscience”.

      Avec tout cela, n’allez-pas croire que je veuille dire que le CNU soit une institution parfaite, ou qu’on ne peut s’en passer : on sait bien que le CNU n’existe qu’en France. Mais du moins suis-je persuadée que l’AERES est structurellement moins légitime qu’une institution fonctionnant comme le CNU. Quant à la “transparence” qui est évoquée par Rachel, je crois pour ma part qu’il s’agit d’un habillage idéologique de la plus grande opacité ; quand on me parle de transparence, je m’enfuis devant le mensonge.

  10. Rachel dit :

    AERES – CNU: le plus clair serait de dire que l’une évalue les structures et pas les personnels. L’autre évalue les personnels mais pas les structures. Ce n’est pas une question de diviser la communauté mais une question de répartition des tâches sur deux opérations qui sont assez différentes. Mais avant c’était pareil avec le CoNRS et le CNU.

    Si les membres « d’une section CNU sont libres de définir comme ils l’entendent les critères qu’ils entendent appliquer et leurs procédures de décision » c’est laisser la place à beaucoup d’aléatoire, par exemple à une section CNU qui pourrait déraper (heureusement ça ne s’est jamais vu !). Quand on fait une évaluation, c’est souvent une question de comparaison, d’échelle de valeur ou de référentiel. Si chacun est libre de faire ce qu’il veut, alors je ne comprends plus. Moi j’aime bien savoir sur quels points je vais être évaluée, ne serait-ce que pour faire le dossier c’est plus facile.

    Quand à l’habillage idéologique de la transparence de l’AERES, tout simplement je ne comprends pas …

    Enfin, comme disait ma grand-mère « enseigner c’est répéter ». Mon grand père lui disait « faire et défaire c’est toujours avancer ». Bien entendu tout a déjà été dit mais je n’ai pas le courage de relire deux à trois fois tous vos billets avant de venir mettre un commentaire chez vous, ainsi je vais clore mes questionnements et me retirer. Merci pour le temps que vous n’avez accordé.

    • Sophie Roux dit :

      Si chacun est libre de faire ce qu’il veut, alors je ne comprends plus. Moi j’aime bien savoir sur quels points je vais être évaluée, ne serait-ce que pour faire le dossier c’est plus facile.

      Qu’une section du CNU soit autonome dans les déterminations de son fonctionnement n’implique pas qu’elle fonctionne avec opacité et que vous ne sachiez pas comment vous allez être évaluée : elle peut très bien rendre publiques ses attentes et ses requisits par rapport aux dossiers, il y a même des sites électroniques prévus pour cela. Cela implique simplement que les règles ne lui sont pas édictées de l’extérieur, par ce qu’il nous arrive d’appeler pour simplifier des bureaucrates.

  11. François Blanchard dit :

    Voici deux ou trois remarques non personnalisée sur ce qui vient d’être dit.

    D’abord, il existe en mathématiques (et, je suppose, ailleurs en sciences) des classements des revues en fonction de statistiques de citations. Ces classements sont utilisés (pour calculer des variantes sophistiquées de l’indice h des individus, ou bien dans la politique des consortiums d’abonnements). Du coup, la rédaction de certaines revues déploie une activité considérable pour essayer d’améliorer leur classement, sur le plan purement rédactionnel sans doute, mais aussi sur un mode publicitaire : j’ai reçu des messages m’invitant à citer des articles publiés dans la revue où un de mes papiers venait d’être accepté.

    Ensuite, sur l’AERES, je voudrais faire deux réflexions qui s’enchaînent. Les mots “agence indépendante” sont un slogan. L’AERES est certes relativement indépendante des agences, universités et labos qu’elle évalue ; mais elle s’appuie sur des scientifiques pour son fonctionnement et ses évaluations, et n’est donc pas indépendante du milieu (ce que je ne crois ni essentiellement nocif ni totalement positif, seulement inévitable) ; à l’égard du gouvernement et de ses objectifs stratégiques, elle est dans une dépendance totale.

    Ceci résulte du mode de nomination des cadres et des évaluateurs, bien entendu, mais aussi de la structure pyramidale. En bas, les membres des comités de visite ou d’évaluation, qui rédigent un rapport. Ce rapport, pour les labos, est ensuite édité par un comité pluridisciplinaire de permanents de l’AERES, lui-même contrôlé par une hiérarchie qui édicte les règles de l’évaluation sur consignes ministérielles. Le fonctionnement n’est pas complètement “top-down”, la subsidiarité fonctionne à chaque niveau et certaines critiques de la base sont prises en compte, mais à condition qu’elles ne remettent pas en cause l’essentiel, les consignes venues de plus haut. Et, le jour où il s’est agi d’évaluer l’INSERM, les membres du comité ont été nommés en fonction des conclusions qu’on-devinez qui-voulait voir apparaître dans le rapport, et ils se sont montrés à la hauteur des espérances. Indépendance, où étais-tu passée ce jour-là ?

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.