mars 18, 2010
Le RIHA (International Association of Research Institutes in the History of Art) a critiqué de façon très virulente la manière dont la Fondation européenne pour la Science (ESF) a conduit la mise en oeuvre de l’ERIH (European Reference Index for the Humanities). Lors des assemblées générales de Rome (2008) et de Ljubjana (2009), le RIHA a adopté la résolution suivante:
1. The qualities of scholarly work in the humanities cannot be assessed in simple numbers or metrics; principles which were developed in thecontext of the natural sciences cannot be transferred to or employed in the humanities, since these work differently, in particular with regard to the relevance of research for different audiences or readerships, and its impact on these constituencies.
2. RIHA strongly opposes the idea that, in the field of art history, the place of a publication (in a journal that has been assigned to category A, B, or C) is indicative of the quality of the individual article or contribution.
3. The categorization of journals does not reflect the needs of
scholars. RIHA will not deliver data to ERIH or to any similar
quantitative indices of research quality that can be used for assessing the quality of individual scholars, departments, or institutions.
4. RIHA strongly opposes the idea that a specific number of articles in any journal can serve as a means to establish the scholarly potential of a candidate for career promotion (as practised, e.g., in Poland).
5. RIHA strongly deplores the current practice of linking directly the funding of a research institute to the number of articles published by the staff of that institute. RIHA considers this practice to be meaningless with regard to the quality and impact of an institute’s daily work.
6. All RIHA member institutes hereby declare that they will never use ERIH data for assessing the quality of applications for grants and fellowships, research projects, or for temporary or permanent positions as staff members. Rather, they will rely on specific criteria appropriate to the individual case.
7. RIHA strongly urges all European art historical institutions
(museums, galleries, universities, cultural heritage organizations etc.) not to use ERIH, and to lobby their respective ministries to ensure that ERIH is not employed at local, regional, federal, or national level.
Posté dans Bibliométrie, Pétitions, motions, actions, Revues par Emmanuelle Picard
Aucun commentaire »
mars 18, 2010
C’est le titre d’un appel publié par les Cahiers de la recherche sur l’éducation et les savoirs.
Extrait de la présentation, téléchargeable ici:
L’objectif de ce numéro est de faire une analyse critique des effets des politiques d’évaluation de l’enseignement supérieur et de la recherche menées dans le monde, au Nord comme au Sud, sur la politique globale des établissements d’enseignement supérieur et de recherche, leur(s) financement(s), leur(s) mode(s) de « gouvernance », la structure et le contenu des curricula (LMD, professionnalisation), la hiérarchie des disciplines, les formes de la recherche, le statut et le travail des enseignants-chercheurs, l’évolution des effectifs étudiants et de la démocratisation.
On entend ici l’évaluation au sens large, incluant l’évaluation de la gestion des établissements, l’évaluation des enseignants-chercheurs et des équipes de recherche, l’évaluation de ce qui est institutionnellement attendu en termes de « réussite », l’évaluation de l’insertion professionnelle des étudiants, l’évaluation des enseignants par les étudiants…
Posté dans Analyses et opinions, Bibliométrie, Evaluation de l'enseignement, Instances d'évaluation par Emmanuelle Picard
Aucun commentaire »
mars 15, 2010
Le droit est l’une des disciplines où les outils bibliométriques sont les moins pertinents. Deux raisons majeures expliquent ce constat.
Tout d’abord, comme la plupart des sciences humaines et sociales, le droit est très mal couvert par les bases de données bibliométriques. Une étude menée dans les universités flamandes par Luwel et al.[1] montre pourtant que, contrairement à d’autres disciplines de SHS, la publication d’articles est le moyen de communication dominant dans ce domaine (près de 60% des documents[2]), loin devant la publication de livres ou de proceedings par exemple. Mais le droit est une discipline essentiellement nationale. A de rares exceptions (droit international, comparaison de systèmes nationaux), les juristes publient dans leur langue vernaculaire, sur des questions nationales voire régionales. L’utilisation de l’anglais ne signifie nullement qu’un article soit de plus grande qualité: de nombreux articles anglophones sont des introductions aux systèmes judiciaires nationaux à destination de lecteurs étrangers. Il s’agit donc plus souvent d’articles de vulgarisation que de recherches innovantes. Cette domination des thématiques nationales induit une grande multiplicité des supports de publication et donc une grande complexité pour leur archivage automatique dans les bases de données.
Seconde limitation, le droit est avant tout une discipline appliquée. Mesurer son impact est très difficile. Une juriste est beaucoup plus influente si ses commentaires publiés dans un quotidien national ont un effet sur le législateur et se traduisent en lois, que si ses articles dans des revues spécialisées sont cités par ses pairs. Contrairement aux disciplines où la mesure des citations ou des publications de brevets peut servir d’outil d’évaluation de l’influence, l’analyse de l’impact des textes de droit semble hors de portée de la bibliométrie.
C’est sur la question “Les performances de la recherche en droit sont-elles mesurables?” que se pencheront les participants du symposium organisé par l’Université de Berne le 25 juin 2010. Les orateurs seront essentiellement des juristes, ce qui garanti une approche concrète de la question, et la présence d’un expert tel que Wolfgang Glänzel devrait assurer une discussion de qualité sur la bibliométrie. Les inscriptions se font avant le 14 mai et, comme cela est de tradition en Suisse, le français et l’allemand seront utilisés par les orateurs en fonction de leurs préférences. La participation est gratuite. Avis aux amateurs.
[1] Voir le résumé dans l’article de Moed et al; ou dans H. Moed, “Citation analysis in research evaluation”, Springer, 2005.
[2] ce qui reste quand même très loin des pourcentages observés dans les sciences de la vie par exemple.
Posté dans Bibliométrie, Ressources par Emmanuelle Picard
Aucun commentaire »
mars 14, 2010
Pour fêter ses 20 ans d’existence, l’OST (Observatoire des sciences et des techniques) organise un colloque en octobre 2010. Il sera organisé en deux sessions:
- « L’OST a 20 ans » : cette 1ère session présentera l’histoire de l’OST et sa place, actuelle et future, dans le système national de recherche et d’innovation
- « Indicateurs : lire attentivement la notice » : cette 2nde session permettra une lecture critique des indicateurs et de leurs usages
Rappel: L’OST est un Groupement d’intérêt public (Gip) créé en 1990 afin de répondre aux besoins des acteurs de la recherche et du développement (R&D). Les membres actuels du Gip sont les ministères en charge de l’enseignement supérieur et de la recherche, de la défense, de l’industrie, de l’équipement, des affaires étrangères, le CEA, le Cemagref, le Cirad, le Cnes, le CNRS, l’Inra, l’Inria, l’Inserm, l’IRD, la CPU et l’association nationale de la recherche et de la technologie (ANRT).
Posté dans Bibliométrie, Instances d'évaluation, Ressources par Emmanuelle Picard
Aucun commentaire »
mars 12, 2010
Puisqu’il n’existe pas de bases de données bibliographiques un tant soit peu complètes en SHS qui permettraient d’avoir une vision d’ensemble des publications, certains chercheurs, désireux de questionner les classements de revues proposés comme une alternative à cette absence, ont produit leurs propres instruments. C’est le cas en sociologie et en science politique. En sociologie, Philippe Cibois et Odile Piriou présentent leurs résultats dans un article publié par la revue Socio-logos (« Inventaire des revues où publient les sociologues », n° 4, juillet 2009) ; en science politique, c’est Fabien Jobard, dans son papier déjà cité sur ce blog : « Regards sur la production quantitative des politistes de la section 40 du CNRS (2003-08) enrichis de considérations opportunes sur les revues scientifiques et de graphiques en couleurs délicates », présenté lors du 10e congrès de l’AFSP.
Question initiale : comment constituer un corpus ? C’est le principe de l’auto-déclaration qui prévaut. Dans le cas de la sociologie, les auteurs ont pris comme corpus de référence les articles qu’un échantillon de 300 membres de l’Association française de sociologie ont indiqué sur leur fiche individuelle, complété par les publications signalées sur leurs pages institutionnelles ou personnelles, soit 735 articles publiés dans 372 revues. De son côté, Fabien Jobard examine la production de 130 politistes évalués par la section 40 du Comité national du CNRS au travers de leurs rapports d’activité. Les revues prises en compte correspondent aux lieux de publication des articles listés dans la rubrique « revues scientifiques » du rapport (après discussion et correction si nécessaire), soit un total de 486 articles publiés dans 95 revues françaises et 146 revues étrangères.
Les résultats : en sociologie, une revue se distingue nettement, qui a publié près du double d’articles de la revue qui la suit immédiatement : la Revue française de sociologie. Pour autant, la Revue française de sociologie n’a publié que 4% des articles du corpus, et les cinq revues qui ont publié le plus d’articles (plus de 10), à savoir la RFS, Actes de la recherche en sciences sociales, Sociétés contemporaines, Sociologie du travail, Politix, et Ethnologie française ne représentent que 13% de l’ensemble des articles. En science politique, la situation est un peu différente. Une revue se distingue, la Revue française de science politique avec 8% des contributions publiées dans les revues françaises ; les 12 premières revues de la liste ont publié 39% des articles parus dans des revues françaises. Pour les revues étrangères, dans l’un et l’autre cas, c’est la dispersion qui prédomine.
Cette « bibliométrie sauvage » a le mérite de montrer l’intérêt d’une approche qui, dès lors qu’elle n’est pas réduite à une instrumentalisation brutale et peu soucieuse de rigueur scientifique, permet de dresser le portrait des pratiques de publication d’une discipline. Elle mériterait d’être affinée par un certain nombre de données (thématiques, institutions…) afin de produire un instrument de compréhension du paysage scientifique actuel, et donc de permettre d’introduire la notion de contextualisation dans les procédures d’évaluation.
Posté dans Analyses et opinions, Ressources, Revues par Emmanuelle Picard
1 Commentaire »
mars 12, 2010
Denis Constant-Martin (Sciences Po Bordeaux, CEAN) propose un compte rendu de la session d’évaluation des chercheurs de la FNSP qui s’est tenue en juin 2009 (on peut le télécharger sur le site de l’AFSP). Il fait le constat d’une évaluation essentiellement arithmétique, fondée sur des critères flous et peu transparents et propose quelques pistes pour améliorer les sessions d’évaluation futures:
- qui envisage la science comme travail (en non comme simplement des résultats);
- qui prennent en compte des “périodes d’activité contextualisées”;
- qui soit “une évaluation globale sans recours à des indicateurs chiffrés”;
- qui soit “basée sur la lecture, la connaissance des activités et la délibération”;
- qui prenne”le temps nécessaire”;
- par une instance au sein de laquelle les laboratoires régionaux soient représentés.
Et il conclut:
J’ai pleinement conscience que les pistes que je propose vont dans un sens contraire aux directions dans lesquelles les réformes de la recherche voulues par le gouvernement, mais contestées par des secteurs très larges de la communauté scientifique, ont engagé notre métier. Le statut particulier de la Fondation nationale des sciences politiques lui conserve, de ce point de vue, une certaine marge de manœuvre ; la singularité de cette institution a consisté, notamment, à utiliser ces marges de manœuvre pour construire son prestige, auquel la qualité des recherches qui y ont été, et qui continuent d’y être produites, n’a pas peu contribué. Cette marge de manœuvre peut encore être utilisée aujourd’hui pour proposer un modèle d’évaluation qui soit véritablement évaluatif, incitatif et intellectuellement stimulant, mais cela implique de revenir sur certaines des pratiques qui ont été instaurées depuis juin 2009, et de réfléchir aux possibilités de mettre en place une évaluation globale, non chiffrée et correctement informée du travail accompli par les chercheurs. Je souhaite que ces quelques pages puissent contribuer à enrichir le débat sur l’évaluation à la FNSP.
Posté dans Analyses et opinions par Emmanuelle Picard
Aucun commentaire »
mars 11, 2010
Sous ce titre, Marie-France Fave-Bonnet vient de faire paraître les actes d’une journée organisée par le RESUP qui s’est tenue le 30 janvier 2009 à Nanterre. Le fichier de présentation est téléchargeable ici.
Voici un extrait de la présentation:
Evaluation, assurance-qualité, accréditation, habilitation, palmarès… Le vocabulaire et le débat sont relativement nouveaux dans l’enseignement supérieur. Des procédures d’évaluations y existent pourtant depuis longtemps : évaluation de la recherche (laboratoires, chercheurs, appels d’offre), évaluation des établissements (CNE, puis AERES), évaluation lors des recrutements et des promotions, etc.
Ce qui change, c’est la place de plus en plus importante de
l’évaluation dans l’ensemble des activités des établissements, des enseignants et des chercheurs, et plus largement, dans les politiques de l’enseignement supérieur, en France, en Europe et dans le monde.
L’évaluation est ainsi au coeur des politiques européennes, des politiques publiques en France, de la gouvernance des établissements, de la recherche et de l’enseignement. Analyser cette complexité permet de dégager les changements de politiques et de missions en cours dans l’enseignement
supérieur.
Posté dans Analyses et opinions, Evaluation de l'enseignement, Instances d'évaluation, Ressources par Emmanuelle Picard
Aucun commentaire »
mars 11, 2010
Signalé sur le blog de Brigitte Fournier, un nouveau classement des institutions d’enseignement supérieur et de recherche, réalisé par le Cybermetrics Lac du Consejo Superior de Investigaciones Científicas (CSIC) espagnol. Ce classement prend en compte la visibilité scientifique sur le Web. Selon la présentation, il s’agit moins d’une opération de classement que d’une volonté d’inciter au développement de la mise en ligne et du libre accès des productions scientifiques:
The original aim of the Ranking was to promote Web publication, not to rank institutions. Supporting Open Access initiatives, electronic access to scientific publications and to other academic material are our primary targets. (…) We intend to motivate both institutions and scholars to have a web presence that reflect accurately their activities. If the web performance of an institution is below the expected position according to their academic excellence, university authorities should reconsider their web policy, promoting substantial increases of the volume and quality of their electronic publications.
Posté dans Bibliométrie, Instances d'évaluation par Emmanuelle Picard
Aucun commentaire »
mars 10, 2010
A notre demande suite à son intervention à ce sujet sur la liste de discussion de Sauvons la recherche, François Blanchard nous propose un billet sur les effets pervers d’un certain type d’évaluation dans sa discipline : les maths, ou plutôt une partie précise des maths.
Tout récemment, j’ai pu toucher du doigt les dégâts causés par l’obligation de publier dans le domaine des mathématiques où je travaille, la dynamique topologique.
Deux aspects de la publication en mathématiques la différencient nettement de la publication en sciences humaines et sociales telle que je l’imagine à distance et très schématiquement. D’abord, le moindre poids des écoles ou des controverses. En général, quand un article innovant est refusé, c’est dû à l’incompréhension du rapporteur, parfois à sa malveillance personnelle ; quand un article sans contenu est accepté, c’est un résultat de son incompétence, de sa légèreté ou d’un excès de sympathie pour le ou les auteurs. L’effet de coterie joue rarement. Ensuite, on publie presque exclusivement en anglais. C’est une vraie difficulté pour les chercheurs dont les structures de la langue maternelles sont très éloignées de celles de l’anglais. Pour les autres, vu que l’anglais mathématique est pauvre et standardisé et la gamme d’idées à exprimer plutôt réduite, c’est bien moins grave qu’en SHS.
Voici l’anecdote. J’ai eu à faire un rapport sur un article qui n’est pas complètement creux ; toutefois, l’auteur y applique le précepte “Un résultat, un papier” qui permet de gonfler, sinon le facteur h, du moins les bibliographies, et y manque de lucidité. Peu importe. L’effarant, c’est qu’il fait référence à trois autres articles, tous publiés dans des revues à comité de lecture international, qui démontrent dans des cas particuliers un fait général bien connu depuis longtemps des spécialistes du domaine, et dont la preuve tient en deux lignes. Ce fait est difficile à dénicher dans la littérature antérieure, et pour cause : ceux qui l’ont éventuellement cité ont dû le faire dans le corps du texte, sans l’ériger en “théorème”. En revanche, un chercheur qui a lu la littérature de base n’a aucun mal à en imaginer la preuve.
Les auteurs de ces théorèmes inutiles ne sont sans doute pas de mauvaise foi, mais la course à la publication, érigée en règle absolue dans leur pays bien avant qu’on tente de nous l’imposer, les a empêchés d’intérioriser la déontologie du métier. Ils courent après les petits résultats ; quand ils en ont trouvé un, ils s’efforcent de le publier le plus vite possible sans réfléchir sur sa signification ni voir s’il ne serait pas, par hasard, évident. Et ça a l’air de marcher, puisqu’on les publie. Leur cas n’est pas le premier que j’ai rencontré, tant s’en faut ; il n’est que le plus flagrant dont j’ai eu connaissance jusqu’à maintenant.
La barrière de l’évaluation des articles est donc déjà tombée dans certaines parties de notre domaine et pour certaines revues. Allez donc bâtir là-dessus des indicateurs bibliométriques et une “mesure de l’excellence” !
Posté dans Analyses et opinions par Claire Lemercier
Aucun commentaire »
mars 2, 2010
Dans une lettre d’information datée du 23 février 2010, la DFG (Deutsche Forschungsgemeinschaft) indique sa volonté de privilégier dorénavant l’évaluation qualitative. Lors des demandes de financement, les chercheurs devront joindre à leur dossier leurs cinq publications les plus significatives et n’auront plus à fournir d’indications de caractère bibliométrique. Cette décision a été prise par le Sénat de la DFG sur la suggestion de son comité exécutif. Elle a pour but de lutter contre les effets contre productifs d’une évaluation limitée aux éléments quantitatifs, comme l’indique le président de la DFG:
With these regulations, the DFG wants to counteract the quantitative factors that have been increasing for years in terms of research publications. “Whether in performance-based funding allocations, postdoctoral qualifications, appointments, or reviewing funding proposals, increasing importance has been given to numerical indicators such as the H-index and the impact factor. The focus has not been on what research someone has done but rather how many papers have been published and where. This puts extreme pressure upon researchers to publish as much as possible and sometimes leads to cases of scientific misconduct in which incorrect statements are provided concerning the status of a publication. This is not in the interest of science”.
Ce faisant, la DFG adopte la position des évaluateurs anglais du RAE, ou de la National Science Foundation américaine.
Posté dans Bibliométrie, Instances d'évaluation par Emmanuelle Picard
Aucun commentaire »