février 22, 2010
Dans un article publié par le Journal of the American Society for Information Science and Technology, sous le titre: “The impact factor’s Matthew effect: a natural experiment in bibliometrics”, Vincent Larivière et Yves Gingras mettent en évidence le lien très étroit entre la notoriété d’une revue et les citations dont ses articles font l’objet. Ils montrent ainsi que quelques soient les conditions, le lieu de publication d’un article a une réelle influence sur sa réception, indépendamment de sa qualité scientifique.
L’article peut être téléchargé sur le site de OST.
Posté dans Bibliométrie, Revues par Emmanuelle Picard
Aucun commentaire »
février 20, 2010
C’est le titre d’un colloque organisé par La Nouvelle Revue de Psychosociologie le 13 mars 2010.
Présentation:
Aujourd’hui des pratiques d’évaluations multiples et variées tendent à envahir tous les niveaux de la société française, évaluations dans l’ensemble plus sommatives que formatives, parfois dans une sorte de délire quantophrénique et insidieusement normalisateur. Bien entendu, un refus absolu de l’évaluation serait à la fois suspect et naïf car aucun groupement ne peut s’instituer et durer s’il oublie de mettre au point certains indicateurs témoignant de ses choix. L’évaluation ne peut donc être totalement dissociée d’un jugement, lequel se réfère de près ou de loin à des règles, des valeurs ou des croyances plus ou moins claires. C’est pourquoi, en cette période d’activisme évaluatif, il nous paraît important de faire le point non seulement sur les sources des dérives, impasses et perversions actuelles de certaines pratiques et procédures mais aussi d’explorer les conditions permettant de faire de l’évaluation un processus à la fois dynamique et créateur.
Posté dans Analyses et opinions par Emmanuelle Picard
Aucun commentaire »
février 17, 2010
La revue ¿ Interrogations ? propose cet appel, fort argumenté et riche en références intéressantes, à des textes réflexifs ou scientifiques, plutôt que politiques – c’est-à-dire fondés sur une analyse philosophique et/ou empirique – sur les processus d’évaluation, en particulier en SHS. Nous attendons avec impatience de lire ce qui en sortira…
Posté dans Analyses et opinions par Claire Lemercier
Aucun commentaire »
février 14, 2010
Signalée par Yves Gingras et Sophie Roux, la prise de position du Journal for General Philosophy of Science, revue allemande multilingue, peut être lue en ligne. Elle rejoint l’appel pionnier des revues d’histoire et de philosophie des sciences, “Journals under threat“, en insistant sur quelques points intéressants, comme les effets inévitables sur les discussions lors de recrutements, mais aussi sur la prise d’abonnement par les bibliothèques, ou encore l’absence d’implication et même de consultation des éditeurs (ce n’est pas un hasard, il s’agit d’une revue Springer…) et des grandes associations disciplinaires dans la constitution des listes.
Ce dernier point nous pose, il me semble, plusieurs questions importantes (je remercie Gabriel Galvez-Behar, qui est en train d’écrire sur ce sujet, pour m’avoir amenée à y réfléchir) : pourquoi si peu d’associations de ce type (ou fragmentées, ou peu fréquentées) en France ? Pourquoi celles qui existent et fonctionnent efficacement, comme en sociologie ou en science politique, sont-elles peu intervenues sur la question des listes de revues, et en tout cas pas par des prises de position claires ? (en science politique, un important travail documentaire a été mené… par l’association “junior” des doctorants et jeunes docteurs, et par des individus en préparation du Congrès, mais je ne crois pas qu’il y ait eu de conclusions explicites) Ne faudrait-il pas des associations européennes, ou des associations mondiales vraiment fonctionnelles, pour répondre à la bonne échelle ?
Posté dans Analyses et opinions par Claire Lemercier
Aucun commentaire »
février 12, 2010
Signe des temps : l’INIST propose une formation intitulée “Evaluation scientifique – Approche des différents outils pour évaluer la recherche scientifique, les chercheurs et l’enseignement“. J’ai reçu l’information parce que je suis abonnée à la liste de BiblioSHS. Un portail qui centralise l’achat d’accès à des ressources électroniques rares (revues en ligne, bases de données bibliographiques, sources numérisées…) : comme tout le monde, j’aimerais bien qu’il y ajoute telle ou telle base particulièrement utile à ma recherche ; comme beaucoup je pense, je suis un peu énervée qu’à la place, il achète très cher tout outil permettant de la bibliométrie…
Bref. On ne peut que se réjouir que les détails du calcul des indicateurs puissent être expliqués à toute personne intéressée : cela ne peut que faciliter une lecture informée, donc critique à bon escient. En revanche, il me semble très significatif que la liste d’aspects abordés se conclue par “les règles de normalisation des adresses des auteurs d’articles”. Si l’indicateur ne mesure pas ce qu’on voudrait, pour ce type de raison absurde, changeons de comportement plutôt que de réfléchir sur ce que nous voulons faire de l’indicateur…
Posté dans Bibliométrie par Claire Lemercier
Aucun commentaire »
février 12, 2010
Sophie Roux – merci – me signale un article de The Chronicle of Higher Education paru en décembre dernier et titré “Scholars Seek Better Metrics for Assessing Research Productivity“. Pas plus remarquable qu’un autre, peut-être, mais si typique de quelques tendances qui me préoccupent en ce moment.
- le côté impalpable de ce qu’on voudrait inclure dans la mesure, pour sortir de la bibliométrie la plus brute (ici, “trust, prestige, and influence”) et pourtant la volonté, toujours, d’aboutir à une liste, voire ici à un “top-25″ unique. Pourquoi est-ce si difficile d’accepter qu’il puisse y avoir plusieurs échelles de valeurs et que les mêmes ne soient pas au maximum partout ? Est-ce typique de notre époque ou plus profond encore ? Je ne sais pas trop, en fait, où chercher des réponses (psychologie, sciences cognitives, sociologie, … ?). En tout cas, je connais assez l’analyse de réseaux pour bondir quand je lis qu’elle permettrait de savoir qui est “truly central to the flow of information” – surtout quand la phrase suivante rappelle bien qu’en fait, un des intérêts de l’analyse de réseaux est de confronter des mesures de centralité construites selon des critères variés et qui ne donnent que rarement toutes les mêmes résultats (voir par exemple ici). Mais rien à faire, le quantitatif est bien toujours là pour créer “a map of science” et en réalité “the map of science”, bref la seule vue qui vaille. Plus je lis cela, plus j’ai envie de cubisme…
- le fait que tout cela, qui vise donc à remplacer une mesure imparfaite par une mesure parfaite, ou en tout cas moins imparfaite, mais toujours désespérément unique, mobilise un temps, une énergie et un coût monstrueux (comme le projet Journalsbase, entre bien d’autres, en France…). Tant mieux si c’est l’occasion de développer des logiciels ou méthodes qui serviront ailleurs, mais ça reste bien triste.
- le fait que pendant ce temps, on ne parle pas des questions fondamentales sous-jacentes : ici, la question des recherches émergentes (difficiles à capturer en bibliométrie) ou encore celle du public auquel on s’adresse (si mon article est lu suite à un clic un peu hasardeux à partir d’un moteur de recherche, est-ce vraiment moins bon pour la science que si c’est par un collègue ? difficile de répondre dans l’absolu, mais la question reste importante…). Les vraies questions sur l’évaluation sont là, pas dans la sophistication des outils de mesure…
Posté dans Bibliométrie par Claire Lemercier
Aucun commentaire »
février 5, 2010
Dans l’histoire de la controverse sur les classements des revues qui s’écrira peut-être dans une vingtaine d’années, l’histoire des sciences occupera sans doute une place particulière.
On se souvient en effet que, suite à la publication des listes de l’ERIH, les rédacteurs en chef des revues internationales d’histoire des sciences et de la médecine avaient rédigé l’appel Journals Under Threat. Dans cet appel impitoyable, ils ne se contentaient pas de critiquer les défauts d’une liste particulière, ils condamnaient toute liste dans son principe ; ils ne se contentaient pas de belles paroles, mais demandaient que les titres des revues qu’ils avaient en charge soient effectivement retirées des listes de l’ERIH : et, comme ceux qui prenaient ces positions étaient de bons élèves, qui avaient obtenu A, on ne pouvait les soupçonner de quelque ressentiment ou quelque aigreur que ce soit. Lire la suite de ce billet »
Posté dans Analyses et opinions par Sylvain Piron
1 Commentaire »
février 5, 2010
Signalée par Jean Kempf, sur la liste revues-shs, une enquête réalisée par le Center for Studies in Higher Education (Berkley) se propose d’étudier les pratiques de publication dans sept champs scientifiques, dans la perspective de comprendre les enjeux des nouvelles formes de communication scientifique.
Cette enquête, “Assessing the Future Landscape of Scholarly Communication: An Exploration of Faculty Values and Needs in Seven Disciplines”, menée par Diane Harley, Sophia Krzys Acord, Sarah Earl-Novell, Shannon Lawrence, C. Judson King est intégralement consultable en ligne.
Au coeur de son questionnaire, des interrogations sur ce qui fait la valeur du travail scientifique, ses modes de reconnaissance, le choix des lieux de publication ou encore les formes de collaboration.
Posté dans Analyses et opinions, Ressources par Emmanuelle Picard
1 Commentaire »
février 5, 2010
A l’occasion des sessions de qualification, trois sections du CNU viennent de voter des motions exprimant leur refus de procéder aux évaluations individuelles des enseignants-chercheurs, dont la charge revient au CNU depuis le décret du 23 avril 2009.
Motion de la 10e section (littératures comparées):
Nous, membres de la 10ème Section du C.N.U., ne sommes pas opposés au principe de l’évaluation (du reste les universitaires sont déjà évalués tout au long de leur carrière), mais nous refusons de participer à une évaluation quadriennale et à un classement des enseignants chercheurs qui seraient utilisés pour moduler les services dans une perspective de sanction. Une telle évaluation participerait au processus de fragilisation de la Fonction publique mis en place actuellement.
Motions de la 25e section (mathématiques):
Motion 1 : Les membres de la section 25 du CNU réunis le 2 février 2010 rappellent que durant le mandat en cours ils refuseront de siéger pour une éventuelle session d’évaluation quadriennale.
Motion 2 : Lors de la session 2010 d’attribution des promotions, le CNU 25 émettra l’avis suivant sur les collègues non promus au niveau national: “le nombre de promotions ne permet pas de promouvoir ce collègue”
Motions de la 26e section (mathématiques appliquées et applications des mathématiques)
La section 26 du CNU a pris position le 4 février 2010 contre la proposition de la CP- CNU de donner un avis sur tous les dossiers de demande de promotions, même pour les candidats à qui ne seront pas accordée de promotion. La section considère en effet que c’est inutile, voire néfaste, car cela revient à mettre le doigt dans l’engrenage de l’évaluation quadriennale. Voici les motions votées :
Point 1 : “Lors de la session d’attribution des promotions, la section CNU 26 n’émettra pas d’avis sur les dossiers des collègues non promus.”
Point 2 : “Les membres de la section 26 réunis le 3 février 2010 rappellent leur refus de siéger pour une éventuelle session d’évaluation quadriennale durant leur mandat.”
Posté dans Instances d'évaluation, Pétitions, motions, actions par Emmanuelle Picard
1 Commentaire »
février 3, 2010
Sans surprise, l’étude entreprise par Michèle Dassa et Christine Kosmopoulos visant à comparer les revues de SHS incluses dans les deux principales bases commerciales (WoS et Scopus) et les listes de l’ERHI et de l’AERES souligne une nouvelle fois combien il n’existe pas actuellement d’instrument fiable en matière de recensement des revues. L’amateurisme qui préside à la fabrication de ces instruments laisse rêveur: erreurs dans les titre, doublons en très grand nombre, oublis, classification pour le moins aléatoire… Quelle que soit la position que l’on puisse avoir face à la bibliométrie, ce type d’enquête ne peut que conforter le constat qu’elle a peu de chance de fournir des résultats exploitables et intéressants dans un tel contexte.
Posté dans Analyses et opinions, Bibliométrie, Revues par Emmanuelle Picard
Aucun commentaire »