La star academy des revues
La question centrale de ce carnet de recherches est celle de savoir comment évaluer la recherche, et nous avons accordé une importance particulière à la question de l’évaluation des revues. Est-il seulement possible, et cela a-t-il tout simplement un sens, de chercher des critères d’évaluation des revues allant au-delà de ce que notre sens commun de chercheurs nous apprend, à savoir que
— certaines revues suivent des procédures du type lecture en double aveugle, d’autres non ;
— certaines revues sont plus connues, plus anciennes, plus visibles, d’autres moins ;
— chacun d’entre nous a un petit panthéon de revues qu’il apprécie plus (et peut-être aussi quelques enfers de revues dans lesquelles il voit ce qu’il ne fut pas faire…).
Aller au-delà, si on est un peu sérieux, c’est mettre en place des indicateurs quantitatifs. Oui, mais, des indicateurs indiquant quoi ? On en connaissait déjà plusieurs, en particulier :
— le nombre d’abonnements des revues,
— un indice de citation des revues (qui peut être diversement calculé),
— le pourcentage de rejet des articles.
Claire nous signale qu’elle vient de recevoir, via la liste eh.news, le message suivant, qui montre que la star academy des revues se met en place à grande vitesse. Nous passions déjà le plus clair de notre temps sur nos ordinateurs, nous allons maintenant le passer à voter pour nos revues préférées, de manière à éliminer les autres.
We are writing to you as concerned members of the Economic History Society of
Australia and New Zealand associated with the journal, the Australian
Economic History Review (AEHR).
You may be aware that the Australian Government has recently announced a
world-wide review of research journal rankings across all research
disciplines through its Australian Research Council (ARC) Excellence in
Research Australia (ERA) website. The ERA published its first journal
rankings in 2010 and now it intends to publish a new list in 2012. The
process carries significant implications not only for Australian but also
international scholars publishing in the fields of economic and business
history.
The 2010 list of journals included rankings in each discipline with A*
(highest rated = top 5% of a disciplines’ journals); A (next 15%), B (next
25%) and C (the remainder) of peer-reviewed, academically rigorous, scholarly
journals. The complete rankings are available at
http://www.arc.gov.au/era/era_journal_list.htm
In the 2010 ranking the AEHR received an A ranking.
We wish to retain this ranking and we ask your support to respond to the
enquiry no later than April 4.
All economic, business and social history scholars, regardless of country of
location are eligible to enrol with the Australian government website as
reviewers in the current review, and advise the government to retain the or
change the existing rating on any applied economics journal they wish.
We are hoping you would be prepared to enter yourself on the Australian
government (ARC/ERA) website and declare your view on the ranking of AEHR.
If you wish to confirm AEHR’s current A ranking (and that is entirely your
decision), you must actually click a “confirm” current ranking button and
write a short justifying comment.
To rank world journals and submit for this review, just click on
http://roci.arc.gov.au/ http://roci.arc.gov.au/
Then click on “login/register” tab at the top of the webpage and enrol.
The system will ask you to nominate a journal group and a particular journal
Enter FoR group code “1402” for the Australian government’s general
‘Applied Economics’ classification or “2202” for History and
Philosophy- either will work
Enter “Australian Economic History Review” as your selected journal
The system will then ask you to type in why you are qualified to comment (eg
academic researcher, past reviewer, past author, editorial board member etc)
It will ask you to go through 5 steps including one to confirm or recommend
change to AEHR’s current ranking and give you space to comment why.
That’s all you need to do. Please don’t feel you need to reply to us –
what you decide to do regarding this is entirely your prerogative.
Your response is also an opportunity to convince the ARC that it is
appropriate to list further economic history journals as A* journals, as well
as business history journals to be A*. The argument could be that the
journals you nominate are worthy of it, or that economic history is an
integral part of teaching and research in economics and in business studies
more generally and that a greater number of highly ranked outlets for
research is appropriate.
We have attached more information about the journal and the current review in
the attached document.
If you are willing to help us ensure economic and business history in
general, and the Australian Economic History Review in particular, remain
relevant and at the forefront of the Government’s thinking, please respond
to the enquiry with your views before the 4th of April.
Thank you in anticipation – we will keep you informed as to the eventual
outcome.
Martin Shanahan
President, EHSANZ and Editor AEHR
Simon Ville
Immediate past President, EHSANZ
Former editor AEHR
Stephen Morgan
Editor AEHR
John Singleton
Editor AEHR
Pierre van der Eng
Treasurer EHSANZ
Former Editor AEHR
OpenEdition vous propose de citer ce billet de la manière suivante :
Sophie Roux (18 mars 2011). La star academy des revues. Évaluation de la recherche en SHS. Consulté le 12 janvier 2025 à l’adresse https://doi.org/10.58079/omim
Il ne s’agit pas à proprement parler d’un vote, mais d’une consultation largement ouverte qui incite les collègues, quel que soit leur statut, à introduire de nouvelles revues dans le classement ou à modifier leur rang actuel.
Ce dispositif consultatif avait déjà été employé lors du premier classement et nous en avons décrit le processus et les critiques dans cet article, en comparaison avec l’AERES et l’ERIH :
Par rapport à cette consultation de 2009, il y a une professionnalisation puisqu’il faut maintenant s’inscrire, puis à chaque fois préciser les raisons qui permettent d’affirmer que vous êtes un “bon juge” – en texte libre, avant de fournir différents éléments soutenant votre jugement sur la revue – les suggestions sont plutôt quantitatives, mais là encore c’est en texte libre.
Ces jugements sont ensuite collectés et envoyés à des “peak bodies”, en général des sociétés savantes, qui elles classent véritablement avec un changement majeur par rapport à 2007, il n’y a plus de quotas de répartition entre A*, A, B et C. Voir :
http://www.theaustralian.com.au/higher-education/journal-rankings-dont-reflect-performance/story-e6frgcjx-1226017977717
Il n’y a donc pas à proprement parler de règle d’élimination à la Star Academy, ni même d’effet direct d’écrasement d’une revue par un autre en “multipliant les votes”. On pourrait même se réjouir d’une vaste consultation, alors même que les mécanismes des listes de l’AERES ont été jugés particulièrement opaques. Cette “transparence” n’en est pas moins limitée, puisque les jugements formés ne sont pas publics et les critères de choix des “peak bodies” pas explicités :
http://www.ascilite.org.au/ajet/ajet27/editorial27-1.html
Peut-on pour autant dire que ce mécanisme est vertueux et représente simplement une nouvelle forme, collaborative, d’évaluation par les pairs ? Le message décrit dans le billet est prototypique de la tendance des revues, universités, sociétés savantes à se représenter ce genre de dispositifs comme un espace si ce n’est de distinction, au moins de concurrence, et ce sont bien elles qui alimentent la “Star Academy”. Elles n’en sont pas toujours à l’origine, mais elles renforcent ce mouvement en l’accompagnant très largement, craignant souvent pour leur prestige ou parfois leur survie.
Le lien oublié dans le commentaire :
The controversial policies of journal ratings: evaluating social sciences and humanities
http://halshs.archives-ouvertes.fr/halshs-00568746