Trouver le bon ton de la critique en sciences sociales


Blog / dimanche, octobre 27th, 2019

"Tess: At least you've been published. I'm seething with envy. 
I'd love to be published
Eustacia: I publish myself on the internet.
Tess: Oh, do you earn money doing that?
Eustacia: No
Glen: So what do you write?
Eustacia: Lesbian crime"

Extrait du film Tamara Drewe, tiré de la bande dessinée de Posy Simmonds

La publication: du métier au sésame

En tant qu’enseignant.e-chercheur.se, l’une de nos principales activités consiste à écrire, et, plus encore, à publier. Pas sur un blog pour se détendre, mais dans des revues scientifiques qui souscrivent à un processus d’évaluation encadré.

Je fais l’hypothèse (qui reste à vérifier selon un protocole méthodologique rigoureux…), que nombre d’entre nous, en tout cas celles et ceux qui ont choisi les sciences humaines et sociales, excellaient plus jeunes en matière de rédaction, s’excusant auprès de leur enseignant.e d’avoir écrit 8 pages au lieu de 4, tout en étant régulièrement volontaire pour participer à la gazette du lycée.

Une dizaine d’années plus tard, mission accomplie. Nous voilà estampillé.e.s doctorant.e, ATER, MCF, CRCN, CRHC, PU, DR et j’en passe. Nous avons enfin décroché notre « licence to write ». Je me rappelle encore de la joie ressentie à l’annonce de la publication de mon mémoire de master 2, dans une maison d’édition ayant pignon sur rue : la consécration croyais-je ! Du moins jusqu’à ce que je surprenne une discussion de collègues ironisant sur ledit éditeur au motif «qu’il publiait tout…et parfois n’importe quoi». Devant mon air dépité, l’une d’elles s’est rattrapée en me disant « Non mais rassure-toi, pour un début c’est déjà très bien ».

Qu’à cela ne tienne, après ce bon « début », j’allais donc me frotter aux choses sérieuses : les revues scientifiques. Plus précisément, les revues à comité de lecture avec évaluation anonyme par les pairs : le fameux « peer review ».

Jusqu’alors, ce que j’avais publié, y compris dans des périodiques, l’avait été par le biais de colloques ou journées d’études. Mais il est vrai que l’anonymat a cet avantage, en principe, d’éviter les publications qui ne seraient dues qu’à des effets d’insertion dans des réseaux de recherche.

Peu avant ma soutenance, j’envoie donc un texte, celui qui rassemblait de nombreux éléments (que je croyais alors forts 😉 ) de ma thèse, à la revue en question, en ayant bien sûr coché une « clause d’exclusivité » où je m’engageais à ne pas envoyer ce papier à une autre revue avant d’avoir leur réponse.

Six mois plus tard, un samedi soir avant d’aller dîner, je reçois un mail de la revue en question à l’intitulé on peut plus anonyme : « Notification d’article soumis à la revue X » : l’article est refusé. J’apprends qu’il est « loin d’être dénué de qualités » mais que les évaluateurs, « au nombre de trois » (des fois que j’ose espérer qu’il s’agisse d’un avis isolé), sont restés « dubitatifs sur son enjeu ». Fort heureusement, le courrier s’achève sur une note compatissante : « Nous savons, comme vous, combien il est peu agréable de se voir refuser un article » et m’invite à aller le publier « dans une autre revue », qui pourrait être plus sensible à ses « qualités intrinsèques » (qui visiblement n’avaient pas sauté aux yeux des trois évaluateurs-rices).

Avec le recul, ce papier, que je publierais ailleurs, méritait effectivement d’être retravaillé, et j’aurais sans doute dû faire ma petite revue de littérature en matière de stratégies de publication avant de l’envoyer… Quelques autres refus et acceptations plus tard, je me suis en effet rendue compte que non seulement cette question était aussi vieille que celle de la discipline et avait donné lieu à maints ouvrages – le plus connu étant sans doute le Writing for Social Scientists de l’incontournable Howard Becker – et séminaires, mais surtout que la plupart de mes collègues avaient eu la même expérience de découragement et de journées un peu gâchées par le retour d’évaluations plus ou moins constructives sur leurs articles.

https://cielmondoctorat.tumblr.com/post/177200786213

 

Typologie de la critique

En dehors de l’excellent site cielmondoctorat, peu de gens affichent ce genre d’expérience sur Facebook, rendant l’exercice d’analyse et d’action collectives plus délicat. Pourtant, certain.e.s ont accepté de me faire partager quelques pépites qui, ajoutées aux miennes, constituent un drôle de florilège de ce que l’on doit accepter (supporter serait plus approprié) lorsqu’on lit une évaluation. En effet, que l’article soit accepté ou refusé, les exemples de formules définitives, condescendantes, contradictoires, énigmatiques, ne manquent pas. On pourrait même s’amuser à esquisser une petite typologie de la critique :

la critique condescendante, qui contient parfois des formules un chouïa désobligeantes : « This research has the potential to make a significant contribution, but it is at a beginning stage » quand il s’agit d’un papier résumant les principaux résultats d’une thèse. Je doute par ailleurs que beaucoup soumettent un papier au tout début d’une recherche… « On a l’impression que c’est un premier jet. Le style est d’ailleurs assez négligé » quand vous avez passé plusieurs semaines à « jeter » ces mots sur le papier, et aviez fait relire l’article par trois collègues différents, ou encore, ma préférée : « the authors seem to fail to understand the idea of a reference » : en d’autres termes, retournez en cours d’introduction aux méthodes des sciences sociales et apprenez à citer correctement un article.

– la critique malhonnête : soit parce qu’elle est contradictoire : un évaluateur-trice s’exprime favorablement pour la publication d’un numéro spécial en rappelant que « les textes présentés ne répondent à aucune de ces préoccupations [celles qui doivent constituer un numéro spécial]. Pris dans leur ensemble, leur intérêt est limité, ils ne constituent pas un ensemble cohérent » ; soit parce qu’elle est excessivement exigeante : « Le travail de revue de la littérature est incontestable, et le lecteur est invité à penser que tout le monde a été cité. Il est néanmoins possible de repérer des manques de certains pans de la littérature ». Sauf à expliciter pourquoi ces références manquantes nuisent à la qualité de l’article, ce genre de commentaires n’a selon moi pas grand intérêt, à part alourdir les notes de bas de page (je renvoie ici à l’excellent ouvrage d’Anthony Grafton sur la question) et rappeler à l’auteur.e qu’il ou elle n’est pas seul.e à connaître son sujet.

– la critique faussement constructive: celle qui, souvent après avoir rappelé que l’article « est loin d’être dénué de qualités » (encore heureux) demande en fait à son auteur d’écrire ou de faire tout autre chose : « L’article pourrait déconstruire davantage encore (!), il pourrait par exemple être intéressant, si l’auteur allait beaucoup plus loin en proposant une sociologie réflexive des sciences sociales, appliquée à son enquête, une sorte d’auto-analyse méthodologique. Si l’on entrevoit de timides pas en ce sens dans le texte actuel, c’est un tout autre texte ». Je n’aurais pas dit mieux, c’est en effet d’un « tout autre texte » que l’évaluateur-rice a parlé sur plusieurs paragraphes, me laissant perplexe sur le contenu de l’article que j’avais effectivement écrit.

Dans la plupart des cas, ces évaluations s’achèvent sur une injonction faite aux auteur.e.s de ne surtout pas se décourager (parce que bon, même si vous venez de lire deux pages vous démontrant par A+B que votre recherche n’est pas à la hauteur, il ne faudrait tout de même pas penser à vous reconvertir dans autre chose) : « After carefully re-reading your manuscript ourselves and weighing the different criticisms, there is simply not enough support to continue considering this piece for publication. However, we would like to encourage you to continue working on this topic. We hope that the thorough remarks contained in the referee reports will prove helpful in your further research activities and that the outcome of this specific submission will not discourage you from the submission of future manuscripts ». Parfois, une formule courte pour prendre congé fait tout au aussi bien l’affaire.

– la critique qui ne sait pas où elle va : celle dont vous ne savez pas trop quoi faire, qui se reconnaît souvent à l’usage excessif de guillemets (je renvoie ici à l’irrésistible extrait de Friends sur la question), et qui ne débouche en fait sur aucune préconisation claire en matière de publication : « L’écriture est belle » (merci) « On lit l’article avec intérêt » (merci, bis) « Le papier est atypique » (hum, oui, et donc ?). Finalement, le destin de cet article visiblement original, intéressant et bien écrit fût d’être refusé, mais vraiment, avec de gros regrets de la part des évaluateurs-trices que la lecture de cet article avait eux-mêmes « déconcertés ».

So what? Quelques propositions

Bon, en fin de compte l’évaluation nous confronte à quelque chose de très banal : la remise en question. Celle-ci est nécessaire, et le plus souvent bénéfique. On ne progresse pas sans critique et certaines revues font parfois un travail de discussion remarquable qui aide vraiment à retravailler.  Comme on dit, c’est aussi « le métier qui rentre ». Mais elle devient pernicieuse lorsqu’elle se transforme en violence symbolique et en fin de non-recevoir. Les formules multiples invitant les auteur.e.s à ne pas se « décourager » sont souvent la preuve que les évaluateurs-trices en sont conscient.e.s. Mais alors on est en droit de s’interroger sur la nature de ces refus chargés de regrets et de ces acceptations chargées de reproches.

Sans exagérer l’ampleur du problème, ni sa gravité, je vois dans certaines pratiques d’évaluation souvent in-interrogées, un risque de reproduire des phénomènes d’autocensure, de paralysie dans l’écriture et de découragement face aux enjeux de publication.

Fort heureusement, dans la plupart des cas, après s’être bien énervé.e, on finit par en rire et il est rare qu’un papier ne trouve jamais preneur : tout vient à point pour qui sait attendre (ou en tout cas pour qui a les moyens d’attendre). Parfois, on s’est juste trompé.e de revue, et ce n’est tant la qualité du travail qui est en cause, que l’intérêt qu’il suscite, ou pas, en fonction de l’histoire et de la « ligne » de la revue.

 

https://cielmondoctorat.tumblr.com/post/81396347780

Mais si je devais quand même prendre cela au sérieux (auquel cas il faudrait vraiment en faire un article dans une revue à comité de lecture avec évaluation anonyme par les pairs…;-) comme l’ont d’ailleurs fait certains chercheurs sous un angle un peu différent) alors je verrais au moins trois choses à améliorer.

La première, assez facile à mettre en oeuvre je pense, consisterait pour les revues, surtout lorsqu’elles fonctionnent sur la base du bénévolat, à ne pas faire trop de zèle en envoyant leurs notifications de refus pendant le week-end ou la veille des congés. Un jour en semaine fait tout aussi bien, si ce n’est mieux, l’affaire.

Plus sérieusement, il s’agirait ensuite de renvoyer les évaluations plus rapidement (deux mois me semble un maximum), pour permettre, en cas de refus, aux auteur.e.s de passer vite à autre chose, en re-soumettant rapidement leur papier à une autre revue. Si l’enjeu est moindre pour les chercheuses et chercheurs en poste, il est décisif lorsqu’on est docteur.e ou post-doc, et qu’on ne peut pas vraiment se permettre de perdre quasiment un an sur un papier.

Cela permettrait aussi de rééquilibrer la relation entre les revues et les auteur.e.s, à l’heure actuelle beaucoup trop défavorable à ces derniers alors même qu’ils font vivre des revues qui peuvent ensuite se vanter de ne sélectionner que « 10% »  des articles réceptionnés. A cet égard, je serai plutôt favorable à autoriser les auteur.e.s à soumettre leurs papiers dans plusieurs revues simultanément, afin que la concurrence ne joue pas seulement dans un sens.

Enfin, il s’agirait aussi pour les évaluateurs-trices de faire preuve d’une certaine économie pour ne pas dire sobriété, de langage, en contenant leurs affects dans la rédaction des évaluations, et en évitant les formules ambiguës voire désobligeantes évoquées plus haut. Ayant été moi-même amenée à évaluer des articles, je me suis toujours demandée si j’aurais pu tenir le même discours à voix haute, face à mes collègues et pas seulement en face de mon écran (j’en profite pour renvoyer ici à ce très intéressant texte sur la brutalisation du débat public à l’heure d’Internet). Ce qui m’a parfois amenée à réfléchir à deux fois avant d’employer un mot à la place d’un autre ou de me demander pourquoi j’avais utilisé des guillemets pour faire mieux passer ma critique…

Il ne s’agit pas d’hypocrisie, ni de « ménager les âmes sensibles et susceptibles » comme je l’ai souvent entendu dire, mais d’égards et de respect. Surtout au sein d’une profession qui (à raison) ne manque pas de repérer les effets de domination et de mépris social dans les discours des élites. L’anonymat et la confidentialité sont faits pour limiter les pressions et les biais que peuvent générer le fait de se connaître, pas pour se permettre des propos méprisants qu’on n’assumerait souvent pas en public.

Par ailleurs, si l’évaluation est sincère lorsqu’elle juge un article intéressant mais non publiable, alors il conviendrait d’expliciter concrètement comment améliorer l’article existant, et non celui qu’on aurait rêvé de lire, et ne pas noyer les aspects positifs dans un amas de reproches et de commentaires négatifs.

Encore une fois, il ne s’agit pas de décerner des médailles, mais de permettre aux chercheuses et chercheurs de faire leur métier, plutôt que de se constituer en un nouveau « salon des refusés ». Par ailleurs, à trop mettre d’enjeu sur l’évaluation en amont, on en oublierait presque que c’est une fois l’article publié que la discussion avec un plus grand nombre doit commencer. Or les auteur.e.s sont parfois déjà tellement éprouvé.e.s par cette première étape consistant à faire accepter un article, qu’ils et elles en viennent à négliger l’étape de valorisation de leur recherche, pourtant cruciale.

Certains évoqueront le caractère déjà saturé du « marché » des publications entretenues bénévolement et que peu de gens lisent. Alors dans ce cas, il faut assumer que dans un contexte où les ressources pour faire tourner les revues sont limitées, la vraie finalité de l’évaluation n’est pas de publier la bonne recherche, mais seulement la « meilleure » (en tout cas celle qu’on juge comme telle), et d’envoyer des « signaux » aux divers comités en charge du recrutement ou de la promotion des universitaires.

C’est un autre débat, légitime, mais qui doit alors inviter les revues à clarifier non seulement leurs critères de sélection, mais aussi, leur raison d’être et l’audience qu’elles visent : le cercle des pairs et des comités de sélection, ou bien au delà ? Et à mon sens, cela n’empêche quand même pas de s’interroger sur le « bon ton » de la critique.

Sans nécessairement adhérer au principe « Let the public decide » (voir infra), il s’agirait au moins de ne pas jouer contre notre propre camp, au nom d’une excellence mal définie et souvent non assumée, venue surtout légitimer une économie de la rareté. Celle-ci joue le plus souvent contre la diffusion du savoir scientifique, ce que je trouve dommage à une époque où les sciences humaines et sociales ne sont pas très en forme…

 

Miles, dépité à l’annonce d’un énième refus de son manuscrit

« Miles: They probably think my book is such a piece of shit that it’s not even worthy of a response. I guess I’ll just have to learn how to kiss off three years of my life. {…}

Jack:  [F]uck those New York publishers.Publish it yourself. I’ll chip in. Just get it out there, get it reviewed, get it in libraries. Let the public decide. »

Extrait du film Sideways, d’Alexander Payne

Une réponse à « Trouver le bon ton de la critique en sciences sociales »

  1. Merci pour le billet, qui soulève effectivement un enjeu important de comment fournir des commentaires utiles. J’ai eu une fois « the article reads very much like a draft and feels unfinished ».
    Le même article a été accepté 3 mois plus tard par un autre journal (mieux classé) sans modifications…

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *