Les revues a l'aveugle et en double aveugle surtout permettent deja de se debarasser en grande partie du risque de jugement de la personne, ce qui est deja une belle victoire.
Pour le reste, imposer la publication de l'integralite des donnees, des moyens de reproductibilite, des annexes descriptives sur la methodologie, etc. me semble deja remedier correctement au probleme.
C'est a dire que les papiers ne sont pas relus par une seule personne. La probabilite que la majorite des reviewers agissent comme tu le decris me semble hautement improbable. Et si cette situation arrive c'est peut etre parce qu'on a laisse une situation de monopole ou une trop grande importance a un chercheur en particulier dans un domaine particulier. C'est presque un probleme local.
Plusieurs choses font que dans les faits, ce n'est pas toujours faisable. Déjà dans le procédé du choix des reviewers : la personne doit être un minimum compétente. Du coup, dans certains domaines de pointes, les personnes se compte sur les doigts d'une main et tu sais à peu près deviner de qui il s'agit en lisant les réponses (ça m'est déjà arrivé, et c'est arrivé à mes collègues). Pareil, si le reviewer pense que tu "marche dans ses plates bandes", bah il va faire son possible pour te détruire ton article (pareil, vécu). Pire encore, ce sont les gens qui sont tellement hype qu'ils ont plusieurs articles à reviewer par mois. Et techniquement, faire du review, c'est pas simplement lire l'article, c'est aussi aller se renseigner à coté, éventuellement vérifier un truc ou l'autre, … Quand t'as des deadline à respecter, tu review d'un œil et tu laisse probablement passer plein de truc.
