Domanda:
Perché la revisione tra pari è anonima?
Viktor
2020-04-22 11:26:12 UTC
view on stackexchange narkive permalink

Ci sono state una serie di domande poste qui, come questa domanda o questa domanda. La prima domanda posta su come trovare gli autori delle revisioni tra pari. Il secondo ha discusso i vantaggi dell'anonimato della revisione tra pari. Tuttavia, non sono riuscito a trovare una domanda che affronti il ​​problema antecedente: perché la revisione tra pari è anonima?

Quali sono le ragioni storiche dietro questa pratica? La revisione tra pari è sempre stata anonima? Quali sono i vantaggi dietro le peer review anonime? La comunità accademica ha imparato da precedenti esperienze che la revisione anonima tra pari è il miglior tipo di processo?

Sembra anche che alcune riviste analizzate in questo articolo (https://doi.org/ 10.1038 / s41467-018-08250-2) ha eseguito la revisione tra pari aperta con una percentuale considerevole di autori delle revisioni tra pari fornendo anche la loro identità (8,1%). In questo articolo gli autori hanno suggerito che l'anonimato protegge le persone dalle ritorsioni. Mi sembra che se all'improvviso tutte le revisioni tra pari fossero pubbliche, i tentativi di ritorsione sarebbero facili da identificare e affrontare. Tuttavia, con lo stato attuale del processo di revisione, a volte si potrebbe indovinare l'autore di una recensione negativa e reagire segretamente. In che modo la comunità accademica è arrivata in generale all'accettazione generale della revisione tra pari anonima?

La mia ipotesi è un incidente storico piuttosto che un'esperienza appositamente informata, ma non ho dati concreti per supportarlo.
"I tentativi di ritorsione sarebbero facili da identificare e affrontare" Non necessariamente.Di solito c'è una componente soggettiva nel valutare il merito di un articolo e potrebbe essere impossibile determinare se una particolare recensione negativa ha radici nell'animosità personale.
"con lo stato attuale del processo di revisione, a volte si potrebbe indovinare l'autore di una recensione negativa e reagire segretamente".Questa sembra essere l'eccezione piuttosto che la regola, vedi la [domanda correlata] (https://academia.stackexchange.com/questions/62341/how-often-can-the-reviewers-correctly-guess-the-identity-degli-autori-quando-il / 63202).
@lighthousekeeper Sono d'accordo che potresti indovinare in modo errato (+1), ma gli umani non sono guidati esclusivamente dalla logica e possono quindi vendicarsi segretamente contro qualcuno che non ha nemmeno causato loro del male.
@Viktor È assolutamente probabile che queste cose accadano, ma la quantità totale di ritorsioni che si verificano è probabilmente molto più alta se gli identificativi sono generalmente noti.
Potrebbe anche essere difficile cambiare la pratica globale (al di là di iniziative singolari come PeerJ), poiché le recensioni di esperti qualificati sono una risorsa scarsa e molte persone potrebbero essere spaventate dalla mera possibilità di ritorsioni, specialmente quelle che si trovano in una situazione vulnerabile (non di ruolo).
Il campione di revisori che scelgono di pubblicare il proprio nome potrebbe essere molto lontano dall'essere casuale.Le uniche volte in cui i revisori mi hanno rivelato il loro nome è stato quando erano già molto affermati, di ruolo in modo sicuro e con una buona reputazione, mentre ero uno studente di dottorato.In altre parole, non hanno ritorsioni da temere.Questa sarebbe di per sé una domanda interessante, ma probabilmente a cui è difficile rispondere senza dati non pubblicati.
Ci sono molti saggi su questo argomento da trovare con Google, quindi ho votato in basso perché non mostra alcuno sforzo di ricerca.Inoltre, questa domanda attualmente include più domande in una.Dovrebbe concentrarsi su un solo problema.
Nella mia comunità ho l'argomento se la revisione tra pari * dovrebbe * essere aperta decentemente spesso.Francamente, solo sfogliando gli archivi di questo sito qui dovrebbe già dirti che di gran lunga non tutti gli accademici possono essere considerati affidabili per trattare professionalmente le notizie negative.
E se la cattiva condotta sarebbe controllata dalla comunità, la mia esperienza costante nel corso degli anni è stata che l'autocontrollo basato sulla reputazione attraverso la comunità è un processo irregolare nella migliore delle ipotesi.Nella mia comunità, e in tutte quelle adiacenti di cui sono a conoscenza, ci sono certamente persone con una cattiva reputazione che vengono ancora invitate a fare cose (per vari motivi, il più importante è che sono potenti).
In questo giorno ed età di disinformazione, odio e attacchi anonimi sui social media, perché si dovrebbe pensare che non ci sarebbero ritorsioni simili per recensioni negative?
Correlato anche: [Processo di revisione aperto contro cieco] (https://academia.stackexchange.com/q/625/17254).
Ci sarebbero meno revisori se non fosse anonimo.Già solo questo è un buon motivo per mantenerlo così com'è.
Per lo stesso motivo per cui il voto è anonimo nelle democrazie reali: lasciare che il revisore / elettore abbia un modo per parlare in mente senza paura.
Ottimo lavoro di lobbying da parte del revisore 2.
Tre risposte:
Allure
2020-04-22 14:54:23 UTC
view on stackexchange narkive permalink

Il motivo principale per la peer review anonima è consentire ai revisori di esprimere la propria opinione senza timore che gli autori si vendichino. Anche se è facile da identificare, possono verificarsi ritorsioni: è già abbastanza comune per gli autori arrabbiarsi quando il loro articolo viene rifiutato per motivi con cui non sono d'accordo ( esempio). Anche se gli autori non si vendicano di questo ovviamente, le future relazioni con il revisore possono essere facilmente tese: ad esempio, si supponga che l'autore e il revisore comunichino più volte e alla fine l'autore decide che il revisore è un idiota e si sottomette altrove. Se l'autore in seguito si ritrova a rivedere la proposta di sovvenzione del revisore, sarà difficile per l'autore rimanere obiettivo.

Un altro problema con la revisione tra pari non anonima è che la firma di una persona anziana come revisore può portare la minaccia implicita di "fai quello che dico o ti schiaccerò". Le conseguenze possono essere spiacevoli per gli autori, soprattutto se sono junior. Esempio.

Un altro problema con la revisione tra pari non anonima è che non è chiaramente vantaggiosa. Non ci sono prove evidenti che la revisione paritaria aperta migliori la qualità della recensione (o la peggiori se è per questo). Invece c'è stato un effetto negativo immediato in quanto più persone rifiutano di rivedere. Se è il caso in cui non ci sono vantaggi, l'implementazione di una correzione sembra piuttosto inutile.

Potresti spiegare il tuo secondo esempio in modo un po 'più dettagliato?Non capisco come questo sia un esempio di "fai quello che dico o ti schiaccerò".Grazie per aver messo in evidenza gli altri tuoi punti.
Come aggiunta, l'anonimato è normale nella maggior parte delle circostanze in cui è importante che il commentatore sia in grado di esprimere la propria opinione in modo completamente aperto e onesto - ad esempio, ecco perché il [Sistema di segnalazione della sicurezza aerea] (https://en.wikipedia.org/ wiki / Aviation_Safety_Reporting_System) opera quasi interamente su rapporti anonimi e perché i dipartimenti di polizia hanno linee di mancia anonime.
non importa chiedere di entrare a far parte del dipartimento di un arbitro nemico: molto più danno può essere fatto a livello di domanda di sovvenzione, dove la ritorsione può essere fatale a una proposta di sovvenzione.
@Viktor il link proveniva dalla risposta ad un'altra domanda: https://academia.stackexchange.com/a/122462/84834.Come JoshuaZ ha scritto in un commento lì, * La preoccupazione è in parte che se qualcuno è sufficientemente prominente in un campo, non anonimizzando la sua recensione è potenzialmente coinvolto in intimidazioni implicite *.In questo caso Gallup (che ha aperto la strada al campo) ha firmato le sue recensioni, l'editore non le ha rese anonime e l'autore (Jordan) le ha interpretate come "violentemente anti".
Parafrasando il secondo punto di @Allure's: molti revisori scrivono recensioni frivole, incuranti e superficiali.Ma è molto probabile che continuerebbero a farlo anche se i loro nomi fossero su quelle recensioni.
user120011
2020-04-22 19:52:02 UTC
view on stackexchange narkive permalink

Se esamino il documento scientifico di un professore ed è spazzatura scarsamente controllata, lo accetto comunque o ho un nuovo nemico. Ora devo affrontare il fatto che inviare articoli a tutte le riviste di cui sono redattori andrà male per me, e presentare le borse di studio per le quali faranno parte delle sezioni di studio sarà per me una perdita di tempo. / p>

Anche le persone che non devono preoccuparsi della propria carriera devono preoccuparsi di questo, perché i grandi scienziati di nome combattono distruggendo le carriere degli studenti a vicenda. Vuoi davvero che qualche giovane scienziato promettente che ha lavorato per te venga ripetutamente cagato perché hai rivisto un articolo?

Ho due dubbi sul tuo ultimo punto.Se tutte le revisioni tra pari fossero firmate, saresti in grado di stabilire chiaramente nel tuo campo che questo scienziato che sta distruggendo i tuoi studenti è egoista e non obiettivo.Se le dure osservazioni sono oggettivamente vere, non migliora la qualità della revisione tra pari?Infine, cosa impedisce a un revisore che vuole essere lo scienziato dominante in un campo di "distruggere" le carriere degli studenti dei loro concorrenti?In un singolo cieco il richiedente non conosce il proprio revisore, ma il richiedente è conosciuto dal revisore ...
@Viktor Niente lo ferma ed è una cosa che accade spesso.È mitigato dall'avere editor che non sono anonimi e dalla possibilità di proporre nomi per i revisori che ritieni siano corretti nei tuoi confronti.Stabilire uno scienziato senior è egoista e non obiettivo potrebbe farti sentire gentile, ma in realtà non importa a nessuno nemmeno un po '.Avere uno scienziato esperto come tuo nemico personale sarà molto importante (ma solo per te; a nessun altro interesserà a parte forse alcuni rumori simpatici durante le bevande).
Penso che importerebbe al finanziamento del governo.Soprattutto in alcuni climi politici in alcuni paesi.Sono d'accordo con il tuo punto generale sulla comunità scientifica.
come aggiunta al mio punto precedente.Alcuni motivi di rifiuto legalmente vietati potrebbero non essere evidenti da una singola revisione tra pari, ma è possibile dimostrare un modello di condotta.Vedo molti potenziali vantaggi, ma comprendo anche i potenziali svantaggi.
@Viktor "Se le osservazioni dure sono oggettivamente vere" - e in caso contrario?Anche gli "esperti" possono avere pregiudizi, modi preferiti di fare le cose o semplicemente essere bloccati nel loro piccolo campo.Non esiste un "obiettivo" qui.Sapendo che, come revisore, cerco sempre di tirare fuori il meglio dall'articolo, date le premesse degli autori - nonostante ciò, sono anche abbastanza consapevole dei miei pregiudizi e che potrebbero ancora influenzarmi.Sono anche consapevole del fatto che i pregiudizi di altri revisori non vengono sempre contrastati meticolosamente.
AmishNick
2020-04-22 12:37:50 UTC
view on stackexchange narkive permalink

Senza graffiare sotto la superficie, sembra che la revisione anonima tra pari sia l'unico modo per mantenere gli standard di qualità e onestà. Non tutti coloro che sono revisori qualificati si sentiranno a proprio agio al 100% nell'essere apertamente critici nei confronti del lavoro dei propri colleghi; se l'integrità dei risultati soffre anche leggermente nel tempo per questo motivo è sufficiente. Il rovescio della medaglia, i revisori senza scrupoli sull'onestà brutale vedranno meno differenza tra rivestimento zuccherino e consegna delicata, il che può comportare uno squilibrio sfavorevole verso recensioni più dure in media, e quindi potenzialmente più scoraggiamento che incoraggiamento per i revisori.

"Sembra che la revisione anonima tra pari sia l'unico modo per mantenere gli standard di qualità e onestà" - citazione assolutamente necessaria.Questo è un punto * estremamente * controverso, e per niente ovvio.
Scusa, immagino che non fosse chiaro ma "senza graffiare sotto la superficie" ~ "dalla sommità della mia testa" e anche "Non ho letto alcun articolo di giornale sull'argomento".Un'idea originale, quindi al posto delle citazioni spiegherò il mio processo di pensiero e tu mi dici cosa è controverso.Apprezzo l'ironia dell'etichetta su cui hai schiaffeggiato insieme alla richiesta di supporto probatorio senza nemmeno una parvenza della stessa da parte tua, hehe.Tornerò tra pochi minuti con la mia difesa.;-)
Voglio dire, stavi facendo le affermazioni, l'onere delle prove è proprio su di te, non su di me.Ecco come funziona.Ad ogni modo, se non mi credi, ti suggerisco di fare ricerche sull'argomento della revisione tra pari aperta.Si noti che non sto affermando in merito alla qualità delle prove a favore di questo, ma semplicemente che il dibattito esiste.Al contrario, la tua affermazione è straordinariamente forte (e più forte di quella in altre risposte), dicendo che questo è "l'unico modo per mantenere standard di qualità e onestà".Per quanto ne so, non ci sono prove per questo.
"Il dibattito esiste" sul fatto che la terra sia rotonda.Usarlo come standard non è intellettualmente onesto.Ogni rivista a revisione aperta di cui sono a conoscenza è appassita ed è morta e le riviste a revisione chiusa stanno andando bene.Mi sembra una prova abbastanza buona.
** (1) Senza graffiare sotto la superficie, sembra che la revisione anonima tra pari sia l'unico modo per mantenere gli standard di qualità e onestà. ** Tecnicamente avrei dovuto dire "mi sembra";Ho pensato che fosse ovvio però.Se avessi saputo che stavo camminando per motivi così controversi, avrei detto questo per resistere meglio all'attacco, vabbè.La mia opinione non è una questione di contesa, ma se insisti a prenderlo alla lettera, l'intero resto di questo post che sto scrivendo ora è una perdita di tempo poiché il suo unico scopo è letteralmente dimostrare un argomento irrilevante.
** (2) Non tutti coloro che sono revisori qualificati si sentiranno a proprio agio al 100% nell'essere apertamente critici nei confronti del lavoro dei propri colleghi. ** Questo è vero anche se solo un singolo revisore qualificato è leggermente meno che totalmente a suo agio.L'implicazione inespressa è che è possibile che un revisore che non è al 100% a proprio agio nel trasmettere le critiche sia meno del 100% onesto quando rivede il lavoro di cui era critico.Psicologia e statistica semplici.**VERO**
** (3) Se l'integrità dei risultati soffre anche leggermente nel tempo a causa di ciò è motivo sufficiente. ** Siamo d'accordo sul fatto che il progettista di un tale sistema sia interessato a recensioni che ritraggono accuratamente il lavoro in questione;ne consegue che se l'alternativa all'anonimato causa imprecisioni, lo stesso designer preferirebbe l'anonimato.**VERO**
** (4) Il rovescio della medaglia, i revisori senza scrupoli sulla brutale onestà vedranno meno differenza tra rivestimento zuccherino e consegna delicata, ** Lo so per esperienza personale;Apprezzo l'onestà al di sopra di ogni altra cosa e la verità non mi offende mai, quindi scegliere le mie parole per avere l'effetto desiderato piuttosto che limitarmi a parlare la mia mente richiede consapevolezza cosciente.La schietta verità non è sempre ben accolta quando descrive in dettaglio i propri errori / mancanze;il tatto è un modo strategico per essere efficaci.** VERO ** a meno che tu non possa provare il contrario.
** (5) Il che può causare uno squilibrio sfavorevole in media verso recensioni più dure. ** Se i revisori simpatici di (2) sono meno a loro agio dei revisori grossolani di (3), allora i (3) potrebbero produrre più recensioni perché i (2) che probabilmente stanno facendo qualcos'altro, o se la partecipazione uguale è obbligatoria, allora ille recensioni oneste saranno sincere e avranno un impatto maggiore rispetto alle recensioni meno oneste fornite con riluttanza.Un ** im ** equilibrio è generalmente uno stato sfavorevole, sicuramente quando è verso l'estremità meno piacevole dello spettro.**VERO**
Per favore, spiega cosa è controverso, anche quale parte delle prove a sostegno che aggiungo era effettivamente necessaria per provare ogni affermazione.


ⓘ
Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 4.0 con cui è distribuito.
Loading...