Penso che il fattore principale che fa sì che il sistema di revisione tra pari non cada nella trappola che hai descritto è che gli accademici sono finalmente interessati al progresso della scienza. Se devo recensire un buon articolo, allora mi diverto e voglio vederlo pubblicato. Se rivedo un documento quasi buono, suggerisco alcuni miglioramenti e mi diverto se questi vengono incorporati e il lavoro viene pubblicato. Il vantaggio molto lieve che potrei avere se rifiuto più documenti non sembra valerne la pena, se devo agire in modo ingiusto e irragionevole per ottenere questo vantaggio.

Un altro fattore potrebbe essere: il revisore non lo è anonimo per l'editore. Gli editori sono spesso persone influenti e scrivere recensioni costantemente negative e ingiuste ti farà sembrare una persona cattiva e ingiusta. Inoltre, l'editore non ti sceglierà di nuovo come revisore se scrivi tali recensioni e ti eliminerai efficacemente dal sistema di revisione per quella rivista (mentre puoi ancora inviare articoli).

Vista la generosità ho ripensato alla domanda ed ecco un'altra cosa: Comunità. La scienza è ben organizzata in comunità (ad esempio, mi considero parte della comunità matematica, comunità matematica applicata, comunità sull'imaging matematico, comunità di ottimizzazione e altro). Come parte di una comunità si ha la sensazione che ci siano alcune regole da seguire per essere un membro prezioso della comunità e di queste regole è l'equità. Essere ingiusti sembra una cattiva condotta secondo le regole della comunità non scritte. Quindi, anche se si può andare d'accordo con diversi casi di comportamento ingiusto, sembra che si stia imbrogliando il sistema. Ma rimanere un membro rispettato delle comunità è molto importante sia per la posizione scientifica che per la produttività. Questo ragionamento spiega anche che a volte si verificano comportamenti scorretti, quando si formano diverse comunità in competizione che sono in qualche modo "nemiche l'una dell'altra": si può rimanere un membro rispettato di una delle comunità pur trattando i membri dell'altra comunità in modo ingiusto.

Il termine concorrenti non descrive realmente la relazione tra diversi scienziati nello stesso campo. Ovviamente c'è una competizione per le sovvenzioni o simili, o anche per mettere il proprio nome in un nuovo risultato, ma alcuni aspetti sono profondamente diversi:

• Una pubblicazione nel tuo campo è una buona cosa , anche se non viene da te. Rende la tua zona importante e viva. In realtà è molto importante quando si tratta di richiedere sovvenzioni.

• Non puoi trarre vantaggio dal lavoro di qualcun altro scrivendo recensioni negative. Non c'è modo di rallentare semplicemente la pubblicazione di un articolo per pubblicare prima il risultato.

• Un paper rifiutato non rallenterà la ricerca dei "concorrenti". Certo dovranno migliorarlo e inviarlo altrove, ma questo richiede un tempo marginale rispetto al processo di ricerca stesso.

• Le recensioni disoneste sono chiaramente pericolose, come alcune persone vedranno la tua recensione con il tuo nome sopra (sto pensando ad altri revisori su sistemi come Easychair). Queste persone potrebbero benissimo essere quelle che esaminano la tua domanda di sovvenzione poche settimane dopo.

• perché si rischierebbe di essere denunciato come disonesto, quando comunque ci sono più recensioni per lo stesso articolo , e qualsiasi differenza profonda dovrebbe innescare un'indagine approfondita da parte dell'editor?

I pregiudizi più frequenti che ho visto sono la revisione del modulo "dovresti citare quei 5 oscuri e articoli vagamente correlati, tutti dello stesso autore ", che indicano chiaramente i revisori che necessitano di citazione, ma niente di peggio.

Non ho nulla a che fare con l'accademia, quindi considera la mia risposta come qualcosa che mi aspetterei in base alla mia comprensione dell'interazione e del comportamento umano.

Reputazione

La risorsa principale che hai è la tua stessa reputazione, che sarà gravemente danneggiata se le persone ti accusano di essere ingiusto, di parte o "non abbastanza obiettivo". Potresti riuscire a farla franca una volta ogni tanto, ma nel complesso, è abbastanza per far funzionare il sistema. Nella peggiore delle ipotesi, si rallenta la propagazione del lavoro in questione, ma in pratica l'articolo troverà un'altra strada (un altro revisore, rivista ...). Anche se hai successo, rischi di danneggiare la tua reputazione, il che è estremamente importante in un campo incentrato sulla collaborazione con colleghi e promettenti sostituti.

Concorrenza

Tu considerato solo la concorrenza tra singoli scienziati, che è principalmente una questione di (1) competere per le sovvenzioni e (2) competere per la reputazione. Ho già avuto a che fare con la reputazione. La competizione per le sovvenzioni potrebbe essere importante per te se stai cercando di adattare il processo a qualcosa come le revisioni delle prestazioni: è il caso più chiaro in cui ferire gli altri può aiutarti. Tuttavia, non ha molto a che fare con il processo di revisione tra pari: ciò introdurrebbe effettivamente una motivazione molto forte per essere "il più ingiusto possibile senza sembrare ingiusto".

Tuttavia, c'è anche un'altra competizione in corso: quella tra i singoli revisori e le loro riviste. Se il tuo articolo è stato rifiutato per motivi considerati equi e oggettivi, probabilmente verrai rifiutato anche da altre riviste. In caso contrario, le altre riviste potrebbero approfittare dell'opportunità di pubblicare il tuo articolo, implicando anche che un altro giornale ha trattato il giornale ingiustamente. Non puoi farlo molto spesso se vuoi che il tuo diario / revisori continui a essere pertinente!

Punti da togliere

Se desideri utilizzare un sistema simile per un altro dominio, assicurati che siano in gioco incentivi simili.

• Avere più revisori indipendenti e lasciare che le persone scelgano il proprio revisore (mentre il revisore ha la possibilità di rifiutare).
• Assicurati che non ci sia molta "autorità" in gioco - per esempio, la relazione superiore-subalterno non è per buoni coetanei. La revisione tra pari funziona meglio con il consenso e con valori ragionevolmente obiettivi / condivisi.
• Rendi tutto pubblico (nel team / azienda). Nessun anonimato, nessuna recensione "nascosta". Ciò è necessario affinché i controlli basati sulla reputazione funzionino. In un certo senso, è una ridondanza nel sistema di revisione tra pari: consente alle persone di "rivedere" le recensioni da sole.

Funziona meglio in gerarchie per lo più piatte. Pensando in termini di una revisione delle prestazioni in un'azienda, la revisione tra pari sarà una scelta sbagliata se i manager ordinano alle persone in giro. D'altra parte, se i manager devono persuadere gli altri a seguire il loro piano, potrebbe funzionare alla grande :)

Oltre ai meccanismi elencati da altri, la maggior parte delle riviste che ho pubblicato finora consente agli autori di elencare persone che ritengono abbiano interessi in competizione e quindi non dovrebbero essere considerate revisori. Quindi, se c'è qualcuno che sai che sta lavorando a ricerche concorrenti, puoi inserirlo in quell'elenco.

Ovviamente, questo non è perfetto, ma se ottieni tre recensioni di cui due sono ampiamente positive e uno è profondamente negativo, è probabile che l'editore decida comunque a tuo favore.

(Sono in biologia, in particolare genetica vegetale. Sono sicuro che varia molto tra i campi.)

La revisione in doppio cieco (né ai revisori né ai recensiti viene mostrato chi sono le parti opposte) è stata inventata per aiutare con alcuni di questi problemi. Viene utilizzato quasi esclusivamente in alcuni campi per la revisione tra pari di conferenze e riviste (vengono in mente varie parti di CS). Principalmente, è per aiutare a prevenire pregiudizi inconsci contro le minoranze sottorappresentate e le donne che spuntano e contaminano le recensioni. Dato che è relativamente facile individuare donne e stranieri dai nomi, la revisione in doppio cieco cerca di impedire a questi pregiudizi di insinuarsi nascondendo i nomi anche ai revisori.

C'è un aspetto che è stato menzionato nella risposta di @ weronika, ma non è stato sottolineato abbastanza a mio parere e probabilmente non è ovvio per l'autore: Di solito c'è più di un revisore.

Nella mia zona normalmente ci saranno tre diverse revisioni, il che sembra essere un buon compromesso per mantenere basso il carico di lavoro totale e consentire di identificare i "valori anomali". Un editore potrebbe non essere in grado di vedere se una singola recensione è parziale, ma se vede che le recensioni si contraddicono notevolmente, una recensione ingiusta potrebbe diventare evidente.

Aggiunto per chiarimenti: tre revisori sono certamente non abbastanza per ottenere statistiche significative (ecco perché ho scritto "outlier" tra virgolette), e solo le valutazioni numeriche o a scelta multipla nei fogli dei revisori potevano essere confrontate in modo statistico. Ma ci sono diversi fattori critici che possono ridurre la qualità di una recensione e il loro possibile impatto può essere ridotto almeno avendo più di un revisore:

1. conoscenza inadeguata nel campo di competenza,
2. negligenza o tempo mancante e
3. pregiudizi o intenti dannosi.

Abbiamo visto documenti generati in modo casuale accettati, università che agiscono come cartiere e ricercatori che hanno ottenuto un punteggio solo in base al numero di articoli pubblicati.

Il sistema di revisione si basa quasi esclusivamente sul desiderio che tutti abbiano buone intenzioni. Sfortunatamente questo non fa funzionare il sistema in modo impeccabile.

Il reclamo più comune è che molti revisori non impiegano abbastanza tempo per esaminare il materiale. Fare in modo che le persone investano tempo prezioso in un sistema di revisione tra pari potrebbe essere un problema più difficile che farle comportare in modo onesto.

Non ho sentito di casi in cui i revisori hanno intenzionalmente dato recensioni negative. Anche se ho sentito parlare di faide tra autori. Ciò è particolarmente problematico in piccoli campi in cui il revisore non è anonimo come vorremmo. Tieni presente che il feedback potrebbe identificare un revisore. Si noti inoltre che l'autore non è mai anonimo (ed è difficile renderlo anonimo), il che rende il sistema più sospettabile per i revisori dannosi.

Il fattore parzialmente attenuante potrebbe essere l'editor. Che funge da arbitro. Ma cosa succede se l'editor è dannoso?

Per rispondere alla tua domanda: non esiste un fattore definitivo che impedisce l'uso dannoso del sistema accademico di revisione paritaria. Ci sono casi in cui il sistema è stato abusato. Inoltre, non credo che gli scienziati siano meno spesso dannosi di qualsiasi altra persona :).

Ad essere onesti, è molto difficile giustificare (o in questa materia generalizzare) il comportamento di un gruppo di persone (revisori). Sono sicuro che alcuni di noi sono stati vittime di un processo di revisione irrazionale e ingiusto, ad esempio, ricevendo recensioni dopo 4-5 mesi con domande scadenti, linguaggio duro o il caso più ovvio in cui puoi trovare un lavoro molto simile al tuo articolo pubblicato un paio di settimane del tuo articolo che hai ricevuto dopo una revisione ritardata !!

Anche con il processo di revisione tra pari in doppio cieco, un revisore può indovinare chi sono gli autori di un determinato articolo in base all'argomento di ricerca, alla formulazione, al set sperimentale -up e / o anche conto di finanziamento / agenzia (di solito menzionato nella sezione di riconoscimento). Quindi, dipende molto dalla PERSONA! Pensa come gli atleti che gareggiano nello sport, tutti sono soggetti alle stesse regole, tuttavia alcuni cercheranno sempre di imbrogliare il sistema !! sia con i farmaci che con i loop hole che esplodono!

La buona notizia è che ci sono più revisori sinceramente interessati a far progredire la scienza rispetto a coloro che sono desiderosi di competere ingiustamente con altri ricercatori. Non lasciarti abbattere da tutto questo, pensala in questo modo .. Devi aver fatto delle ricerche molto interessanti !!

La tua stessa metodologia è parziale. Ogni volta che fai qualcosa per alterare il processo di revisione, crei una recensione parziale. Potrebbe trattarsi di una semplice formulazione prima o durante il processo di revisione e all'altra estremità dello spettro tralasciando alcuni potenziali revisori.

Il mio consiglio:

• preoccupati più della tua scienza che della tua recensione

• benvenuto al revisore di parte. Preferirei vedere i difetti che la mia ricerca / scienza ha il prima possibile, non dopo che è stata completamente pubblicizzata.

• capire che c'è un elemento di rischio o tempo perso coinvolti. Se qualcuno è di parte e utilizza tattiche di revisione corrotte, questo richiede più tempo. Ma e in grande, questo ti consente anche di saperne di più sulle forze esterne contro le quali stai andando contro e su come confutarle meglio.

• e un ulteriore punto è una recensione ovviamente parziale essere facilmente confutata. Così com'è, abbasserà la posizione / reputazione del revisore ed evidenzierà il lavoro che stai facendo. Le persone sono molto più appassionate quando c'è una dinamica A contro Z piuttosto che sentire parlare di A.

Quindi l'unica cosa che devi fare (e scrivo una recensione / sistemi di indagine) deve avere un meccanismo di confutazione della recensione e assicurarsi che la persona che scrive la recensione lo capisca. Se mi importasse del mio nome non scriverei una recensione falsa / parziale su qualcosa se sapessi che qualcuno potrebbe confutare la mia posizione rivolta a me. La trasparenza è fondamentale.