Il ruolo del revisore non è tanto il gate-keeper, ma piuttosto quello di aiutare gli autori a portare il documento in una posizione in cui sia pubblicabile. Quindi raccomando molto raramente il rifiuto totale al primo turno.

Una volta che hai scritto cosa ci vorrebbe per la pubblicazione del documento, forse è il caso che questo sia chiaramente irrealizzabile e che questo autore lo farà non portare mai questo articolo a quel livello, ma spetta all'editore e agli autori decidere.

Ai revisori viene normalmente chiesto di giudicare due cose:

1. articolo sufficientemente nuovo ed eccitante da essere interessante per una frazione abbastanza ampia dei lettori della rivista.

2. L'articolo è sufficientemente rigoroso per dimostrare le affermazioni che fa.

Se l'articolo non è sufficientemente nuovo o entusiasmante dico:

Per rendere questo articolo pubblicabile, gli autori devono spiegare gli ulteriori progressi fatti rispetto a Smith et al. e Jones et al. e perché il loro lavoro potrebbe interessare un lettore del Journal of Things, oltre a quelli connessi con il sottocampo delle cose molto piccole.

Difetti metodologici o interpretativi mi limiterò a sottolineare e diciamo che devono essere risolti.

Così, ad esempio, recentemente ho dovuto rivedere un documento per uno strumento software. È improbabile che venga pubblicato, ma invece di dire "rifiuta" ho detto:

1. Lo strumento non sembra implementare alcuna nuova funzionalità rispetto a Jones et al e in effetti lo è mancano molte delle funzioni in quello strumento. Gli autori dovrebbero spiegare perché il loro strumento è un progresso rispetto al confronto e fornire dati di benchmarking che confrontano le prestazioni.

2. Lo strumento non era installabile sul mio sistema, gli autori dovrebbero assicurarsi che è una routine di installazione robusta e funziona su una gamma rappresentativa di sistemi. {prosegue elencando i problemi con l'installazione}

3. Lo strumento contiene diversi bug ed errori concettuali che devono essere corretti prima di essere pubblicato. {continua a elencarli}

In conclusione, lo strumento ha diversi difetti di usabilità e funzionali che devono essere risolti. Anche se questi fossero stati risolti, gli autori devono spiegare perché il loro strumento è superiore, o addirittura uguale in termini di prestazioni o caratteristiche a Jones et al.

Ora ero sicuro all'80% che questo non fosse sta per accadere - la quantità di lavoro richiesta per portare il documento a uno standard pubblicabile era probabilmente maggiore di quella che era stata inserita nel progetto fino a quel momento - ma se volessero farlo, sarei felice di raccomandare la pubblicazione. Non ho mai visto un'altra revisione dell'articolo - non so se l'editore ha deciso di rifiutarlo, o gli autori hanno deciso che non ne valeva la pena -, ma ho adempiuto al mio ruolo: dire quello che era necessario portare è conforme allo standard.

Se gli autori decidono di provare a ripresentare l'invio, senza risolvere i problemi che ho identificato, dirò semplicemente che:

Gli autori non hanno affrontato i punti A, B e C, e non posso raccomandare la pubblicazione fino a quando non lo hanno fatto.

Ci sono diversi "giuramenti di peer review" là fuori. Quello che mi piace è da qui:

http://www.opiniomics.org/the-reviewers-oath/

Io, il revisore, prometti:

1. di non nascondersi dietro uno schermo di anonimato
2. di essere aperto e onesto con te (gli autori) in ogni momento
3. essere costruttivo nelle mie critiche
4. entro le regole che mi sono state date dalla rivista, per assisterti in ogni modo Sono eticamente possibile per far pubblicare il tuo manoscritto, fornendo critiche e elogi che siano validi e pertinenti

Fondamentalmente, sto chiedendo come superare questa ansia di suggerire il rifiuto e la paura di sembrare il "cattivo recensore".

Per me, una parte di esso è correttezza: presumo che la maggior parte dei revisori agisca secondo il proprio miglior giudizio, e questo include raccomandare il rifiuto per i documenti che chiaramente devono essere rifiutati. Se permettessi al mio giudizio di essere influenzato da quella che è essenzialmente una questione dell'ego (non voler essere "il cattivo"), introdurrei ingiustizie nei confronti di altri autori che ottengono revisori più obiettivi.

Questo di solito mi porta a scrivere rapporti di recensione troppo dettagliati e troppo dettagliati (credo).

Questo può essere risolto organizzando la tua recensione in modo leggibile. Inizia con un elenco dettagliato dei principali argomenti a favore e contro l'accettazione (solo elenchi puntati o una breve frase per elemento). Quindi spiega i punti di questo elenco dettagliato in modo più dettagliato. In particolare, spiegare cosa è necessario correggere affinché il documento diventi accettabile. Solo dopo questa discussione "ad alto livello", fornire una discussione completa di tutti i dettagli (la maggior parte dei quali probabilmente non influirà sulla decisione di accettazione). Per errori di battitura e problemi di grammatica, avere un elenco separato alla fine.

In modo più critico, alcune volte mi ha spinto a consigliare revisioni importanti nel primo ciclo di revisione quando pensavo che il manoscritto dovesse davvero essere rifiutato ma non ha avuto il coraggio di suggerirlo. Quindi, inevitabilmente, arriva il secondo round, il manoscritto non è molto migliorato e rimango di nuovo a sottolineare per aver raccomandato il rifiuto.

Anche questo sarebbe corretto se la tua prima recensione specificasse chiaramente le condizioni che devono essere soddisfatte per rendere il documento degno di accettazione. Se gli autori inviano una versione che non soddisfa le condizioni, è colpa degli autori e non devi stressarti.

Non stai rifiutando, stai raccomandando. L'editore prende la decisione e dovrebbe esserci un secondo arbitro. Quindi non preoccuparti: sii onesto.

È carino da parte tua pensare all'autore di un articolo che ritieni debba essere rifiutato. Per favore pensa anche a:

• Tutti i lettori. Sprecano il loro tempo a leggere un brutto giornale. Erano entusiasti quando hanno trovato l'articolo, ma sono rimasti delusi dopo averlo letto.
• Gli autori di altri articoli, che potrebbero essere rifiutati (a causa del numero limitato di spazi di presentazione o del numero limitato di articoli per numero).
• E la reputazione della conferenza / rivista che potrebbe essere compromessa da cattive carte. Anche questo è guidato dall'editore, ma deve fare affidamento sui suoi referenti. (grazie a Gnudiff per questo aspetto)

Ci sono alcune cose da disimballare qui, quindi esaminiamole una per una:

Danni alla carriera

Sei responsabile della consegna di un rapporto accurato; non sei responsabile delle conseguenze indirette di un rapporto accurato, come l'impatto sulla carriera.Se qualcuno non ottiene una posizione perché hai fornito una valutazione negativa corretta, questo è su di lui o sui loro co-autori. Ricorda inoltre che qualcun altro otterrà il rispettiva posizione invece e - mediamente - sono più qualificati: c'è molto rumore nelle decisioni di carriera e fornendo una giusta revisione, si riduce questo.Non solo pensare agli autori, ma pensare anche al ricercatore qualificato che lo fa non ottenere una posizione perché il loro avversario è riuscito a far pubblicare qualche pezzo di spazzatura grazie a recensioni eccessivamente clementi.

Se vuoi essere gentile con i futuri ricercatori senza compromettere la qualità della ricerca, fai rapidamente le tue revisioni tra pari ( cioè, dai loro la priorità rispetto agli altri tuoi doveri, non affrettare la revisione effettiva). In questo modo, hanno più tempo per risolvere il problema del documento e inviarlo altrove prima della scadenza della domanda che stanno affrontando e si spera che imparino qualcosa nel processo:

Affrontare e imparare dai rifiuti e dalle critiche in generale è un'abilità importante per i ricercatori.Se il supervisore di uno studente non lo ha guidato adeguatamente attraverso la sua ricerca o il processo di scrittura, lo studente deve imparare questo in un altro modo.Non sei responsabile di prendere quella parte della formazione, ma una revisione dettagliata può essere in questo modo.

Infine, può anche aiutarti a presumere che tutti gli autori siano professori prossimi al pensionamento senza alcuna posta in gioco per la carriera. L'ideale della revisione tra pari è che dovrebbe ignorare l'identità degli autori (ecco perché la revisione tra pari in doppio cieco è una cosa importante).

Valutazione della non vendibilità

Dal punto di vista inevitabilmente imperfetta del revisore e del redattore, ogni documento ha il potenziale per essere salvato: gli autori possono correggere le loro ricerche o spiegazioni o presentare argomenti migliori per la pertinenza del loro lavoro. La probabilità che un articolo possa essere adattato a un giornale non è mai zero. In base a questo, non dovrebbe mai esserci una decisione per il rifiuto finale. Ma questo non è ciò che significa praticamente un rifiuto.

Invece, se questa probabilità (che il documento venga eventualmente reso adatto alla rivista) risulta essere inferiore a una certa soglia implicita, è più fattibile rifiutare il carta e non invitare ulteriori contributi, che sprecherebbero ulteriori risorse della rivista.Tutto ciò che fai è aiutare a stimare questa probabilità e se è al di sotto della soglia.Se la tua stima è un po 'fuori, non è drammatico, poiché ci sono diversi meccanismi per compensare questo, vale a dire altri revisori, i redattori e l'opzione di confutazione, se gli autori pensano di aver risolto i problemi con il manoscritto contro ogni previsione.

La cosa più importante è che tu elabori i problemi che hai vedere con il documento e cosa è necessario fare per risolvere questo problema (la risposta di Ian Sudbery ne fornisce un buon esempio). Anche se la tua critica dovesse essere basata su qualche malinteso, questo consente agli autori di chiarire. Niente è più frustrante se l'argomento principale per rifiutare il tuo articolo è qualcosa del tipo:

Non capisco la Sezione 2. [Nessuna ulteriore elaborazione]

poiché devi ricorrere a supposizioni su come risolvere questo problema. Il che ci porta alla tua prossima preoccupazione:

Recensioni troppo dettagliate

Non credo che i dettagli siano dannosi in una recensione in sé. Il motivo principale per smettere di approfondire nei dettagli è per evitare di perdere tempo. Naturalmente, dovresti chiarire quali sono le questioni principali che portano al rifiuto. Una revisione dettagliata può essere molto utile agli autori per risolvere questi problemi principali, sia che si tratti di una ripresentazione che di una sottomissione a un'altra rivista, inoltre fornisce prove all'editore che ti sei seriamente impegnato con il manoscritto, dando così alla tua recensione meritatamente più peso. tenendo presente che alla fine quasi ogni manoscritto viene pubblicato, quindi il tuo sforzo è raramente sprecato (a meno che tu non faccia cose come annotare errori di battitura nei paragrafi che devono essere riscritti completamente comunque).

Tasso di rifiuto

Potresti notare che consigli di rifiutare i documenti più spesso di quanto i tuoi documenti siano rifiutati o addirittura senti di documenti rifiutati.Ci sono buone probabilità che questo dica di più sulla qualità dei tuoi contributi e dei tuoi conoscenti che sui tuoi consigli come revisore tra pari. Ricorda la legge di Sturgeon: "il 90% di tutto è una schifezza".

Potrebbe valere la pena controllare il tasso di rifiuto effettivo del giornale se riesci a trovare Ma anche se il tasso di rigetto è più alto t A causa del tasso di rifiuto generale delle riviste per cui stai recensendo, questo non è necessariamente un aspetto negativo.Prima di tutto, c'è la questione del caso: devi rivedere parecchi articoli per fare dichiarazioni motivate sulle tue recensioni che deviano dal Secondo, più una recensione è approfondita, più è probabile che trovi un difetto che porta a una raccomandazione di rifiuto. In questo caso, il problema non sei necessariamente tu, ma gli altri revisori non sono abbastanza approfonditi da individuare i problemi.

Scrittura

Tutte le recensioni che ho ricevuto, scritto e co-scritto erano quasi esclusivamente in un tono molto neutro, cioè né eccessivamente eufemistico né aggressivo. Ci sono eccezioni giustificate, ad esempio, ho scritto una volta in un rapporto che sono rimasto deluso da una revisione a causa della mancata implementazione di suggerimenti diretti con cui gli autori sembravano concordare.Se ti attieni a una descrizione neutra di problemi e suggerimenti, vedo poco che potrebbe andare storto.

L'unica eccezione in cui la formulazione è importante è la raccomandazione effettiva, se ciò avviene per iscritto e non tramite un sistema di punteggio. Qui, non vuoi essere frainteso dall'editore. L'elenco di cose che devono essere accadute prima l'accettazione è un buon modo per evitare qualsiasi errore di comunicazione qui: ad esempio, se l'editore può facilmente vedere che questa è probabilmente una sfida insormontabile, non ha bisogno della tua valutazione diretta.Può anche aiutarti a scrivere una breve nota esclusivamente per l'editore spiegando quanto è probabile che gli autori riescano a correggere il loro manoscritto.

Penso che i ruoli di "revisione principale" e "rifiuto" siano abbastanza diversi e non è utile per l'autore usarne uno quando intendi veramente l'altro.

I revisori dovrebbero raccomandare il rifiuto se il documento, sebbene possa essere pubblicabile, non è sufficientemente interessante per la rivista. Se questo è il caso, è improbabile (almeno nel mio campo, che è la matematica) che una versione rivista venga mai pubblicata su quella rivista. Tuttavia, l'articolo potrebbe essere adatto per una rivista leggermente meno selettiva, e non fai alcun favore agli autori se chiedi prima una revisione importante, piuttosto che dare loro un'opportunità anticipata di ripresentarsi a tale rivista. Idealmente la tua recensione suggerirebbe luoghi alternativi (oltre a identificare eventuali problemi significativi che potrebbero voler affrontare prima dell'invio).

Le revisioni principali, d'altra parte, sono appropriate per documenti che hanno problemi che devono essere risolto prima della pubblicazione (e potrebbe non essere chiaro se gli autori saranno in grado di risolverli), ma con un livello di interesse adatto alla rivista.

1. " I migliori mancano di convinzione ". I tuoi dubbi suonano più sintomatici di un buon lavoro arbitrale che di critiche inutili. Penso che sia una buona idea dare alle persone la possibilità di migliorare il loro lavoro con una raccomandazione di "revisione importante". Tieni presente che una raccomandazione non è un verdetto (gli editori basano la loro decisione sul tuo rapporto, ma questo non significa che adottino semplicemente il tuo suggerimento senza modifiche; in particolare, una "revisione principale" può diventare una "rifiutata" se l'altro arbitro è ugualmente poco entusiasta).

2. Ecco come controllerei la sanità mentale dei miei suggerimenti di "revisione principale": supponendo che l'autore abbia seguito tutti i miei consigli, suggerirei accettando il documento, o sarei seccato di dover trovare motivi migliori per rifiutarlo? Nel primo caso, la "revisione principale" è la raccomandazione giusta da fare. In quest'ultimo, è "rifiuto". (E poi c'è "rivedere e ripresentare", che tendo a scegliere se non capisco o non credo a parti significative dell'articolo e ma non sarei sorpreso se l'autore lo salvasse. Qui rimando il giudizio fino a quando i problemi non vengono risolti. Questa opzione è buona da tenere a mente quando non si vede bene cosa diventerà il foglio dopo la revisione.)

3. "Troppo dettagliato" è raramente un problema nelle recensioni. Anche se l'articolo non può essere recuperato, eventuali articoli futuri dello stesso autore probabilmente trarranno vantaggio dal fatto che tu sottolinei errori grammaticali, terminologia confusa, idee sbagliate, ecc. (Che altrimenti potrebbero insinuarsi in questi documenti futuri se lasciati incontrastati). La revisione tra pari è uno dei pochi modi in cui gli scienziati imparano dopo il loro dottorato di ricerca!

In qualità di editore, permettimi di ribadire una cosa che sai: la decisione di rifiutare o meno è dell'editor, non tua. Ti viene chiesto un consiglio, ma la decisione è l'editor (che in genere ha molta più esperienza) . I contenuti del tuo rapporto contano più della raccomandazione. In qualità di editore, gran parte del mio lavoro consiste nel riconoscere le raccomandazioni di "revisione principale" che dovrebbero essere interpretate come "rifiuto" (e meno spesso, viceversa).

Alcuni ottimi consigli dettagliati per l'arbitraggio possono essere trovato qui.

Penso che sia importante ricordare che il tuo ruolo di revisore non è dare giudizi di valore sul lavoro degli autori. Raccomandando il rifiuto, ti comporti più come un moderatore. Stai interpretando le regole - le regole scritte della rivista o della pubblicazione e le regole non scritte della revisione tra pari - e le applichi a un dato articolo. Stai rispondendo alla domanda "Questo documento aderisce alle regole e agli standard (o può farlo con modifiche)?" E alla domanda "È un buon documento? ".

Raccomandare il rifiuto significa semplicemente rispondere alla domanda in senso negativo: non credi che questo documento aderisca a queste regole e non è probabile che lo faccia dopo la modifica. Non è un "brutto giornale" (beh, può essere, ma non lo stai dicendo) e gli autori sono invitati a trovare un luogo diverso che si allinea meglio con ciò che hanno scritto.

Infine, ricorda che non sei l'unico revisore. Se consigli il rifiuto e l'articolo viene rifiutato, almeno un altro revisore o l'editore è d'accordo con te. E se consigli il rifiuto ma il documento viene accettato, nessuno penserà a un altro che hai consigliato in modo diverso.

A lungo termine, devi acquisire più esperienza per sentirti più sicuro delle tue decisioni. Quindi quello che puoi fare ora è provare a rendere questo processo più veloce 1. Acquisendo familiarità con lo stato dell'arte sugli argomenti che sei invitato a rivedere 2. Fai volontariato per ulteriori revisioni 3. Studia altre persone recensioni (come revisore, alla fine del processo puoi vedere i commenti di altri revisori e inoltre, alcuni luoghi hanno recensioni aperte (cercalo), questo ti dirà come stai rispetto ad altri, ad esempio sei troppo ottimista? 4. Scrivi più articoli, che ti aiutano a prenderne la mano

Saggio di mentalità:

1. Le recensioni dovrebbero essere scritte in modo da suggerire come il documento potrebbe essere migliorato, e perché, e sottolineare i principali conflitti / false dichiarazioni, ecc. Quindi, no, non è necessario battere un documento. Ci sono troppi revisori che pensano che questo sia il punto delle recensioni, il che è davvero vergognoso . Dovresti mantenerti il ​​più obiettivo possibile e non lasciare che il tuo giudizio "soggettivo" si intrometta. La critica costruttiva è ciò a cui dovresti mirare.

2. Se un articolo è indipendente Peccato, dando loro più possibilità stai effettivamente distorcendo il processo di revisione perché non tutti sono fortunati ad avere revisori che ci provano.

3. Se sei in dubbio però, dai il beneficio del dubbio agli autori. Ho ricevuto troppe false affermazioni a cui non ho nemmeno potuto rispondere in confutazione, o ho fatto, ma la mente dei revisori era impostata fin dall'inizio. Solo perché non ho incluso un dettaglio, presumere di non averlo fatto in quel modo è ancora solo un giudizio soggettivo (in effetti, l'ho fatto ma per me era banale e standard per qualsiasi documento di ricerca, quindi non ho piatto scrivere i dettagli esatti per esempio).

Detto questo, sono anche dal lato più ottimista e fornisco recensioni più positive con una mentalità simile, ma mi rendo anche conto che quando mi vengono assegnate corrispondenze perfette, posso essere chiarissimo nei miei commenti e giudizi, quindi devi solo essere più sicuro della tua esperienza.