Domanda:
I revisori diventano prevenuti riguardo agli articoli di ricerca scritti da autori di un precedente articolo di bassa qualità?
kunal18
2016-03-03 22:51:11 UTC
view on stackexchange narkive permalink

Negli invii in singolo cieco, i revisori possono vedere i nomi e le affiliazioni degli autori. Supponiamo che due documenti siano presentati in una conferenza, uno dei quali è scritto abbastanza bene e l'altro è un documento di bassa qualità. Inoltre, uno o due autori sono comuni in entrambi gli articoli. Se entrambi i documenti vanno agli stessi revisori per la revisione e i revisori esaminano prima il documento di bassa qualità, diventano di parte durante la revisione del documento abbastanza ben scritto? Le possibilità di selezione della buona carta diminuiscono?

Il processo in doppio cieco è progettato per evitare pregiudizi, quindi la risposta è molto probabilmente sì.
Se gli articoli condividono solo uno o due autori ma sono per il resto diversi (cioè, non due articoli su quasi la stessa cosa), è molto probabile che vengano esaminati da persone diverse, rendendo l'intera questione ridondante.
@Peteris Non è vero quando la conferenza ha un sistema di offerte, poiché gli autori condivisi -> argomenti simili -> probabilmente si sovrappongono nel gruppo di revisori abbinati.
@Peteris: Non ne sono molto sicuro, ma in molte conferenze di informatica gli autori devono selezionare un argomento / traccia adatto. Gli articoli con autori comuni rendono più probabile che gli articoli siano dello stesso argomento e quindi siano revisionati dagli stessi revisori.
Potresti voler chiarire cosa intendi per carta "di bassa qualità". La ricerca è fatta male, o è una buona ricerca, ma scritta male. Queste due cose danno impressioni molto diverse.
@Kimball: scritto male e anche la ricerca non è buona o soddisfacente
La domanda non mi è chiara. Partiamo dal presupposto che gli articoli condividano alcuni degli autori. Ma questo non è dato in tutto il post. E anche il titolo potrebbe essere interpretato come "documenti che hanno autori". Allora cosa si intende?
Due risposte:
jakebeal
2016-03-03 23:07:57 UTC
view on stackexchange narkive permalink

Distinguerei due documenti in parallelo (come nel tuo esempio) da una storia di cattivi documenti.

Se vedo un buon articolo e uno scadente che condividono un autore, e non conosco ancora bene quell'autore, allora probabilmente il cattivo articolo non influenzerà la mia opinione sul buon articolo troppo male (a meno che non si parli davvero in modo imbarazzante). Avrò un'opinione mista, ma la sto ancora formando.

D'altra parte, ci sono certamente alcuni autori che hanno costruito una storia con me tale che vedo il loro articolo e penso: "Oh no, spero che abbiano imparato dall'ultima volta."

Grazie! Sebbene nella domanda ho menzionato che pochi autori sono comuni, ma cosa succederebbe se nessuno degli autori fosse comune ma le affiliazioni fossero le stesse? Ti importa o ti influenza?
Solo una precisazione, se posso essere così audace, è che mentre inizi la recensione aspettandoti un articolo di bassa qualità da un autore "noto male", ciò non cambia il risultato della recensione. Il * documento attuale * è in fase di valutazione, niente di più, niente di meno :)
@stalin Solo affiliazioni condivise? Nemmeno un po 'di influenza: ogni istituzione accademica è un pasticcio eterogeneo e le tradizioni di indipendenza significano che mi aspetto poca correlazione tra due gruppi disgiunti di autori.
@FábioDias Questo è un bel principio, ma assolutamente non vero nella pratica. Considera di incontrare una descrizione di metodi sotto specificata: se so che gli autori di solito hanno buoni metodi, è più probabile che conceda loro il beneficio del dubbio e chieda loro di chiarire i loro metodi sulla revisione; se so che gli autori di solito hanno metodi sciatti, è probabile che presumo che una specifica scarsa implica una cattiva esecuzione.
@jakebeal Conoscendo questo pregiudizio, non lo combatteresti? Non annullerebbe (si spera) il pregiudizio? Ad esempio, odio gli articoli scritti male, ma cerco di non lasciare che influenzino gli altri aspetti del lavoro. Personalmente, cerco di rivedere e vivere secondo questo principio ... non prometto di esserlo, ma, contrariamente alle credenze di yoda, c'è da provare :)
@FábioDias Come ho detto, è un buon principio da mantenere. So semplicemente che, essendo umano, non sono in grado di mantenerlo nella pratica. Questo è un motivo importante per cui alcune organizzazioni richiedono una revisione in doppio cieco.
@FábioDias Perché però? A cosa serve ignorare le informazioni extra? Dal momento che non sono onnipotente, tutto quello che posso fare è dare il mio posteriore per un articolo corretto e significativo. Avere la mia precedente conoscenza delle capacità degli autori di influenzare il mio posteriore a un certo livello è la cosa * giusta * da fare da un punto di vista matematico. L'unico contro possibile è che è in qualche modo * moralmente * sbagliato (in modo deontologico piuttosto che puramente consequenzialista) usare queste informazioni.
@ChrisWhite Se le persone fossero macchine logiche, avresti ragione. Il nostro giudizio, tuttavia, è anche influenzato da cose "irrilevanti" come sesso, etnia, paese di origine, conformità alle norme sociali, se ci piace il viso di qualcuno, ecc. Pertanto, dobbiamo essere molto sospettosi di ogni precedente che riteniamo, perché quel priore è spesso gravemente deformato dai nostri pregiudizi e pregiudizi inconsci. Vedi, ad esempio, [l'impatto del genere sulla capacità musicale percepita] (http://www.nber.org/papers/w5903).
Captain Emacs
2016-03-03 23:07:04 UTC
view on stackexchange narkive permalink

In psicologia esiste il fenomeno dell '"ancoraggio": una prima impressione colora il resto di una transazione, sia che si tratti di negoziare un prezzo, di un'opinione sulla personalità o di altri problemi.

Ciò indica che, sì, un brutto primo articolo che cattura l'attenzione del revisore può avere un effetto dannoso su come viene visto il lavoro successivo. Se si tratta di un nuovo ricercatore, la memoria del nome potrebbe non essere conservata, quindi l'effetto potrebbe essere più lieve, ma se ci sono due documenti in una conferenza dello stesso autore e rivisti dalle stesse persone, quell'effetto può effettivamente tenere.

Questo è un motivo per cui molte conferenze sposano revisioni in doppio cieco (sebbene io non ne sia amico per altri motivi che esulano dallo scopo di questa domanda).

Sono d'accordo che la tua impressione di un ricercatore colora la tua prima impressione di uno dei loro articoli. Cerco di rivedere i documenti che ricevo in modo abbastanza critico da superare per lo più i miei "pregiudizi della prima impressione", ma sfortunatamente molte persone non sono revisori attenti e approfonditi.
@Kimball Sì, sicuramente non dovrebbe accadere. Prendo anche ogni articolo al valore nominale; il mio trucco psicologico è che so che a volte articoli con gli stessi autori hanno un autore principale diverso, e questo mostra - trovo che non riesco sempre a imporre la mia visione dello stile e della chiarezza ai miei colleghi autori ... Questo mi rende più facile tratta la carta come si presenta come, piuttosto che come mi aspetto che sia.


ⓘ
Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 3.0 con cui è distribuito.
Loading...