Domanda:
Chi sono le persone che esaminano molti più articoli di quanti ne inviano per la revisione?
Rebecca J. Stones
2019-09-15 07:28:53 UTC
view on stackexchange narkive permalink

Ho inviato più articoli per la revisione di quanti ne abbia recensiti personalmente. Cerco di rivedere il più possibile, ma è limitato dalle richieste in arrivo. Publons dice che sono leggermente al di sopra della media (di 0,3 recensioni: 1 pubblicazione), sebbene questi dati siano incompleti.

My Publons review:publication ratio of 0.6:1 vs. the median of 0.3:1

Sembra che ci debbano essere persone là fuori che stanno esaminando molti più articoli di quelli che stanno inviando per la revisione. Ma chi?

Domanda : chi sono le persone che esaminano molti più articoli di quanti ne inviano per la revisione?

Sto solo cercando un'immagine mentale di chi riceve, accetta e completa un gran numero di richieste di revisione. Non riesco a immaginare che siano professori di alto livello, che sembrano costantemente impegnati. Né mi aspetto che si tratti di ricercatori all'inizio della carriera, perché non sono consolidati ed è improbabile che vengano presi in considerazione quando gli editori inviano email ai revisori.

Negli ultimi anni, ho esaminato circa il doppio dei documenti che ho presentato.Sono un professore associato presso un'università R3 negli Stati Uniti.Tieni anche presente che entrambi siamo in matematica, dove una revisione richiede molto lavoro e le riviste in genere richiedono solo 1 o 2 revisori per articolo.In altri campi, le revisioni sono molto più veloci, quindi potrebbe non essere poco pratico per una persona anziana farne alcune.
Ad ogni modo, sono profondamente scettico sui dati di Publons.
Se includi opinioni rapide, penso di aver esaminato almeno tre volte più articoli di quanti ne abbia scritti.
Puoi [ordinare le pubblicazioni in base al numero di recensioni] (https://publons.com/researcher/?is_core_collection=1&order_by=num_verifiedTML).Sulla base di ciò, la risposta sembrerebbe essere persone come Swapnil Fegade, dell'Università del North Dakota Grand Forks, che se crediamo che i dati abbiano fatto 1421 revisioni, 441 negli ultimi 12 mesi, ma non hanno mai pubblicato nulla.Di nuovo, sono scettico.
Suppongo che un organizzatore di una conferenza (o uno stretto contatto) potrebbe rivedere personalmente molti dei documenti presentati.Inoltre, forse alcune aree di ricerca esaminano tutti i documenti presentati, molti dei quali normalmente sarebbero rifiutati dalla scrivania in matematica.
"Né mi aspetto che siano ricercatori all'inizio della carriera" - ho esaminato molti altri articoli quando ero giovane.In base alla mia esperienza, molte recensioni provengono da "neofiti" o dottorandi appena coniati, il che a volte può essere frustrante.Al giorno d'oggi, accetto una richiesta di revisione solo se proviene da un editore che conosco o se un articolo sembra risolvere un problema in uno dei miei progetti (molto raro).Come approssimazione, facevo 3-5 articoli al mese;al giorno d'oggi, faccio 5-10 giornali all'anno, al massimo!
Probabilmente ho rivisto da 4 a 5 volte il numero di articoli (matematica) che ho presentato (dall'inizio degli anni '90 alla fine degli anni 2000), ma questo è stato principalmente un fattore per essere principalmente in posizioni di insegnamento, e successivamente in una posizione non accademica,così come intraprendere diversi importanti progetti incompiuti all'inizio della mia "carriera" (che sono ancora in corso e continuati, poiché ho tempo e interesse).Non sono sicuro di quando ho effettuato l'ultima revisione formale completa, ma negli ultimi anni ho fatto 3 o 4 richieste di "giudizio preliminare alla revisione", una delle quali probabilmente era abbastanza ampia da meritare di essere una revisione completa.
@NateEldredge Huh.Trovo che l'idea che qualcuno stia facendo delle recensioni se non ha mai pubblicato sia strana a più livelli.Innanzitutto, come fanno gli editori a decidere di essere qualcuno a cui vale la pena inviare qualcosa (o addirittura di conoscere il proprio campo)?In secondo luogo, perché qualcuno dovrebbe essere incline a fidarsi delle recensioni di qualcuno che non ha mai fatto qualcosa che valga la pena pubblicare?Sembra davvero strano, e mi rende anche incline a essere scettico su questi numeri.
Un pensiero.In alcune discipline ingegneristiche, ad esempio ingegneria "meccanica" o "civile", i revisori possono anche essere professionisti attivi in conferenze e comitati.Questi revisori non inviano / pubblicano articoli frequentemente, ma sono invitati a rivedere i documenti data la loro competenza ed esperienza sul campo.
@NateEldredge molte persone (me compreso) non si preoccupano di importare le loro pubblicazioni in Publons.Quindi avere 0 pubblicazioni non è un indicatore di nulla.Anche se sono profondamente scettico su alcuni conteggi di recensioni davvero elevati, è possibile che in realtà sia anche un indicatore di qualità.Un paio delle mie recenti recensioni, quando l'editore ha inviato la risposta agli autori, ho potuto vedere che almeno una delle altre "recensioni" era un singolo paragrafo quasi senza contenuto.
@JoshuaZ: il mio supervisore era editore di una rivista e anche se non lo so per certo penso che probabilmente sia stato lui a chiedermi di fare le mie prime recensioni.(A quel tempo, però, avevo un manoscritto presentato).
La media di 0,3 nasconde una distribuzione che è probabilmente molto distorta, con pochi revisori che esaminano molti più articoli di quanti ne presentano e molti revisori che esaminano pochissimi articoli.
Questo deve essere specifico del campo.Nel mio campo, io e chiunque sia un po 'anziano, conosco le recensioni molto più di quanto non presentino, il che ha senso perché è necessario compensare le persone che * solo * si sottomettono (cioè ricercatori in fase iniziale, industriali, professori chedire di no, ecc. ecc.)
Una cosa su Publons è che un documento può contenere più revisioni.Supponiamo che riveda il primo round e le revisioni principali.Vedrò il round 2, che di solito è una breve recensione (ad esempio, grazie per aver apportato le modifiche suggerite).Questo può aumentare il numero di recensioni che qualcuno fa.
@RichardErickson ah, questo fa la differenza.Nella mia risposta sotto ho assunto che fosse il numero di articoli esaminati, non il numero di cicli di revisione, quando ho calcolato il mio rapporto.
@Brian Borchers, probabilmente vero, e inoltre ci si può aspettare che i dati di Publons siano molto incompleti, quindi non sono davvero un buon indicatore per la domanda posta.Rivedo molto più di quanto ho sul mio profilo Publons, semplicemente perché non mi preoccupo di inviare manualmente le informazioni a Publons per le riviste che non sono partner di Publons.Sospetto che molte persone agiscano in modo simile.
Nove risposte:
Peter Taylor
2019-09-15 13:29:19 UTC
view on stackexchange narkive permalink

Non riesco a immaginare che siano professori di alto livello, che sembrano costantemente occupati.

Se vuoi che venga fatto qualcosa, chiedi a qualcuno che è costantemente impegnato.

Né mi aspetto che si tratti di ricercatori all'inizio della carriera, perché non sono consolidati ed è improbabile che vengano presi in considerazione quando gli editori inviano email ai revisori.

Non posso indicare post specifici , ma ho visto abbastanza riferimenti su questo sito allo scenario che credo non sia raro che l'editore chieda al professore di alto livello e al professore di delegare a un ricercatore all'inizio della carriera nel loro dipartimento.

Alcuni dati reali: questo mi è successo due volte, con professori diversi.Un'altra volta, mi è stato chiesto di co-arbitrare.
Nota che il prof di solito risponde all'editore per chiedere che il lavoro di revisione venga inviato direttamente al postdoc.Naturalmente, il prof che deleghi le proprie revisioni a postdoc sotto il nome di prof sarebbe altamente immorale e decisamente contrario alla maggior parte delle politiche delle riviste
@WetlabStudent: ancora è qualcosa di niente affatto inaudito.
@tomasz Mi è successo regolarmente mentre lavoravo nel mondo accademico, forse quasi la metà delle recensioni che ho fatto (un professore mi diceva che aveva consigliato di chiedermelo, uno era lui stesso un editore che probabilmente mi ha inviato recensioni e potrebbe aver consigliatoinoltre senza dirmelo, si delegava le proprie revisioni, a volte chiedendo solo revisioni parziali su un particolare aspetto del giornale).Ho sicuramente recensito molti più articoli di quanti ne abbia presentati come primo autore.
Non sono così sicuro che non ci siano molti professori indifferenti all'etica.Una volta ho trovato cinque copie dello stesso articolo su cinque siti web di professori.Senza attribuzione, ognuno dava l'impressione che fosse di quel professore.
@WetlabStudent: Naturalmente, questo è ciò che intendevo.Non credo che avrei accettato diversamente.(Con il co-arbitraggio, all'editore è stato chiesto in anticipo se andava bene.)
@WGroleau: Beh, non riesco a immaginare che questo genere di cose accada nella mia zona (visto che è così piccolo che uscirebbe e rovinerebbe la reputazione di qualcuno molto velocemente).La cosa più vicina di cui sono a conoscenza sono alcune note sul sito web di un professore, attribuite (congiuntamente) a un altro, che afferma di non avervi contribuito.
Ha molto senso: è la stessa cosa nell'industria.Come fai a passare da inizio carriera a metà carriera senza questo tipo di compiti, davvero?
JenB
2019-09-15 13:23:59 UTC
view on stackexchange narkive permalink

In primo luogo, tale rapporto si basa su documenti pubblicati, non presentati. Ma il principio è lo stesso. Diversi anni fa mi è stato consigliato di rivedere 3 o 4 volte il numero di documenti che invii.

Pensaci in questo modo; se gli articoli richiedono 3 revisori e metà degli articoli non vengono pubblicati, il punto di pareggio è di 6 revisori per articolo pubblicato. Se ti trovi in ​​un campo in cui 3 autori sono tipici, tutti gli autori dovrebbero rivedere 2 articoli per articolo. Ma non tutti gli autori sono in grado di rivedere in modo equivalente, quindi 3-4 sembrano funzionare per la mia disciplina.

Un editore sarebbe in grado di darti le migliori informazioni su chi chiedono, ma postdoc senior e low to gli accademici di medio livello sembrano essere quelli che fanno la revisione nella mia disciplina. D'altra parte, ho controllato le pubblicazioni e il conteggio più alto è in realtà un professore semi-pensionato.

Sono d'accordo su questo in tutto tranne il numero: in genere ritengo che rivedere _two_ tanto quanto presento sia sufficiente.Non sto raccogliendo il gioco per nessun altro.Detto questo, di solito ho criteri molto bassi per accettare la recensione fino a quando non raggiungo il punteggio _due volte il numero di invii_, ma poi continuo ad accettare le recensioni, essendo solo più selettivo sulla corrispondenza dell'argomento e sulla qualità del giornale, quindi probabilmente finisco per rivedere 3-4 volte di più rispetto alla fine (anche quando "più selettivo" mi rendo conto che raramente ho il coraggio di rifiutare una recensione).
La mia regola pratica è: se mi sottopongo a un giornale che richiede x rapporti di arbitro, dovrei arbitrare almeno x volte per questo giornale per ogni articolo che vi invio.
Buzz
2019-09-16 07:13:42 UTC
view on stackexchange narkive permalink

Le persone che inviano buone recensioni vengono invitate a più di loro, e poi di più, e ancora, e ....

Lascia che ti racconti la mia storia arbitrale. Il mio profilo di ricerca non è stellare, ma è adeguato per un fisico teorico di ruolo presso un istituto di medio livello R1; Di solito pubblico qualcosa come da due a cinque articoli all'anno. D'altra parte, arbitro qualcosa come dieci volte quel numero di carte e il lavoro di arbitraggio finisce per essere una componente importante del mio servizio professionale. Negli ultimi due anni, ho vinto premi arbitrali da diverse riviste importanti.

In quattro anni come post-dottorato, ho ricevuto un articolo all'anno da arbitrare. Nel periodo in cui mi sono stabilito abbastanza per ottenere un lavoro di ruolo, il numero è balzato a circa un giornale al mese, e da allora ha continuato ad aumentare (in modo approssimativo) negli ultimi dieci anni. A differenza di alcuni miei colleghi, cerco di arbitrare praticamente tutto ciò che mi viene inviato che sono qualificato per valutare, e poiché ho costruito un rapporto con alcuni redattori di riviste, mi sono stati inviati più documenti e mi è stato assegnato il compito di giudicare più complicati situazioni, come casi in cui precedenti referee non sono stati d'accordo o ricorsi presentati dagli autori di articoli rifiutati.

Francamente, questo riduce il tempo che probabilmente potrei essere utile per la ricerca. D'altra parte, sento che, in un certo senso, devo la mia esperienza alla comunità professionale; Voglio fare almeno la mia giusta parte. Lavoro in un'area un po 'di nicchia e non sono molte le persone in grado di fornire valutazioni complete della ricerca in quest'area. Ciò significa sia assicurarsi che i documenti con errori fondamentali non vengano pubblicati in modo errato, sia assicurarsi che i documenti validi siano adeguatamente controllati e corretti, per massimizzare la loro utilità. Riconoscere rapidamente i documenti inaccettabilmente scadenti è un'abilità, ma una volta identificati i gravi problemi con un manoscritto, scrivere una raccomandazione di rifiuto non richiede troppo tempo. Il controllo attraverso buoni documenti per elisioni ed errori minori, d'altra parte, può richiedere un bel po 'di tempo, ed è qui che probabilmente c'è un vero compromesso tra il lavoro di arbitraggio e il risultato della ricerca. Tuttavia, come ho detto, sono contento di dove mi trovo attualmente a questo proposito.

Grazie per il tuo lavoro coscienzioso e il contributo alla comunità!
Allure
2019-09-15 12:11:30 UTC
view on stackexchange narkive permalink

Gli autori nei paesi sviluppati tendono a rivedere molti più articoli di quanti ne presentino, mentre i tre paesi più grandi per i quali è il contrario sono Cina, India e Iran.

Fonte

user20637
2019-09-15 23:32:06 UTC
view on stackexchange narkive permalink

Prima di andare in pensione ho lavorato per un'azienda che (tra l'altro) faceva ricerca retribuita per aziende industriali. Avevamo pochi incentivi a pubblicare nella letteratura con referaggio tra pari. C'era qualche incentivo a pubblicare nella letteratura commerciale, ma non molto: eravamo molto conosciuti tra i potenziali clienti. Abbiamo partecipato a gruppi industriali e di regolamentazione come contributo al "bene superiore" per l'industria. Io e molti dei miei colleghi senior abbiamo esaminato molti più documenti di quanti ne abbiamo presentati; Non posso parlare per i miei colleghi, ma lo considero ancora una volta un contributo al "bene superiore".
Modificato per aggiungere:
Allo stesso modo, non avevo alcun interesse a registrare i miei contributi in Publons, che Wikipedia descrive come (il corsivo è mio) "... servizio per accademici per monitorare, verificare e mostrare la loro revisione tra pari e i contributi editoriali ...".

Especially Lime
2019-09-16 12:21:19 UTC
view on stackexchange narkive permalink

Sospetto che un fattore importante sia che i rapporti varieranno in modo significativo in base al campo. Nel mio campo (matematica pura), un articolo tipico ha 1-3 autori e riceverà recensioni da due persone (di più se viene rifiutato dopo la revisione e inviato a un'altra rivista, anche se la sovrapposizione di revisori in quel caso non è rara). Quindi mi aspetto che il rapporto mediano sia intorno a 1. Il mio è 1.3 FWIW (non sono su editori ma tengo i record per il mio interesse).

In altri campi il numero tipico di autori per la carta potrebbe essere molto più alta senza che il numero di revisori per documento aumenti in modo significativo, quindi mi aspetterei un rapporto molto più piccolo. 0,3 sembra ragionevole per i campi in cui più di 10 articoli dell'autore sono la norma.

+1 per sottolineare che il numero medio di recensioni per persona sarà inferiore al numero medio di articoli per persona se il numero medio di autori / articolo è maggiore del numero medio di revisori / articolo.
(Penso anche che un rapporto di circa 1 sia buono per la matematica pura.)
Un commento sulla domanda suggerisce che Publons considera la revisione di un articolo in due cicli come due revisioni, non una.In quel caso il mio rapporto sarebbe significativamente più alto (circa 2).
Alchimista
2019-09-16 14:08:15 UTC
view on stackexchange narkive permalink

In realtà la recensione più significativa è, nel mio campo e in quelle correlate , fatta esattamente dalle due categorie che volevi eliminare.

Un professore di fama riceve un gran numero di inviti , quindi il rapporto è alto nonostante i rifiuti.

Un ricercatore giovane e di successo ne riceve relativamente pochi ma tende ad accettare tutto in quanto è un'esperienza nuova e sicuramente formativa.

Sospetto, come sottolinea un'altra risposta, che sia molto correlato al campo e al sottocampo. Ho esaminato personalmente molti più articoli di quelli che ho pubblicato.

Mentre un ricercatore in chimica sintetica pubblica e potrebbe essere invitato da alcune buone riviste, uno in scienze dei materiali può farlo in una gamma più ampia, spaziando dalla fisica e chimica alle pubblicazioni dedicate. Quando è coinvolta la preparazione di nuovi materiali, praticamente tutti gli articoli diventano interessanti e la revisione diventa un modo per rimanere sintonizzati.

Uno scenario simile è plausibile in molte scienze applicate.

Nel mio campo il numero di revisioni ampiamente supera quello dei documenti presentati / pubblicati letteralmente per ogni ricercatore laureato che abbia mai incontrato.

Anche un rapporto poiché quelle fornite nella tua Q, se non calcolate individualmente, bloccherebbero le pubblicazioni di ricerca. La matematica semplice suggerisce che un rapporto inferiore a uno sarebbe un grosso problema nella procedura corrente, tranne forse nei campi in cui è comune avere una decina di autori o più (tuttavia alcuni di questi campi hanno anche una letteratura più abbondante, ad esempio la medicina). il nome in una lista di autori non ti rende un referree, almeno non uno di prima e nemmeno di seconda scelta per un buon diario.

Modifica 1 dopo il commento.

Modifica 2: Stimolato da questo, mi sono finalmente registrato su Publon. Sebbene importare la maggior parte dei miei documenti fosse un semplice clic, le migliaia di recensioni che ho fatto in passato non verranno mai visualizzate. Quindi nella fase attuale ho contribuito con X articoli alla letteratura senza essere stato affatto arbitro. Ho trascurato il fatto che l'ispirazione per OP fosse Publon. Fondamentalmente può essere sicura di quanto sta rivedendo (non abbastanza a mio avviso, come per quello che io e altri abbiamo scritto sopra) ma in generale si dovrebbe essere molto scettici su quei dati, indipendentemente dal loro reale significato.

"Anche un rapporto come quelli forniti nella tua Q bloccherebbe le pubblicazioni di ricerca. È semplice matematica."Dipenderà da come appare la curva: anche se la maggior parte dei revisori si trova a 0,3 articoli recensiti / articolo inviato, una percentuale minore di revisori con un rapporto significativamente più alto sarebbe in grado di rendere la proprietà complessiva di 1: 1.
@nick012000 Ero a conoscenza di un commento del genere perché si può giocare con i numeri.Prima di tutto una piccola percentuale di revisori pesanti alza comunque la media.Assumendo un carico equamente distribuito, il rapporto dovrebbe essere almeno superiore a 1. In alcuni campi ci sono più di 10 autori, ma in molti 1 è comune.Gli arbitri normalmente sono almeno due.E molte riviste affermano tassi di rigetto molto elevati.Volevo trasmettere un messaggio e non dimostrare qualcosa.Modifico io.Grazie.
Poiché è la mediana che hanno citato, non la media, la cifra citata sarebbe meno suscettibile di essere distorta da un piccolo numero di valori molto grandi.
Barker
2019-09-17 03:26:03 UTC
view on stackexchange narkive permalink

Sono uno dei tuoi revisori di mistero. Lavoro nella ricerca nell'industria e ho ottenuto una reputazione positiva nel mio campo per il mio lavoro. In quanto tale, mi viene spesso richiesto di recensire articoli di riviste e poiché la mia combinazione di campi è relativamente rara, generalmente mi sento in dovere di contribuire a garantire la qualità dei contributi in quel campo attraverso la revisione di articoli (cosa che faccio spesso nel mio tempo libero).

D'altro canto, inviare articoli è più una funzione secondaria (o addirittura terziaria) del mio lavoro. Qualsiasi pubblicazione deve essere autorizzata tramite il nostro team di PI per determinare se dobbiamo prima ottenere un brevetto o anche cercare di proteggere la conoscenza come segreto commerciale. Quando pubblico, di solito è per stabilire il valore di un prodotto o fa parte di una collaborazione accademica in cui sono stato impegnato. Pertanto, pubblico solo circa una volta all'anno a ogni due anni.

Anonymous Physicist
2019-09-15 13:49:59 UTC
view on stackexchange narkive permalink

Questa è solo una teoria: i revisori più attivi sono gli editori di riviste di basso livello, che assegnano le revisioni a se stessi.



Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 4.0 con cui è distribuito.
Loading...