In genere, in qualità di revisore, ti viene richiesta la tua opinione sulla correttezza del documento e sul suo significato (importanza, livello di interesse, ecc.). Evidentemente in questo caso pensi che i risultati non siano abbastanza significativi o abbastanza interessanti da pubblicare su questo giornale, quindi dovresti dirlo nella tua recensione. Se possibile, dovresti spiegare perché la pensi così: gli autori non forniscono applicazioni convincenti, i risultati sono solo un miglioramento marginale di ciò che è noto, ecc.

Questo non è un motivo per rifiutare la recensione . Pensare che il documento non sia interessante non è un "pregiudizio".

Se gli editori non sono d'accordo con la tua valutazione, sono liberi di ignorarlo e pubblicare comunque il documento. Ma hai la responsabilità di dare la tua opinione onesta.

In effetti, ti suggerirei di valutare l'interesse del documento prima di iniziare a verificarne attentamente la correttezza. Se ritieni che non sia abbastanza significativo da pubblicare, anche se corretto, puoi informare gli editori e risparmiare tempo.

Ci sono alcune eccezioni, in cui gli editori possono solo essere interessati a sapere se ritieni che il documento sia corretto. Forse sono già convinti che sia sufficientemente importante (dalle loro stesse opinioni o da altri revisori), o forse "importanza" non è un criterio per la pubblicazione in questa rivista (ad esempio PLOS One). In tal caso, l'invito alla revisione dovrebbe chiarirlo; in caso contrario, considera l'importanza del documento come parte della tua recensione.

tl; dr: Lascia che il giornale cerchi di convincerti che non è inutile; in caso contrario, potresti giudicarlo duramente.

Facendo riferimento alle tue tre opzioni:

Rifiuta la recensione perché sei prevenuto e incapace di produrre una recensione corretta.

Non hai pregiudizi nei confronti del documento specifico o dell'autore specifico, hai un'opinione riguardo al significato di tali documenti. Ma assicurati di non pre-giudicare un articolo specifico perché non ti sono piaciuti quelli esistenti che si trovano a metà strada tra teoria e pratica.

Bene, il documento è corretto, non lo è esso? Giudica esclusivamente in base al contenuto.

Stai "rovinando" questa risposta aggiungendo una domanda retorica irrilevante. Stiamo parlando di rilevanza e significato, non di correttezza. Giudica sempre dal contenuto; ma - il contenuto deve includere un argomento per il significato e la pertinenza se questi non sono immediatamente evidenti. Per questo, il contesto è significativo.

L'editore ha chiesto la tua opinione e pensi che l'articolo non debba essere pubblicato. Dì così: "È corretto, ma questa linea di ricerca è inutile. Sì, so che ci sono centinaia di documenti all'interno di questa linea, ma quelli non sono affari miei e sto attualmente esaminando questo documento".

Non dirlo finché non hai letto il giornale e non sei stato altrimenti convinto. Inoltre, ancora una volta, la "correttezza" non è il problema.

La linea di fondo è riassunta nel tl; dr sopra.

PS - Un articolo può avere un metodo molto interessante per dimostrare un risultato non molto utile e questo potrebbe essere un motivo indipendente per accettarlo.

Avrei scelto e avrei scelto l'opzione 3. Tuttavia, la formulo diversamente. Esprimi il tuo punto usando termini neutri, quindi il focus è sul tuo argomento piuttosto che sulla tua valutazione. Ciò è utile all'editore, indipendentemente dal fatto che sia d'accordo con i tuoi punti o meno. Un disaccordo professionale non è un motivo per essere inserito nella lista nera.

Stimi che circa la metà degli articoli in una delle riviste più importanti rientri in questa classe di articoli "inutili". Onestamente, per me questo dice che la tua visione di ciò che è "inutile" è così fuori linea con ciò che pensa la comunità nel suo insieme, che non dovresti dare consigli su articoli su quell'argomento.

Come editor, l'opzione 3 è esattamente ciò che vorrei che esprimessi. Come editore, e come membro della comunità, sono d'accordo che pubblichiamo molti articoli che sono davvero (i) inutili, o almeno (ii) fanno un lavoro piuttosto scarso motivando il motivo per cui qualcuno dovrebbe preoccuparsene.

Quindi, per porre la domanda "Perché dovrebbe importare a qualcuno?" è davvero uno dei compiti più importanti di un revisore. Se pensi che dovremmo preoccuparci, puoi verificare la correttezza tecnica, ma sono completamente d'accordo che un documento inutile, tecnicamente corretto o meno, non dovrebbe essere pubblicato. È compito del redattore chiedere ai revisori anche di questo problema.

(Aggiungerò che ho difficoltà a vedere qual è il punto anche di molti documenti che trovo. Ma ho anche imparato che non tutti i documenti fanno un lavoro particolarmente buono nello spiegare qual è il punto, e questo non equivale a non esserci un punto. Ciò è particolarmente vero per molti documenti di matematica pura che essenzialmente non contengono introduzioni che contestualizzino il risultato. Ciò non significa che non esiste un contesto in cui il risultato non sia pertinente: significa solo che devi essere un esperto nel campo per vederlo. Sospetto che molti documenti di matematica applicata e altre aree rientrino nella stessa categoria: capire il punto quando si conosce abbastanza il problema, cosa che la maggior parte di noi non conosce. Naturalmente, questo non confuta il fatto che ci sono molti documenti che sono veramente inutili.)

È corretto, ma questa linea di ricerca è inutile.

Teoria dei numeri. Sono d'accordo che il modo in cui l'hai descritto suona come risultati davvero minori. Ma d'altra parte, credo che i risultati minori siano stati quasi sempre i trampolini di lancio in matematica. E se pensi che la "linea di ricerca" stessa sia inutile, non posso fare a meno di pensare alla teoria dei numeri. È stato considerato inutile con i problemi dei giocattoli fino alla crittografia.

Quindi, sto dicendo che non puoi davvero giudicare se una linea di ricerca rimarrà sempre inutile o se i problemi dei giocattoli diventeranno problemi interessanti in futuro perché non possiamo conoscere il futuro.

Ho posto una domanda molto simile qui:

A cosa serve la ricerca ingegneristica priva di rilevanza pratica?

Tuttavia, la maggior parte delle risposte mi ha rimproverato per non aver visto l'utilità della "ricerca inutile" (nelle tue parole). Se solo questi rispondenti avessero visto i giornali io ho visto !! Sono troppo gentile per pubblicare questi documenti di ricerca qui, ma quando usi l'algoritmo genetico per allocare i fertilizzanti (nel 2017, quando ci sono metodi di ottimizzazione estremamente robusti), potresti fare qualcosa di sbagliato. Quando riscoprite il processo decisionale di Markov, state facendo qualcosa di sbagliato. Quando si modella il comportamento di acquisto degli esseri umani reali come sistema dinamico (con zero stocasticità coinvolta) e si propone una funzione di Lyapunov per "mostrare convergenza", si sta facendo qualcosa di sbagliato. Non si tratta di matematica, ma di presupposti e rilevanza pratica.

Per il bene di produrre una buona ricerca, pur essendo protetti dai nostri pregiudizi, il meglio che possiamo fare è evidenziare e mettere in discussione (e interrogare ripetutamente) la rilevanza pratica di queste "ricerche inutili".

Non dovremmo aver paura di chiedere cose come: "Come puoi estendere i tuoi risultati? Come può essere implementato ? quale vantaggio porta rispetto ad alternative apparentemente migliori e più ampiamente utilizzate? Perché l'applicazione del tuo documento è così limitata? C'è comunque da usare l'algoritmo proposto per un problema non legato ai giocattoli "

o

"perché dovrebbe interessare a qualcuno?"

Questo è l'unico modo in cui possiamo competere con la ricerca nell'industria e salvaguardare il prestigio del titolo di "accademico", se non la qualità di ricerca in una particolare università o anche in un intero paese.

È noto che alcuni paesi producono un'enorme quantità di ricerche inutili e penso che abbia danneggiato molto profondamente la reputazione dei ricercatori di quei paesi.

Alla tua domanda, se trovi che l'applicazione è troppo specifica, o che l'algoritmo è troppo limitato, ti consiglio di non trattenerti quando decidi se premere o meno il pulsante di rifiuto. Ma sicuramente discuterne prima con diversi colleghi, un consenso dovrebbe essere raggiunto rapidamente se il documento in questione è davvero inutile.

Questo è l'unico modo in cui il mondo accademico può innovare. Ho visto persone fare la stessa cosa che hanno fatto 20 anni fa, solo con piccole modifiche nella configurazione, in modo che un algoritmo appaia leggermente diverso da quando è stato proposto per la prima volta circa 20+ anni fa. È tempo di un cambiamento serio.

Quando ho letto la tua domanda e sono arrivato al passaggio "pagine e pagine di equazioni, incoronate ... o il criterio di stabilità di Lyapunov", la mia reazione è stata che, se questa è una descrizione accurata dell'articolo, dovresti dirlo l'editor esattamente questo.

Ammetto il mio pregiudizio qui: una volta ho ricevuto un articolo che un revisore ha liquidato come "una soluzione alla ricerca di un problema" (essenzialmente lo stesso di "questo è inutile") quando:

1. Quell'articolo era parte integrante di un progetto più ampio
2. Quell'articolo è stato citato 33 volte ed è ben al di sopra del mio h-index personale.

Quindi io Sono un po 'scettico riguardo alla capacità delle persone di valutare ciò che è utile.

Personalmente, tendo a rivedere i documenti in base ai loro meriti tecnici: per me, rifiutare qualcosa, deve essere fatto male, completamente sbagliato, "Questo non dice quello che pensi che dica", ecc. Piuttosto che semplicemente "Non mi piace". Tuttavia, posso lasciare agli autori un commento sul fatto che i risultati necessitano di un collegamento più saldo a qualche risultato pratico (sono in un campo in cui i risultati pratici contano e "è interessante per se stesso" è raramente accettato).

Nei commenti alla sezione dell'editor, noterei che non penso che il documento avrà un grande impatto, ed è uno dei numerosi esempi del campo che va giù in una tana di coniglio inutile. Ma lascerei al loro giudizio editoriale determinare se pensano che sia un motivo per non accettare qualcosa.

Vorrei offrire una risposta leggermente contraria, forse controversa, ma pensaci.

Hai perfettamente diritto alla tua valutazione del manoscritto; dopotutto non verresti contattato se non hai le credenziali appropriate. Hai anche ragione quando dici che questo documento è affar tuo e non altri documenti simili. Ti esorto a fare un passo avanti e a considerare l'impatto della tua decisione.

In qualità di accademico responsabile , potrebbe essere utile pensare se è probabile una decisione di "rifiuto" per modificare il numero di articoli "cambio parametro" pubblicati. Improbabile: è più probabile che l'editore lo consideri un caso isolato. Sicuramente solleva una voce, ma se come dici tu, il 50% degli articoli pubblicati sono simili, quella voce verrà soffocata.

Ora considera l'effetto sugli autori: hanno visto molti articoli simili pubblicati nella stessa rivista. Può anche essere che abbiano scelto questo giornale proprio per questo motivo. Per loro, questa sembrerebbe una decisione ingiusta e parziale. Questo non aiuta il loro morale e, per un giovane ricercatore, potrebbe essere demotivante. È un po 'ingiusto che vengano individuati. (Sì, il processo di revisione è probabilistico e le disuguaglianze sono inevitabili, ma forse potremmo fare la nostra parte per ridurle, quando possiamo.) Quando il ricercatore è demotivato, è meno probabile che comprenda argomenti sfumati (ad es. ma inutile) e prendili con lo spirito giusto. L'articolo sarà probabilmente soggetto a piccole modifiche e inviato a una rivista simile, dove potrebbe essere pubblicato. Tu, come revisore, hai poche possibilità di cambiare le tendenze di ricerca dell'autore da solo. Alla fine, avrai la soddisfazione di aver affermato il tuo punto (molto importante per la scienza!), Ma oltre a questo, a chi oa cosa è servito?

A mio avviso, un'alternativa sarebbe quella di rivedere questo documento (rigorosamente) sulla base della sua pertinenza e correttezza (lasciando da parte la pertinenza) o di rifiutare la recensione. Certamente quanto sia interessante un articolo dovrebbe tener conto di una revisione regolare, ma dati i tuoi forti sentimenti su questo giornale / tipo di articolo, questa non è davvero una recensione regolare. Lo ribadisco: non credo che sia così che dovrebbe essere fatta ogni recensione, questo è un caso speciale.

Se sei serio nel tuo obiezione al tipo di articoli pubblicati, dovresti invece usare la tua posizione accademica per scrivere alla redazione, sollevare questo problema in conferenze o prendere posizione in forum pubblici. Per lo meno, la conversazione andrà oltre te, un editore e un autore. Potresti scoprire che molti altri sono d'accordo con te e questo potrebbe essere un passo avanti per dare un contributo davvero significativo. Anche se ciò non accade immediatamente / visibilmente, saprai di aver attaccato la causa principale, non il sintomo.

L'incarico di arbitro viene offerto nel contesto in cui sai cosa è accettabile e appropriato per quel diario. Se uno crede che la metà di ciò che è pubblicato in quel giornale non sia appropriato a causa dell'area in cui si trova il lavoro, allora quella persona non è un arbitro appropriato per quell'area per quel giornale. Il PO dovrebbe rifiutarsi di rivedere tali documenti.

Questa è un'ottima domanda. Sono stato "dall'altra parte" della situazione: ho inviato il mio articolo che "potrebbe" risolvere un problema del mondo reale, ma il giornale ha fatto solo una simulazione su un problema giocattolo / artificioso.

Dichiarazione del problema : l'esecuzione di tutti i test di regressione può richiedere molto tempo per un team / organizzazione / azienda. Se potessimo programmare i test dalla lente della teoria dei giochi considerando la testabilità come una competizione tra tester e sviluppatori, potremmo ottenere una pianificazione superiore rispetto a "qualsiasi" tipo dello schema di prioritizzazione che si potrebbe inventare.

Questo è davvero molto difficile da fare su un sistema reale con persone reali con test reali. In effetti, non abbiamo nemmeno dati sul "successo" dei test anche se utilizziamo software open source (ovvero, quali test hanno avuto più successo nell'identificare problemi / bug).

Il meglio che possiamo fare in questa situazione è astrarre tutto ciò che riguarda il "mondo reale" e solo concentrarci sull ' algoritmo a portata di mano. Abbiamo provato a modellare tutti gli algoritmi conosciuti di prioritizzazione in modo simile in modo che una simulazione potesse darci qualche idea sulla sua efficacia.

Abbiamo ricevuto commenti sulle linee che suggerisci:

... Io (revisore) sono d'accordo con qualsiasi direzione di ricerca, ma questo è così inverosimile che gli autori immaginano questo problema nella loro testa quando non esiste. Non ci sono prove di alcuna concorrenza tra tester e sviluppatori nella realtà e questo non è nemmeno applicabile in natura.

Questo ci ha colti di sorpresa: a quanto pare, i revisori si sono concentrati più sulla "formulazione" del problema che su ciò che stavamo proponendo. La premessa del nostro articolo era di proporre un modo migliore per dare priorità e programmare i test di regressione in modo da ottimizzare la possibilità di trovare bug randomizzando i test w.r.t. modelli teorici del gioco. Questo è se possiamo eseguire solo il 10% dei test, che da eseguire (in modo casuale) massimizzerebbero le nostre possibilità di trovare bug a un livello di confidenza del X%.

Quello che sto cercando di dire è , sarebbe stato davvero bello se alcuni dei revisori avessero fatto un passo indietro e valutassero l'articolo dal POV del problema rispetto a tutto il resto. Alcuni revisori hanno pensato che fosse inutile: abbiamo pensato che fosse un fantastico nuovo POV che non era mai esistito prima e quindi abbiamo scritto un articolo per esprimere l'idea là fuori. Pochi hanno avuto un bel po 'di persone a cui è piaciuta l'idea, ma molti non l'hanno capito (o sono stati influenzati dal loro pregiudizio).

Quindi ti esorto vivamente a vedere il problema reale che viene risolto: è un problema interessante ? Può essere risolto in altro modo? Cosa c'è di meglio nel "loro" modo? Puoi tu, il revisore, immaginare una possibile applicazione? Il giornale lo richiama? Quali sono i pregi di questo approccio?

Se il documento regge alla domanda di cui sopra, allora potrebbe essere un candidato per l'accettazione anziché essere una direzione di ricerca inutile. Nota, le persone che scrivono il documento sono più profondamente coinvolte nel problema e hanno un'idea della sua applicabilità (o non lo sono affatto, e il revisore dovrebbe aiutare in questo).