Se gli autori hanno fornito un collegamento al loro codice come riferimento, è opportuno offrire commenti, in particolare se l'articolo è basato sul codice.

Tuttavia, consiglierei di fare la critica costruttivo: offri suggerimenti concreti su come migliorarlo piuttosto che dire semplicemente che è "disordinato" o "sciatto" e deve essere "ripulito".

Il codice rientra nell'ambito della revisione ed è opportuno esaminarlo e offrire suggerimenti costruttivi in ​​relazione alle sue carenze. Ora, tieni presente che l'onere è dell'autore di soddisfare i revisori del loro argomento, e se l'argomento dipende da un codice del computer che è così disordinato da essere illeggibile, non è tuo compito risolverlo per loro. In questo caso, un consiglio costruttivo potrebbe limitarsi a spiegare perché attualmente è troppo difficile da leggere (cioè mancanza di rientranza, nomi di variabili poco chiari, ecc.), E questo potrebbe ragionevolmente portare a una raccomandazione per rivedere e ripresentare. Cerca di essere chiaro e completo nel descrivere il motivo per cui il codice è attualmente difficile da leggere, quindi ci si può aspettare che i successivi invii siano all'altezza.

La cosa migliore da fare in questi casi è trattare il codice del computer proprio come la prosa nel giornale. Proprio come con la prosa, il codice del computer deve essere chiaro e intelligibile, rispetto agli standard di codifica. Se è disordinato e incomprensibile, deve essere rivisto finché non è chiaro. I revisori non esitano a rifiutare i documenti quando la prosa è incomprensibile, quindi è perfettamente ragionevole richiedere che il codice del computer sia reso intelligibile.

Sì, dovresti commentare e possibilmente altro.

L'hai detto tu stesso:

Molti risultati nel documento dipendono fortemente dai calcoli del computer.

Bene, il codice del programma per i calcoli fa quindi parte del lavoro che stai rivedendo. Se il testo dell'articolo fosse difficile da leggere, non lo considereresti un punto debole? Logicamente, quindi, lo stesso vale per il codice (anche se è in misura leggermente minore).

Inoltre, se il codice è illeggibile per te, forse ci sono errori in esso, nonostante la matematica sana sotto. E infine, se puoi dire quali dovrebbero essere i risultati senza il codice, perché anche avere il codice?

Quindi, se ritieni che il disordine non precluda "l'analisi" del foglio, commentalo (e forse, se pertinente, ridimensionalo da Strong Accept a Weak Accept, anche se forse è troppo duro, dipende dalle specifiche.)

Se hai bisogno di leggere il codice per ottenere i risultati, e semplicemente non è possibile, allora questo è un problema più serio. Ma prima di dire qualcosa come "Richiede revisione", consulta l'editore della rivista / il presidente del comitato del programma / ecc.

_{Nota: sono un informatico, quindi la mia risposta potrebbe essere in qualche modo parziale. D'altra parte, ho scritto un documento di pura teoria senza codice.}

Il codice disordinato influisce sulla riproducibilità

Hai provato a riprodurre i loro risultati con il codice collegato e non sei riuscito a farlo. Sebbene tu implichi che alla fine sei stato in grado di sviluppare il tuo codice e replicare i risultati, io sostengo che il codice scritto male influisce sulla riproducibilità. Nella programmazione per computer, questo può essere ancora più importante, poiché i linguaggi di programmazione non hanno necessariamente una vita molto lunga. Chissà se il magma o qualsiasi altra lingua sarà di dominio pubblico tra 50 anni.

A lungo termine, la riproducibilità è la parte più importante dello sforzo scientifico. La prova che facendo a si ottiene b , un fatto che può essere riconfermato da chiunque abbia voglia di provare, è un mattone assiomatico su cui possono stare ulteriori risultati scientifici.

Se la riproducibilità è importante, non c'è niente di sbagliato nel dire loro di ripulire il loro codice. Francamente, se il loro codice è così pessimo come descrivi, sembra che gli autori avranno difficoltà a comprendere il proprio lavoro tornando ad esso in pochi anni. In tal caso, costringendoli a imparare un po 'su come scrivere un buon codice, faresti loro un favore.

Vorrei soffermarmi brevemente su un aspetto che non è apparso nelle risposte esistenti.

La mia domanda è: è ragionevole per me dire agli autori che il loro codice è inutilmente difficile da capito e dovrebbe essere migliorato?

Sì , dovresti commentare il codice, ma non solo quello: convincere gli autori che è in se stessi -interesse per risolvere questi problemi.

Il codice leggibile è un codice facile da riutilizzare. Il codice riutilizzabile è un codice che semplifica l'esplorazione della matematica presentata nel documento. È più probabile che la matematica esplorabile abbia lettori che trovano estensioni interessanti. Vengono pubblicate estensioni interessanti e quelle pubblicazioni citano il codice originale e, inoltre, forniscono alcune delle citazioni più preziose in circolazione.

Rendere il tuo codice leggibile e riutilizzabile non garantisce che ciò accada, ma se tu pubblica codice illeggibile stai creando una barriera artificiale di fronte a un lettore che potrebbe o non potrebbe continuare a fare ulteriori ricerche sulla base del tuo lavoro, e se ci sono abbastanza barriere di questo tipo, quel lettore si rivolgerà semplicemente altrove. Rendere il codice leggibile è un modesto investimento di tempo che si traduce in un grande miglioramento nell'estensibilità del lavoro.

Questo aumento di barriere, ovviamente, non è esclusivo del codice: non chiaro figure, struttura aggrovigliata, grammatica disordinata, lemmi mancanti e ogni sorta di altri problemi possono creare barriere simili, e il tuo lavoro come revisore include indicarle e aiutare gli autori a sbarazzarsene. Il codice non è diverso: aiutali a migliorarlo!

Non sono un accademico o un revisore di articoli / documenti a questo livello (aggiunto alla scuola di tecnologia), ma do molti compiti a casa di programmazione e l'esempio di documenti tecnici dispari, e mi occupo dello sviluppo di software per pagare effettivamente i conti.

Se l'articolo dipende dall'output del codice generato, allora il codice deve essere leggibile e comprensibile - altrimenti, il codice potrebbe non fare ciò che l'autore pensa di fare ed è impossibile per gli altri confermare con o la propria reimplementazione. Se tale reimplementazione è relativamente banale, allora sembra che il codice effettivo non sia importante, quindi mi chiedo perché il codice rotto per qualcosa che è facile da implementare in base alle specifiche sarebbe incluso o referenziato in un documento accademico.

Dato che sei stato in grado di verificare utilizzando il tuo codice di implementazione dei suoi algoritmi, non credo che sia così, ma dovrebbe essere preso in considerazione. Qualsiasi IDE decente o anche un editor di testo avanzato dovrebbe essere in grado di formattare automaticamente il codice e di eseguire ricerche / sostituzioni a livello di progetto (refactoring). Un po 'indica la pura pigrizia ....

Gli autori forniscono un collegamento nell'articolo , quindi il codice viene considerato un riferimento o parte della ricerca. Qualunque sia la situazione, questo solleva domande:

1. Il codice è archiviato? I modi pratici per archiviare il codice includono Zenodo o figshare. Il codice su una home page vale quanto nessun codice.
2. Esiste una licenza per il codice? In caso contrario, il suo stato non è affatto evidente.

In qualità di revisore, spetta a te decidere cosa fare. Le possibili azioni includono:

1. Non commentare il codice.
2. Commentare il codice con quello che chiamerei il minimo: richiedere che il codice sia archiviato e concesso in licenza correttamente .
3. A seconda dell'importanza del programma per computer nella ricerca, richiedono una quantità minima di leggibilità e che l'autore fornisca alcuni test sul programma (cioè che il programma fornisce risposte analitiche note se alcuni set di parametri lo consentono it, ecc.).

Per quanto riguarda l'archiviazione, puoi fare riferimento alle informazioni editoriali del Journal of Open Research Software.

Sono un ingegnere del software e voglio rispondere alla domanda da quella prospettiva. La maggior parte del codice non è leggibile di per sé. È necessario disporre di commenti per documentare le strutture di dati e le specifiche per le chiamate di subroutine. Gli accademici non sono ingegneri del software e non mi aspetto che facciano un lavoro professionale in questo senso. Tuttavia, è certamente per commentare la qualità del software. Senza guardare il codice vero e proprio, non sono sicuro che commenterei che è illeggibile, perché l'articolo (che è secondo testimonianze, sufficiente per riprodurre il codice) è da considerarsi parte della documentazione del programma. Se il programma usa nomi brevi, che sono gli stessi del giornale, non c'è problema. Il rientro mancante non è un'indicazione di bassa qualità, ma molti livelli di rientro lo sono. Ti suggerirei di esprimere la tua sensazione che trovi difficile leggere, ma che non sei nemmeno un esperto di codice, e magari chiedi a qualche ingegnere del software di esaminarlo. È un set di abilità diverso, sai. Questo dovrebbe sminuire il commento.

Per finire: ho fatto un buon lavoro nella pulizia del codice, che non capivo a livello di scopo. Sarai sorpreso di ciò che è capace di fare un esperto in un campo diverso.

In conclusione, il codice non è essenziale, la qualità del codice è secondaria e non dovrebbe influenzare la tua decisione in alcun modo.

A quanto mi risulta, gli autori non inviano il codice per la pubblicazione, quindi il codice non sembra essere soggetto alla tua revisione. Gli autori danno solo un collegamento al loro codice. Ciò solleva una domanda: se solo avessero fornito un riferimento al loro lavoro pubblicato altrove, avresti considerato di dire loro che quel lavoro dovrebbe essere migliorato? Si potrebbe obiettare che la validità dei loro risultati dipende dalla correttezza del loro codice, ma potrebbero scegliere di non fornire affatto l'accesso al codice, poiché "la matematica alla base di questi calcoli è spiegata sufficientemente bene che è possibile riprodurre i risultati senza utilizzando il codice degli autori ". Tu, in qualità di revisore, ti sei preso la briga di verificare i risultati del loro calcolo, andando così oltre e al di sopra del tuo dovere, ma ciò significa che i loro risultati sono effettivamente riproducibili.

Quindi penso che potresti menzionare che il loro codice è scadente (sebbene apparentemente corretto), ma ciò non dovrebbe influenzare la tua raccomandazione sulla pubblicazione / non pubblicazione del documento.

Non sono a conoscenza di alcuna rivista scientifica che basi le proprie decisioni sul codice. Che sia disordinato o meno non è una preoccupazione relativa al giornale. Che dovrebbe essere riproducibile dovrebbe essere un problema, ma non sono a conoscenza di alcuna rivista che lo renda un criterio, ad eccezione di alcune iniziative per alcune comunità, ad es. NIPS, CVPR. A mio parere, è già un bonus che abbiano scelto di rilasciarlo (e in alcuni casi le persone non sono nemmeno autorizzate a rilasciarli a causa delle regole della loro organizzazione). Se hai qualche affermazione che il codice non è corretto o non fa quello che si dice, potrebbe essere una storia diversa ma devi giustificarlo. Se vuoi solo fare un commento sulla sciatteria del codice, penso che dovresti chiarire il tuo commento e sottolineare che non influisce sulla revisione generale, sono d'accordo con un commento fatto in precedenza "convincere gli autori che è nel loro interesse personale per risolvere questi problemi ". Fai solo sapere che il tuo commento sul codice non è correlato alla revisione dell'articolo. Inoltre, non scoraggiare le persone che rilasciano il proprio codice anche se "disordinato".