Perché i ricercatori potrebbero essere riluttanti a condividere il proprio codice: nella mia esperienza, ci sono due ragioni comuni per cui alcuni / molti ricercatori non condividono il proprio codice.

Primo, il il codice può dare ai ricercatori un vantaggio importante per il lavoro successivo. Può aiutarli a fare un passo avanti rispetto agli altri ricercatori e a pubblicare più rapidamente le ricerche successive. Se i ricercatori hanno in programma di svolgere ulteriori ricerche, mantenere segreto il loro codice offre loro un vantaggio competitivo e li aiuta a evitare di essere scoperti da qualcun altro. (Questo può essere positivo o negativo; non prendo posizione al riguardo.)

Secondo, molto codice di ricerca è, beh, qualità di ricerca. I ricercatori probabilmente pensavano che fosse abbastanza buono per testare le ipotesi dell'articolo, ma questo è tutto. Potrebbe avere molti problemi noti; potrebbe non avere alcuna documentazione; potrebbe essere difficile da usare; potrebbe essere compilato su una sola piattaforma; e così via. Tutti questi possono rendere difficile l'utilizzo da parte di qualcun altro. Oppure, potrebbe essere necessario un po 'di lavoro per spiegare a qualcun altro come utilizzare il codice. Inoltre, il codice potrebbe essere un prototipo, ma non di qualità di produzione. Non è insolito prendere scorciatoie durante la codifica: scorciatoie che non influenzano i risultati della ricerca e vanno bene nel contesto di un documento di ricerca, ma ciò sarebbe inaccettabile per il codice di qualità di produzione distribuito. Alcune persone sono perfezioniste e non amano l'idea di condividere il codice con debolezze note o dove hanno preso scorciatoie; non vogliono essere imbarazzati quando gli altri vedono il codice.

La seconda ragione è probabilmente la più importante; è molto comune.

Come contattare i ricercatori: il mio suggerimento è di focalizzare nuovamente le tue interazioni con quei ricercatori. Quali sono i tuoi veri obiettivi? I tuoi veri obiettivi sono comprendere meglio i loro algoritmi. Quindi, inizia da quella prospettiva e agisci di conseguenza. Se ci sono parti del documento che sono difficili da seguire o ambigue, inizia leggendo e rileggendo il loro articolo, per vedere se ci sono alcuni dettagli che potresti aver perso. Pensa attentamente a come colmare eventuali lacune mancanti. Fai uno sforzo serio per conto tuo, prima.

Se sei a un livello di ricerca e hai fatto uno sforzo serio per capire, e ancora non capisci ... invia un'email agli autori e chiedi chiarimenti sui punti specifici che ritieni non siano chiari. Non disturbare inutilmente gli autori, ma se mostri interesse per il loro lavoro e hai una buona domanda, molti autori sono felici di rispondere. Sono solo grati che qualcuno stia leggendo i loro articoli e sia abbastanza interessato al proprio lavoro da studiarlo attentamente e porre domande perspicaci.

Ma assicurati di porre buone domande. Non essere pigro e chiedi agli autori di chiarire qualcosa che potresti aver capito da solo con più pensiero. Gli autori possono percepirlo e ti considereranno un parassita, non un collega stimato.

Molto importante: ti preghiamo di comprendere che la mia risposta che spiega perché i ricercatori potrebbero non condividere il loro codice è intesa come una risposta descrittiva , non una risposta prescrittiva . Non sto enfaticamente esprimendo alcun giudizio sul fatto che le loro ragioni siano buone o se i ricercatori abbiano ragione (o torto) a pensare in questo modo. Non prendo posizione sul fatto che i ricercatori debbano condividere il loro codice o meno; Sto solo descrivendo come si comportano si alcuni ricercatori. Quello che dovrebbero fare è una palla di cera completamente diversa.

Il poster originale ha chiesto aiuto per capire perché molti ricercatori non condividono il loro codice, ed è a questo che sto rispondendo. Le discussioni sul fatto che queste ragioni siano buone sono soggettive e fuori tema per questa domanda; se vuoi avere quel dibattito, pubblica una domanda separata.

E per favore, ti esorto a usare un po 'di empatia qui. Indipendentemente dal fatto che tu pensi che i ricercatori abbiano ragione o torto a non condividere il loro codice in queste circostanze, ti preghiamo di comprendere che molti ricercatori hanno ragioni che si sentono valide e appropriate per loro. Cerca di capire la loro mentalità prima di criticarli di riflesso. Non sto cercando di dire che le loro ragioni siano necessariamente giuste e buone per il campo. Sto solo dicendo che, se vuoi persuadere le persone a cambiare le loro pratiche, è importante prima capire le motivazioni e le forze strutturali che hanno influenzato le loro azioni attuali, prima di lanciarti nel tentativo di convincerle ad agire in modo diverso.

Appendice: secondo la raccomandazione di Jan Gorzny di leggere l'articolo su SIAM News che cita. È informativo.

Stephen, ho la tua stessa esperienza e la mia spiegazione è che il rapporto costi / benefici è troppo basso.

Preparare un pezzo di software, in modo che possa essere utilizzato da un altro persona, è difficile, spesso anche più difficile che scriverlo in primo luogo. Richiede, tra gli altri:

• scrivere documentazione e istruzioni di installazione,
• assicurarsi che il codice sia eseguibile su una varietà di computer e sistemi operativi (io codice su Ubuntu, ma puoi scrivere codice su Windows, quindi devo procurarmi una macchina virtuale Windows per assicurarmi che funzioni anche lì),
• rispondendo alle domande di manutenzione del modulo "perché ottengo questo e quell'errore di compilazione quando compilo il tuo programma sulla nuova versione di Ubuntu "(vai a capire. Forse la nuova versione di Ubuntu ha lasciato cadere qualche libreria richiesta dal codice? chi lo sa).
• prendersi cura delle dipendenze di terze parti (il mio codice potrebbe funzionare va bene, ma dipende da qualche file jar di terze parti il ​​cui autore ha deciso di rimuovere dal Web).

Inoltre, dovrei essere disponibile a rispondere a domande e correggere bug, diversi anni dopo laureato, quando già lavoro a tempo pieno in un altro posto e ho figli piccoli.

E tutto questo, senza ottenere alcun pagamento speciale o credito accademico per tutto questo impegno.

Una possibile soluzione a cui ho pensato di recente è quella di creare una nuova rivista, Journal of Reproducible Computer Science , che accetti solo pubblicazioni i cui esperimenti possono essere ripetuti facilmente. Ecco alcuni dei miei pensieri su una rivista di questo tipo:

I documenti inviati devono avere una sezione riproduzione dettagliata, con (almeno) le seguenti sottosezioni: - pre -requisiti - quali sistemi, software di terze parti, ecc., sono necessari per ripetere l'esperimento; - istruzioni : istruzioni dettagliate su come ripetere l'esperimento. - licenze : licenza open source o closed source, ma deve consentire l'utilizzo gratuito a fini di ricerca.

Il processo di revisione richiede che ciascuno di 3 revisori diversi, con background diversi, attraversi questa sezione, utilizzando computer e sistemi operativi diversi.

Dopo il processo di revisione, se il documento viene accettato per la pubblicazione, ci sarà un altro passaggio di pre-pubblicazione , che durerà un anno. Durante questa fase, il paper sarà a disposizione di tutti i lettori, che avranno la possibilità di ripetere l'esperimento e di contattare anche l'autore in caso di problemi. Solo dopo quest'anno, il documento sarà finalmente pubblicato.

Questa rivista consentirà ai ricercatori di ottenere credito per il difficile e importante lavoro di rendere il loro codice utilizzabile da altri.

EDIT: Ora vedo che qualcuno ci ha già pensato! https://www.scienceexchange.com/reproducibility

"Science Exchange, PLOS ONE, figshare e Mendeley hanno lanciato la Reproducibility Initiative per affrontare questo problema. È ora di iniziare premiare le persone che si prendono il tempo extra per svolgere il lavoro più attento e riproducibile. Gli attuali incentivi accademici pongono l'accento sulla novità, che va a scapito del rigore. Gli studi presentati all'Iniziativa si uniscono a un pool di ricerca, che sarà selettivamente replicato man mano che i finanziamenti diventano disponibili. L'iniziativa opera su base opt-in perché riteniamo che il consenso scientifico sul lavoro più solido, in opposizione al lavoro più citato, sia un segnale prezioso per aiutare a identificare risultati riproducibili di alta qualità che possono essere attendibilmente costruito per far avanzare la comprensione scientifica. "

Questo articolo su SIAM News fa luce sulla prima domanda, quindi potrebbe valere la pena dare un'occhiata. Sostiene, per un pubblico matematico, perché i ricercatori dovrebbero pubblicare il loro codice sorgente ed elenca molti dei motivi per cui potresti sentire perché i ricercatori non condividono il loro codice sorgente. Lo fa per un'analogia intelligente, che paragona la condivisione di prove matematiche alla condivisione del codice sorgente. Guarda; ha un elenco piuttosto ampio di ragioni per cui i ricercatori potrebbero preferire non condividere il loro codice sorgente (così come alcune risposte che sostengono che queste ragioni non sono buone).

Ecco una citazione:

Dieci principali motivi per non condividere il tuo codice (e perché dovresti comunque). Randall J. LeVeque. SIAM News, 1 aprile 2013.

Nella condivisione del codice ci sono diversi problemi:

• Il primo problema è il copyright, poiché alcune delle ricerche / progetti CS sono finanziati da alcuni industriali / organizzazioni di finanziamento che scoraggiano la condivisione informazioni sensibili come algoritmi, codice o software durante la pubblicazione in periodici pubblici.

• In effetti, ci sono documenti basati su determinati dati (raccolti dall'esecuzione del codice) che purtroppo vengono modificati manualmente dagli autori. Se condividono il codice, rilevare i loro errori / errori / modifiche diventa molto facile, portando al fallimento del loro MS / PhD o del loro progetto di ricerca, il che è indesiderabile.

• Nella ricerca CS e in particolare la pubblicazione, lo sviluppo di codice, in particolare un codice lungo e complesso, è un compito non banale e nella maggior parte dei casi è considerato un asset per fare soldi e generare carta. Condividendo il codice al pubblico, stanno svelando fatti in modo molto dettagliato che potrebbero degradare il loro contributo nelle ricerche future. Inoltre potrebbero non essere gli unici in grado di rigenerare l'articolo e dare credito a quella particolare ricerca e codice. Nella maggior parte dei casi, gli studenti del master scelgono un algoritmo o un metodo, lo modificano leggermente e presentano una tesi e un documento basati su di esso, che potrebbero contraddire i risultati e le affermazioni del primo autore. Ricorda Thoma Herdon, uno studente laureato che ha criticato i risultati di due eminenti economisti dell'università di Harvard ( qui è il collegamento). Se i codici in CS vengono rivelati, le conseguenze sono probabilmente catastrofiche (potrebbero non essere troppi casi, ma se accadrà sarà catastrofico).

• I codici sono proprietà vitali per la maggior parte dei ricercatori per condurre esperimenti e ricerche. Se hai un codice, puoi semplicemente giocarci e modificarlo per generare una nuova serie di risultati che potrebbero essere più preziosi dei risultati iniziali. Senza avere la paternità dell'autore iniziale, non c'è merito per loro.

Tuttavia, Elsevier ha recentemente introdotto una nuova funzionalità utilizzando COLLAGE chiamata Executable Papers che è attualmente disponibile per la rivista Computers & Graphics grazie alla quale sono disponibili codici e dati e i ricercatori possono modificare il codice e i valori di input con cui giocare.

Spero che aiuti.

Non sono un ricercatore CS di per sé, ma sto scrivendo codice Android per le mie ricerche in fisica atmosferica, quindi la mia visione è alquanto limitata. Tuttavia, posso dire dalla mia esperienza personale che gran parte del codice che sto sviluppando e testando fa parte di un progetto più ampio che il team di cui faccio parte sta sviluppando. È un mix delle regole a cui sono vincolato e della necessità di tenere nascosta una porzione di codice per il momento.