Domanda:
Cosa devo fare se non riesco a riprodurre i risultati pubblicati sperimentali
bingung
2014-05-11 15:09:10 UTC
view on stackexchange narkive permalink

Ho trovato un consiglio utile se non riesco a riprodurre i risultati computazionali pubblicati in ( Cosa dovresti fare se non riesci a riprodurre i risultati pubblicati?). Tuttavia vorrei porre la stessa situazione con risultati sperimentali.

Vengo dalla chimica e spesso si tratta di sintesi di composti. So che ogni laboratorio del mondo non può essere identico anche se tutte le apparecchiature sono le stesse, perché molti fattori esterni come il clima, l'umidità, la temperatura del laboratorio, ecc. Possono interferire con l'esperimento.

Se ho seguito tutti i passaggi descritti in letteratura, dalla fonte e la purezza delle sostanze chimiche a ogni singolo passaggio descritto, ma ancora non riesco a riprodurre i risultati (evidenza di alcune tecniche di caratterizzazione), cosa posso fare? Devo contattare l'autore per fornirmi tutti i passaggi "nascosti" come la dimensione del bicchiere, ecc.? Oppure i revisori della rivista pensano che gli autori abbiano già divulgato informazioni sufficienti per consentire ad altri di riprodurle, quindi il lavoro rimanente per indagare su come riprodurre i risultati è su di me? Tuttavia a volte la descrizione è molto vaga, come "essiccazione in un forno sottovuoto a 50oC per 10 minuti", ma qual è il grado di vuoto?

(A volte le dimensioni del bicchiere possono avere un ruolo, poiché modo influisce sulla dimensione dei cristalli, anche sulla posizione dei composti essiccanti nel forno, ecc.)

Penso che il consiglio della domanda collegata si applichi anche qui. Prova a replicare il più possibile le condizioni sperimentali, cerca di ottenere eventuali passaggi "nascosti" se ce ne sono e se i risultati sono ancora molto distanti, hai due opzioni: a) prova a pubblicare i tuoi risultati in un confutazione / corrispondenza, oppure b) inviare una lettera all'editore spiegando che si teme che l'esperimento spiegato e i risultati riportati non corrispondano.
Tieni inoltre presente che i risultati pubblicati, anche quelli ampiamente citati, a volte sono semplicemente sbagliati. Basta chiedere a [Thomas Herndon] (http://en.wikipedia.org/wiki/Thomas_Herndon) chi ha trovato molteplici difetti in un documento di economia che è stato considerato canonico. Quindi, fai del tuo meglio per replicare l'esperimento, ma se non ottieni i risultati attesi, non essere eccessivamente sorpreso.
Tre risposte:
Stephan Kolassa
2014-05-11 22:47:34 UTC
view on stackexchange narkive permalink

Il commento di @ posdef è già molto buono.

Consiglio vivamente di contattare gli autori e cercare di ottenere un accordo esatto anche sui dettagli che non hanno descritto nel carta originale. Gli autori originali dovrebbero essere piuttosto interessati a una replica indipendente, quindi dovrebbero avere un incentivo a collaborare. A seconda di quanto contribuiscono, potrebbero anche sperare nella co-autore sulla tua carta.

Al contrario, se non collaborano, questa è un'altra informazione che dovrebbe essere incluso con tatto (!) nel documento che stai preparando.

Se sei fortunato nelle tue analisi, potresti essere in grado di identificare la circostanza esatta o il dettaglio non segnalato che fa la differenza tra riproducibilità e non riproducibilità , ed ecco il nucleo di un articolo originale tutto da solo.

D'altra parte, se non puoi riprodurre i risultati anche con l'aiuto degli autori originali, questo dovrebbe valere almeno una corrispondenza. Le riproduzioni sono importanti e ce ne sono troppo poche!

Mi separo dal commento di @ posdef in questo Sicuramente non invierei una lettera all'editore esprimendo preoccupazioni su rapporti e riproduzioni non corrispondenti. Ciò indica già un sospetto di illeciti scientifici da parte degli autori originali. E a meno che tu non abbia molto altro da fare, la semplice incapacità di riprodurre un risultato non dovrebbe essere considerata il risultato di un gioco scorretto. Ci sono così tante potenziali ragioni per la non riproducibilità, da quelle che hai menzionato al semplice errore casuale (aka, condizioni incontrollate), che non c'è davvero bisogno di implicare la disonestà. Tale implicazione può rovinare per decenni gli autori originali o la tua stessa reputazione nel campo, quindi non dovrebbe essere presa alla leggera.

Giusto per renderlo perfettamente chiaro, la mia opzione (b) che è scrivere all'editore, è solo un'alternativa. Non ho mai affermato che sia il migliore o quello giusto :)
dmckee --- ex-moderator kitten
2014-05-11 22:50:13 UTC
view on stackexchange narkive permalink

Non c'è niente di sbagliato o scortese nel contattare l'autore e chiedere aiuto in questa materia.

Dovresti identificare non solo chi sei, ma qual è la tua affiliazione istituzionale (e come immagino tu sei uno studente o un postdoc con cui lavori).

Dovresti spiegare cosa stai facendo (semplice replica, o stai cercando di utilizzare questo lavoro come un passo in un processo più ampio), uno schema di ciò che hai provato, quali scelte hai fatto su eventuali passaggi che non erano stati completamente specificati e come il tuo risultato non è stato soddisfacente (è possibile che l'autore abbia avuto bisogno di più tentativi per farlo funzionare e abbia visto la stessa modalità di errore prima).

asmi
2014-05-12 00:53:04 UTC
view on stackexchange narkive permalink

La soluzione più semplice è invitarli e lasciarli fare l'esperimento. Troverai cosa stanno facendo di diverso e poi potrai decidere insieme come procedere con la pubblicazione dei risultati.

_La soluzione più semplice è invitarli e lasciarli fare l'esperimento._ Non sembra proprio la cosa più _facile_ da fare.
dipende da dove vivono. Ma cercare di ottenere questi dettagli correttamente tramite e-mail o telefono può essere molto difficile negli esperimenti che coinvolgono artefatti / sostanze / hardware del mondo reale (al contrario del solo codice del computer, ad esempio). Potrebbe essere un rumore o una variabile non compensata nel tuo ambiente o configurazione, o viceversa, o entrambi. Quindi, se averli finiti non risolve il problema, si spera che ti invitino a tornare per una visita reciproca per ricontrollare con il loro apparato e l'ambiente.
"Solo il codice del computer" può essere * sorprendentemente * difficile da riprodurre. Alcuni colleghi hanno provato una volta a riprodurre un articolo pubblicato, con il * pieno * supporto degli autori originali in molte iterazioni, con molto avanti e indietro, ma non sono mai riusciti a ottenere una riproduzione esatta. C'erano semplicemente troppi problemi non documentati con la pulizia dei dati e così via. Cerca l'abstract di Syntetos, Boylan, Mohammadipour e Goodwin qui: http://forecasters.org/wp/wp-content/uploads/ISF2013_-ProgramBook_06202013.pdf
@StephanKolassa e non farmi iniziare con le versioni del compilatore e della libreria ...


Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 3.0 con cui è distribuito.
Loading...