Domanda:
Ho trovato che i risultati pubblicati dal mio mentore erano sbagliati. Come dirglielo?
Peaceful
2016-09-11 16:12:42 UTC
view on stackexchange narkive permalink

Negli ultimi giorni ho cercato di riprodurre le cose in un articolo pubblicato (in una rivista piuttosto rinomata) dal mio campo. Il mio mentore postdoc è l'ultimo autore dell'articolo e il lavoro principale è stato svolto dai suoi collaboratori di un istituto diverso e un primo autore sta terminando il suo dottorato di ricerca.

Quando ho visto il documento, sono diventato immediatamente scettico perché si erano persi alcune cose ovvie, quindi ho riscritto tutto il codice da zero e, dopo una settimana di controlli e controlli incrociati, ho confermato che i loro risultati erano completamente sbagliato. L'ho detto a due miei fidati colleghi e mi hanno chiesto di dirlo al mio mentore. Tuttavia, sono abbastanza a disagio e confuso su questo.

Lo studente che è il primo autore ha basato gran parte del suo lavoro successivo su questi risultati. Ciò significa che anche il lavoro successivo dello studente potrebbe essere completamente sbagliato. La mia domanda è come procedere da qui? Posso chiedere al mio mentore di ritirare la sua carta? O dovrei chiederle il permesso di scrivere un commento sul giornale? Se faccio una di queste (o qualcos'altro che rivela che quei risultati sono sbagliati), sarei considerato colpevole di aver distrutto la tesi del primo autore?

Apprezzo davvero qualsiasi tipo di aiuto in questa materia. Grazie in anticipo.

Modifica : tutte le risposte e i commenti qui sono molto utili e vi ringrazio tutti per loro. Tuttavia, penso di essere stato leggermente vago mentre chiedevo. Capisco benissimo che potrei certamente sbagliarmi. Ma la domanda è: cosa faccio se non lo sono? In tal caso, cosa si dovrebbe fare? (Allo stato attuale, hanno sicuramente sbagliato almeno una trama perché va direttamente contro un famoso teorema fondamentale. L'ho avuto conferma da alcune persone sul campo.)

Perché così drastico? Perché non parlare con il tuo mentore delle tue preoccupazioni? Ricorda che potresti sbagliarti anche tu.
La risposta di Majid è assolutamente corretta. La cosa fondamentale qui è ** non ** entrare con affermazioni come "cose ​​ovvie mancate" o "i risultati sono completamente sbagliati". Siediti con lei e * chiedi aiuto * per riconciliare i tuoi risultati con quelli del giornale. Diverse persone (dal suono di esso più nella loro istruzione e carriera oltre a te) hanno lavorato alla carta. È stato sottoposto a peer review prima della pubblicazione. Sebbene sia del tutto * possibile * che tu abbia ragione, è (con rispetto) più probabile che tu abbia frainteso qualcosa.
"Capisco benissimo che potrei certamente sbagliarmi. Ma la domanda è: cosa faccio se non lo sono?" - è completamente il modo sbagliato di pensarci. Non sai se hai ragione o torto, ma devi agire comunque senza certezza. Pertanto, non è necessario e non è possibile utilizzare una linea di condotta applicabile solo se hai ragione. Al meglio delle tue conoscenze e capacità hai ragione. Il prossimo passo è per te e il tuo mentore capire se, al meglio delle tue conoscenze e abilità combinate, hai ragione.
Cioè, devi sapere come affrontare il tuo mentore con un * possibile * problema nel risultato. Non è necessario sapere come affrontare il tuo mentore con un * certo * problema nel risultato.
Considerando la tua modifica, penso che non * importa * quanto sei sicuro di essere corretto a questo punto. Penso che le tue azioni dovrebbero essere le stesse in ogni caso. Avvicinati al mentore e chiedile di chiarire i tuoi dubbi, evitando di inquadrarli come assoluti (questo è a beneficio sia del tuo ego - se hai torto - e del suo - se hai ragione - sia della tua relazione ). Se cerca di negare i tuoi dubbi senza chiarirli - beh, * allora * la tua certezza sulla questione sarebbe molto importante per decidere cosa fare dopo, ma questa è una domanda completamente diversa.
"Ehi, non posso riprodurre i tuoi risultati. Mi puoi aiutare? O non riesco a trovare un errore che ho fatto, o ho scoperto di aver sbagliato che hai fatto". Sai, solo per chiarire che sei tu quello che ha trovato l'errore, e non voi due insieme. Non si sa mai...
Pensavo di aver scoperto un grave difetto nella dimostrazione di un importante teorema quando ero uno studente laureato. Si è scoperto che, mentre alcuni problemi fondamentali venivano ignorati, il teorema si è rivelato corretto e la dimostrazione era "essenzialmente corretta". Tuttavia, ci sono voluti diversi mesi di lavoro dettagliato per capirlo. Questo lavoro è stato essenziale per rendermi abbastanza sicuro con la tecnologia pertinente per completare la mia tesi. Quindi persegui sicuramente questo: può essere solo una buona cosa.
"Ho riscritto tutto il codice da zero" - ** Big ** bandiera rossa. Il codice originale aveva almeno degli unit test che potevi usare per verificare che il tuo codice riscritto fosse corretto? E se lo ha fatto, ti sei astenuto dal riscriverli e hai confermato che sono passati con il tuo nuovo codice? Se la risposta a una di queste domande è "no", quanto sei sicuro che il problema siano i risultati precedenti e non un bug che è scivolato quando hai _completamente riscritto tutto il codice_?
@aroth: Buon punto! No ... i vecchi codici non hanno alcun test unitario (codici Fortran 77 puri senza una singola riga di commento!) Con diverse parti contenenti istruzioni `goto` invece di un ciclo` Do`. E sì .. mostrano la trama con autovalori negativi per il laplaciano (davvero? Https://en.wikipedia.org/wiki/Laplacian_matrix#Properties). Penso di aver postato dopo aver riflettuto molto anche se ho ancora le dita incrociate che potrei sbagliarmi e non loro.
Sarebbe possibile creare alcuni casi di test non controversi (ad esempio semplici problemi di cui si conosce già la soluzione) su cui eseguire sia il vecchio che il nuovo codice? Potrebbe essere utile sia per determinare che il vecchio codice era veramente rotto, sia per fornire un controllo di integrità che dica che il nuovo codice è almeno superficialmente valido.
Sette risposte:
Majid Abdolshah
2016-09-11 17:40:58 UTC
view on stackexchange narkive permalink

In effetti, credo che non esista un senso di colpa o rovina per il lavoro di altre persone quando si tratta dell'aspetto accademico della conoscenza. , se non lo condividi con il tuo mentore per risolverlo, potresti rovinare molte altre ricerche successive ...

Ti suggerisco di farlo con rispetto e attenzione. Puoi andare dal tuo mentore e parlare di questo problema. Puoi mostrarle il tuo codice e la tua comprensione dal foglio, quindi confermare se hai ragione o meno. Lascia che sia lei a decidere cosa può fare al riguardo. C'è anche una piccola possibilità che tu abbia commesso un errore tecnico durante le indagini sul loro lavoro, quindi tienilo a mente quando parli del problema.

Sì, la risposta è abbastanza soddisfacente, puoi avvicinarla e chiedere il loro codice e dirle che sto cercando di riprodurre i risultati ma ci sono alcune differenze che non riesco a risolvere, e sarà gentile da parte tua se puoi aiutare in quel caso lei non si sentirà male e se c'è qualcosa che non va, anche quello può essere corretto
Aggiungerei che è * davvero utile *, quando qualcuno ti si avvicina per dirti che hai torto, se può fornire alcune informazioni su cosa è andato storto. Se dicono "Ho scritto il codice da zero e ho ottenuto un risultato diverso", allora sai che non puoi avere ragione entrambi, ma non ti dice nulla su chi di voi (o entrambi) ha torto. D'altra parte, se dicono "il tuo documento afferma, e quindi suppongo che il tuo codice probabilmente si basi su, [questa cosa ovviamente sbagliata] ed ecco un documento che prova l'opposto di ciò che hai assunto", allora puoi immediatamente mettere in relazione ciò che hanno stai dicendo al tuo giornale.
(Non parlo come un accademico, ma come qualcuno che scrive codice per vivere. Ho scritto * molto * codice sbagliato che ha avuto bisogno di correzione da me o da altri).
Direi che è possibile rovinare il lavoro degli altri. Direi anche che è necessario rovinare il lavoro sbagliato, per il motivo che hai detto, altrimenti potrebbe rovinare altre ricerche future.
Il punto è che, se il lavoro è sbagliato, è già in rovina e la maggior parte dei mentori preferirà di gran lunga trovare il nostro subito e da qualcuno nel proprio gruppo, in modo che possano iniziare tranquillamente a sistemare le cose e affrontare l'imbarazzo pubblico alla volta quando hanno già provveduto a superarlo.
È dovere delle persone che lavorano nella scienza cercare di riprodurre di tanto in tanto il lavoro pubblicato da altri: ecco perché le persone pubblicano il loro lavoro. È anche loro dovere rivelare il loro successo o fallimento quando provano a riprodurre il lavoro pubblicato. (La scienza, la ricerca della conoscenza, soffre quando un lavoro irriproducibile non viene messo in discussione). Quindi questa risposta è corretta.
Oltre a metterlo fuori "con rispetto e attenzione", fallo con noncuranza. Non renderlo più un problema di quanto deve essere.
Davidmh
2016-09-11 18:13:04 UTC
view on stackexchange narkive permalink

Ti suggerisco di trattarlo come un processo di apprendimento. Dopo tutto, ci hai dedicato solo una settimana, mentre gli autori hanno speso molto di più, quindi c'è la possibilità che ti sbagli.

Quindi, con questa teoria di lavoro in mente, presenta i tuoi risultati al tuo fare da mentore e discutere con lei cosa pensi sia sbagliato nel loro lavoro e perché e chiederle di spiegare cosa potresti perderti.

Dopo la discussione dovresti, idealmente, capire perché hai sbagliato; convincerli di ciò che hanno fatto di sbagliato; o tutti voi acconsentite a non essere d'accordo sulla correttezza dei risultati. Nel secondo e terzo scenario, il tuo mentore dovrebbe essere in grado di suggerirti un percorso.

Non penso che dovresti chiedergli di ritirare il documento a meno che non abbiano mostrato grave negligenza nel processo di ricerca o addirittura imbrogliato ; dovrebbe dipendere da loro.

Sono completamente d'accordo. Il compito dell'OP è capire perché i suoi recenti calcoli producono risultati che sono in contrasto con il lavoro pubblicato dal suo mentore. Dovrebbe parlare con il mentore concentrandosi su questo. Le cose andranno naturalmente da lì. Se la spiegazione è che i calcoli dell'OP sono corretti e il lavoro del mentore non lo è, allora il mentore quasi certamente non avrà bisogno delle profonde implicazioni di ciò che le viene indicato. Cerca la verità, un passo alla volta.
Accettare di non essere d'accordo è positivo nelle controversie politiche, non quando si discute di cose che possono essere verificate sperimentalmente.
@TomášZato sfortunatamente, non è sempre così, perché gli esperimenti sarebbero proibitivi da eseguire in un breve lasso di tempo, o perché il disaccordo è nell'interpretazione.
Dirk
2016-09-11 20:03:12 UTC
view on stackexchange narkive permalink

Penso che ci sia una risposta semplice. Da quello che hai scritto sembra che tu "non sei riuscito a riprodurre i risultati" piuttosto che "hai dimostrato che i risultati sono sbagliati". Anche se il primo è spesso un'indicazione per il secondo, non è necessario che sia così (soprattutto perché hai "riscritto l'intero codice").

Ora concentrati su una soluzione invece che sul problema. Quello che dovresti fare è: Avvicinati al tuo mentore dicendo: "Ho cercato di riprodurre i risultati dell'articolo in questo e in quel modo e sono finito con conclusioni diverse". Da lì in poi la storia potrebbe evolversi in modo diverso: potrebbe essere che ci sia un malinteso sulle "cose ​​ovvie mancate", potrebbero ancora esserci bug nel codice, potrebbe essere ambiguo il documento su alcune cose, inoltre potrebbe essere che c'è qualcosa che non va ...

In questa discussione assicurati di essere di mentalità aperta e libero da pregiudizi. Ad esempio: quando qualcuno in una discussione scientifica mi dice qualcosa che penso sia sbagliato o fasullo, ottengo una risposta molto migliore e utile quando dico "Scusa, non l'ho capito, puoi dirlo diversamente?" di "Non ha senso".

Questo - anche se credi (o addirittura sai) di avere ragione, spesso è più facile convincere qualcuno a impegnarsi chiedendo aiuto per dove hai sbagliato. Lascia che quella persona si renda conto che ha torto piuttosto che iniziare dicendo loro che ha torto.
+1: "Ho provato a riprodurre i tuoi risultati e non ci sono riuscito. Dove ho sbagliato?" l'approccio è perfetto. Non si presenta con un atteggiamento "ti sbagli", chiede aiuto e consente al mentore di dire: "Ehi, sembra che ci sia un problema nell'originale", SE decidono che questo è il Astuccio.
Gimelist
2016-09-12 05:22:52 UTC
view on stackexchange narkive permalink

Consiglierei che invece di parlare direttamente dei difetti del loro lavoro, adotti un approccio per spiegare quello che hai fatto.

Ecco un esempio:

Ciao Sig.ra Mentoress, ho una domanda su quel documento che hai pubblicato con i coautori A, B e C qualche tempo fa. Quindi stavo cercando di riprodurre i risultati con il codice che ho scritto da solo e non sono riuscito a farlo funzionare. Puoi dare un'occhiata e aiutarmi con questo?

Ci sono diversi motivi per utilizzare questo approccio:

  1. Non stai incolpando nessuno per qualsiasi cosa e non sei aggressivo. Le ritrattazioni e i Mi piace non sono in discussione ora, e non dovrebbero esserlo fino a quando l'errore non sarà compreso da tutte le parti coinvolte.

  2. C'è una piccola possibilità che tu abbia torto e non loro. Questo ti eviterà l'imbarazzo di incolpare qualcuno per aver sbagliato, mentre in realtà aveva sempre ragione.

  3. Nel caso tu abbia ragione, il tuo mentore se ne accorgerà da solo che in effetti aveva torto. Ti terrà in grande stima per questo, perché nella sua mente ora sei uno scienziato che può testare rigorosamente il lavoro di altre persone, che in questo caso era il suo. Questo creerà ponti invece di bruciarli

  4. Nel caso in cui risulti in un commento o un documento di discussione, ci sono buone probabilità che tu sia coautore con quel gruppo di persone che molto probabilmente proveranno a correggersi. Poiché si tratta probabilmente di persone con una certa reputazione che hanno pubblicato su riviste di alto rango, questo ti metterà insieme alle persone con cui vuoi essere in buoni rapporti, non contro di loro.

C'è la possibilità che abbia a che fare con hardware obsoleto non più disponibile? l'OP non ha menzionato di cosa trattasse il codice, quindi è probabile che potrebbe essere una sorta di benchmark e sappiamo che il benchmark cambia nel tempo
@DarioOO Sembra strano che l'OP cerchi di replicare un benchmark su hardware diverso da quello descritto nel documento e poi si confonde quando il risultato è diverso.
Sinan Ozel
2016-09-12 08:11:47 UTC
view on stackexchange narkive permalink

Per esperienza personale, so che potrebbe essere molto difficile replicare i risultati. Consiglierei innanzitutto di porsi le seguenti domande: Posso spiegare in una o due frasi cosa guida i risultati del tuo mentore? Posso fare la correzione che ottiene risultati che ritengo corretti? Questi risultati sono fondamentali per l'articolo?

Consentitemi di elaborare: dovete essere in grado di dire "Ottieni il risultato Y solo perché hai fatto X. Ma X è una metodologia errata perché Z. Quando provo a replica il tuo risultato, invece di X, io faccio X ', e poi il tuo risultato Y scompare. Questo è importante perché il tuo risultato Y è centrale per la carta. "

Se puoi inserire le variabili in queste frasi, quindi potrebbe essere il momento di parlare con il mentore. Si tratta quindi di essere diplomatici. Assicurati che capiscano la tua intenzione di discuterne solo con il tuo mentore e assolutamente senza terze parti. (Non dirlo direttamente, ma lascia che questo sia il tuo approccio e lascia che lo mostri.) Consiglierei anche di de-personalizzare il problema nella grammatica: dì "questi risultati" invece di "i tuoi risultati".

Infine, dovresti anche parlarne? La decisione spetta a te e non c'è una risposta chiara; ma è funzione delle risposte alle seguenti domande: da quanti anni conosci il tuo mentore? Quanto sei bravo a fare il diplomatico? Quanto è insicuro il tuo mentore come persona? Cosa hai da guadagnare o perdere in caso di go / no go?

Toglierei l'ultimo paragrafo. Oltre a questo - risposta forte e utile.
Tom Au
2016-09-14 09:52:15 UTC
view on stackexchange narkive permalink

In questo momento, non sai che il documento del tuo mentore è "sbagliato". Quello che fai sai è che i tuoi risultati differiscono dai suoi.

Poiché è il tuo mentore, la avvicinavo con questo spirito e le dicevo: "Stavo cercando di replicare il tuo carta e ha ottenuto risultati completamente diversi. Uno di noi sta facendo qualcosa di sbagliato, e probabilmente sono io. Potresti spiegare perché i tuoi risultati sono così diversi dai miei?

È possibile che indichi qualche errore nella tua logica o codice e ti risparmierai l'imbarazzo di fare una falsa accusa. È anche possibile che tu abbia ragione e, camminando piano, la manterrai dalla tua parte. Se hai ragione, lo farai dalle la possibilità di essere un "eroe" contattando gli altri coinvolti nel giornale e suggerendole che deve essere corretto. Dentro di sé, ti sarà grata per averla salvata dall'imbarazzo.

David Richerby
2016-09-14 15:32:31 UTC
view on stackexchange narkive permalink

Posso chiedere al mio mentore di ritirare il suo compito?

Puoi chiederle qualsiasi cosa. Ma non dovresti. Non dirle cosa fare; piuttosto, dille quello che hai trovato. Se il documento è sbagliato, dovresti presumere che gli autori si comporteranno con integrità e intraprendano l'azione appropriata: quasi sempre lo faranno.

Una ritrattazione è assolutamente l'ultimo passaggio, che accadrà solo se il documento è sbagliato e non può essere corretto. Non è qualcosa di cui parli la prima volta che dici che sembra che ci sia qualcosa che non va: sarebbe un po 'come iniziare una conversazione con "Non riesco a trovare il mio telefono. L'hai visto? La pena massima per furto è dieci anni di prigione. "

O dovrei chiederle il permesso di scrivere un commento sul giornale?

No. A livello tecnico, non è necessario il permesso di nessuno per scrivere e pubblicare il proprio lavoro. Tuttavia, se finisci per pubblicare qualcosa che dice "X è sbagliato", è educato farlo sapere in anticipo agli autori di quell'opera. Può anche far risparmiare molto tempo, perché significa che ci sono più persone che lavorano alla correzione (tu e loro) e alcuni di loro sono i più grandi esperti al mondo su quella particolare cosa (loro: anche se sono i più grandi del mondo esperti di una cosa sbagliata, sanno molto di più di quello che hanno fatto di te).

Ma non sei ancora pronto per scrivere nulla. Parla con il tuo mentore di ciò che hai trovato e cerca di trovare una soluzione insieme. L'unico motivo per continuare senza di lei è se rifiuta di collaborare. In tal caso, poiché sei in una fase iniziale della tua carriera, ti consiglio vivamente di trovare qualcuno più anziano con cui lavorare, poiché scrivere documenti "X è sbagliato" è piuttosto delicato.

Se faccio una di queste (o qualcos'altro che rivela che quei risultati sono sbagliati), sarei considerato colpevole di aver distrutto la tesi del primo autore?

No, per niente. Proprio come non sei colpevole di distruggere la libertà di qualcuno se chiami la polizia quando lo vedi commettere un crimine. Se le persone producono un lavoro che non è corretto, è solo colpa loro.

@LeonMeier Ho scritto un articolo che dice che X è sbagliato. Ma, in matematica, si può almeno fare una simile affermazione oggettivamente.
Il documento è stato pubblicato. X era un'affermazione pubblicata fatta da un gruppo di persone, supportata da una prova errata.
Ovviamente era serio / rispettabile e sottoposto a revisione paritaria. Il suggerimento che potrei pubblicare da qualche parte non serio / non rispettabile / non sottoposto a revisione tra pari è, ehm, non molto lusinghiero.
@LeonMeier Mi scuso per non essere chiaro, ma sono stato un po 'insultato dal suggerimento di pubblicare il mio lavoro in qualsiasi altro modo e di chiamarlo "documento pubblicato".
Non descriverei un rapporto tecnico o il lavoro di qualcun altro come un documento pubblicato.


Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 3.0 con cui è distribuito.
Loading...