Questo genere di cose accade sia nelle scienze sociali che nelle scienze fisiche. Ad esempio, spesso uno scienziato raccoglierà dati per testare una teoria, ma raccoglierà anche molti dati estranei. Le analisi su questi dati estranei spesso dovrebbero essere considerate esplorative ed etichettate come tali (perché risultati significativi potrebbero essere dovuti a test multipli) [Come altro esempio, non vuoi sapere quanto spesso i chimici ripetono un esperimento finché non ottengono una buona resa , quindi fermati e segnala quel risultato senza menzionare che è stato il migliore in 20 esperimenti!]

La soluzione più veloce è accettare di fare le analisi multiple, ma poi dire cosa hai fatto nella sezione metodologia. Se dici di averlo analizzato in diversi modi e un modo ha mostrato significato, i lettori possono decidere se credere o meno al risultato. Dì ai tuoi coautori che non menzionare che hai fatto più analisi significa lasciare la ricerca descritta in modo improprio.

Tuttavia, puoi (occasionalmente) salvare la situazione. Se, ad esempio, hai fatto 10 analisi diverse e hai scelto la migliore, starai bene se il risultato rimarrebbe sotto una correzione di Bonferroni (cioè invece di richiedere significatività al livello 0,05, richiedi significatività ai test 0,05 / # livello). Quindi se il test finale mostra un valore p come 0,000001, probabilmente sei su un terreno sicuro.

Un altro approccio è decidere a priori che alcuni test sono ovvi (di conferma) e alcuni stanno semplicemente cercando dati (esplorativi). Quindi puoi dimostrare i risultati di conferma, etichettando qualsiasi cosa interessante tra i risultati "esplorativi" come "necessita di ulteriori ricerche". Cioè, puoi combinare test ben fondati con "dragaggio dei dati" purché riconosci la differenza tra le due serie di test.

Ma se non è possibile salvare il risultato, io " Insisto che descrivano quello che hanno fatto, con il commento che se sono imbarazzati nel descriverlo, non avrebbero dovuto farlo. :)

Potresti anche aggiungere che spesso è ovvio (almeno per gli statistici) che un ricercatore ha tirato fuori questo trucco. Quando vediamo un test isolato che non ci verrebbe in mente come un approccio ovvio, o un'ipotesi che non scegliamo a priori, sembra sospetto. Ad esempio, di recente ho letto un articolo che affermava che un certo gruppo di persone tende a suicidarsi più spesso se fosse NATO in primavera. Era chiaro che SOLO testare l'effetto della nascita in primavera non era qualcosa che sarebbe accaduto a nessuno, senza testare l'effetto della nascita in altre stagioni. Quindi probabilmente hanno avuto un risultato spurio a causa di confronti multipli.

Questa è un'ottima domanda. Penso che tu (e altri in situazioni simili) dovreste parlare, ma mi rendo conto che è molto difficile da fare. Ti suggerisco due cose:

1. Cerca di capire se le persone con cui hai a che fare capiscono che i metodi che stanno proponendo (p- hacking, ecc.) sono rischiosi o meno, cioè se si tratta di una questione di etica o ignoranza. Questo è più difficile di quanto possa sembrare, poiché penso che molte persone sinceramente non capiscano quanto sia facile trovare schemi nel rumore e come i "gradi di libertà del ricercatore" rendano i modelli spuri facili da generare. Chiedere alle persone, in modo non conflittuale, di spiegare come fare test su "ogni possibile specifica di una variabile dipendente" e selezionare quelli con "p<0.05" corrisponde a < Il 5% di set di dati "casuali" aventi una caratteristica di interesse lo renderebbe più chiaro, e forse ti darebbe un'idea della questione dell'etica o dell'ignoranza. Scommetto che una buona parte delle persone non è deliberatamente non etica, ma la loro confusa comprensione dei dati quantitativi oscura il pensiero etico.

2. Qualcosa che ho trovato utile in contesti correlati è generare dati simulati e mostrare effettivamente il principio che stai discutendo. Ad esempio, genera set di dati di rumore senza caratteristiche e mostra che con abbastanza variabili da confrontare, si può sempre trovare una relazione "significativa". (Ovviamente, senza correggere per confronti multipli.) Può sembrare strano, ma vedere questo nei dati simulati sembra aiutare.

Buona fortuna!

Kenji, negli ultimi anni ho tenuto un corso di formazione continua chiamato Errori comuni nell'uso delle statistiche: individuarli ed evitarli. Spero che alcuni degli approcci che ho adottato possano esserti utili per convincere i tuoi colleghi che sono necessari dei cambiamenti.

Innanzitutto, non inizio dicendo che le cose non sono etiche (anche se potrei arrivare a che alla fine). Parlo invece di errori, incomprensioni e confusioni. Ad un certo punto introduco anche l'idea che "Questo è il modo in cui abbiamo sempre fatto le cose" non lo rende corretto.

Uso anche la metafora del "gioco del telefono" che molte persone hanno giocato da bambini: le persone si siedono in cerchio; una persona sussurra qualcosa all'orecchio della persona accanto a loro; quella persona sussurra ciò che sente alla persona successiva, e così via intorno al cerchio. L'ultima persona dice quello che sente ad alta voce e la prima persona rivela la frase originale. Di solito i due sono così diversi che è divertente. Applicare la metafora all'insegnamento della statistica: qualcuno sta veramente cercando di comprendere le idee complesse della statistica frequentista; alla fine credono di averlo capito e trasmettono la loro percezione (ma in qualche modo imperfetta) agli altri; alcuni dei destinatari (con buone intenzioni) fanno più semplificazioni eccessive o interpretazioni errate e le trasmettono a più persone - e così via su tutta la linea. Alla fine una versione gravemente difettosa appare nei libri di testo e diventa pratica standard.

Le note per il mio corso di educazione continua sono disponibili gratuitamente su http://www.ma.utexas.edu/users/mks/CommonMistakes2015/commonmistakeshome2015.html. Sentiti libero di usarli in qualsiasi modo - ad esempio, organizzare un seminario di discussione informale che li utilizzi (o alcuni di essi) come lettura di base potrebbe aiutare a comunicare le idee. Noterai che il primo "errore comune" discusso è "aspettarsi troppa incertezza". In effetti questo è un errore fondamentale che sta alla base di molto di ciò che è andato storto nell'uso delle statistiche. Le raccomandazioni fornite sono un buon punto di partenza per aiutare i colleghi a iniziare a vedere il punto di tutti gli altri errori.

Il sito web del corso ha anche collegamenti ad alcune demo online che sono utili ad alcuni per comprendere i problemi che sono spesso sorvolato.

Ho anche scritto un po 'di blog sul tema generale su http://www.ma.utexas.edu/blogs/mks/. Alcune delle voci di giugno 2014 sono particolarmente rilevanti.

Spero che questi suggerimenti e risorse siano utili. Non esitate a contattarmi se avete domande.

La tua preoccupazione istintiva di creare ipotesi a partire dai dati e fingere che esistessero fin dall'inizio è sulla strada giusta:

Nelle statistiche, il cosiddetto test del chi-quadrato può essere utilizzato per confrontare i dati con modelli che sono stati ricavati dai dati stessi. Tuttavia, per questo, il test chi-quadrato deve essere adattato essenzialmente per "penalizzare" l'estrazione dei parametri quando si verifica quanto sia significativa la corrispondenza.

Questo non è facilmente generalizzabile ad altre configurazioni, quindi in generale apprendimento teoria e pratica, si suddividono i dati in più gruppi. Ad esempio, dove una parte viene utilizzata per ottimizzare i parametri, una, inizialmente non vista, viene utilizzata per ottimizzare la generalizzazione e l'ultima parte, non vista, non viene mai inserita nella costruzione del modello e viene utilizzata per testare il buon funzionamento delle prime due fasi. Questa si chiama "convalida incrociata".

Forse puoi suggerire (o semplicemente presentare) al tuo gruppo una tale metodologia, suddividendo i dati in modo casuale in diversi componenti; da uno si costruisce il modello, che poi viene testato con i dati invisibili. I dettagli su come eseguire la divisione dipenderanno dal tuo dominio. In questo modo, hai la certezza che il modello sia predittivo. Affinché ciò sia corretto, è necessario assicurarsi che non stia utilizzando il set di dati completo in alcuna forma (nemmeno tramite un collega intelligente che ha ricordato che i dati sono parabolici nel complesso). La cosa migliore è non guardare mai i dati invisibili fino a quando il modello non è completo.

Per quanto riguarda la post-ipotesi, ho scoperto che spesso non è nemmeno necessario. Potresti iniziare con un'ipotesi, poi scoprire che non è valida, ma poi trovare invece un altro fenomeno interessante. Questa si chiama "scoperta" e ne derivano i documenti più interessanti. Se i migliori giornali del tuo settore non accettano questo stile, perché vogliono il ciclo standard "ipotesi-esperimento-convalida", allora il problema è più profondo nella tua comunità che con i tuoi colleghi.

In breve: ricavare modelli dai dati e confrontare la corrispondenza va bene se si ha un modo per penalizzare tale estrazione (come nel chi-quadrato). In caso contrario, è possibile eseguire una "convalida incrociata" per risultati validi. Infine, invece di post-ipotizzare, il mio suggerimento è di ipotizzare, per esempio, invalidare l'ipotesi e dimostrare l'emergere di un'ipotesi diversa.

Descrivi esattamente cosa hai fatto sul giornale. Finché sarai onesto, l'articolo sarà giudicato dai revisori, dai redattori e dai lettori.

Anche le persone che fanno hacking p-value avranno difficoltà a rimuovere una descrizione onesta dall'articolo. Se ti dicono di rimuoverlo, chiedigli perché e avrai il sopravvento nella discussione risultante.

Già molte buone risposte. Tuttavia, in ambito accademico, è sempre meglio se puoi sostenere la tua posizione con un bel riferimento pubblicato. Fortunatamente, la questione del p-hacking e della replicabilità viene sollevata e affrontata sempre più spesso in diverse discipline.

Lo configurerò come un post CW per raccogliere indicazioni alle pubblicazioni pertinenti che possiamo utilizzare nelle discussioni con i coautori che non vedono il problema con pratiche statistiche discutibili. Tutti, sentitevi liberi di modificare con articoli o documenti di conferenze pertinenti alla vostra disciplina.

Psicologia

• Ecco un editoriale del Editor-in-Chief di Psychological Science , che è praticamente la madre di tutte le riviste di psicologia (Open Access. Raccomando anche articoli citati da Lindsay.):

  Lindsay, D. Stephen (2015). Replication in Psychological Science. Psychological Science , 26, 1827-1832. DOI: 10.1177 / 0956797615616374.

• Ecco uno studio su Science che mostra che abbiamo effettivamente una "crisi di replicabilità "in psicologia - un'ampia collaborazione si proponeva di replicare 100 effetti riportati in riviste ben considerate, e solo il 36% ha replicato:

  Open Science Collaboration (2015). Stima della riproducibilità della scienza psicologica. Science , 349, 6251. DOI: 10.1126 / science.aac4716

Un'opzione è fare punti "costruttivi". Se i tuoi co-autori sono (come molti sono) abituati a diversi gradi di p-hacking, probabilmente non saranno troppo felici di sentire che i loro risultati non sono pubblicabili così come sono.

Se tu fossi in grado di offrire una soluzione per pubblicare i risultati evitando anche queste cattive pratiche, allora pochi obietterebbero. Il modo migliore sarà probabilmente quello di provare a fare analisi bayesiane. Anche qui (in alcuni casi) risultati non significativi saranno interpretabili e quindi pubblicabili.

Spero che non ti dispiaccia, ma voglio cogliere l'occasione per darti un consiglio diverso da quello che stai chiedendo - per consigliarti di non adottare questo approccio per affrontare questo problema in questo momento .

Presumo che tu voglia (i) un certo livello di successo accademico, sufficiente per sostenere te stesso, e (ii) per migliorare la qualità della ricerca e i benefici sociali che ne derivano. Supponendo di avere ragione, non credo che dovresti portare avanti questo argomento ( in questa fase ) .

Non penso che dovresti portare avanti questo argomento ( in questa fase ) se apprezzi la tua carriera accademica in quanto ti farà bruciare importanti ponti e porte chiuse. Ad esempio, se il tuo supervisore p-hack e tu lo esponi e lo distruggi per questo, allora avrai perso il tuo supporto principale e ridotto drasticamente le tue probabilità di essere in grado di assicurarti una carriera in quest'area.

As in relazione a questo, ( in questa fase ) non credo davvero che tu sia nella posizione ottimale per sfidare l'influenza negativa del p-hacking. Ecco alcuni motivi per cui penso questo. In primo luogo, in relazione a quanto ho detto sopra, se sei agli inizi di una carriera all'interno di uno specifico sistema sociale, non puoi facilmente influenzare il comportamento di coloro che sono già stabiliti in quella carriera e che non ti conoscono né ti rispettano. In secondo luogo, non è possibile comprendere appieno il motivo per cui il sistema funziona in quel modo, né le leve che devono essere azionate per modificare tale operazione, finché non si è acquisita maggiore familiarità con esso. Potresti essere in grado di fare una differenza di livello micro (ad esempio, esponi alcune persone con cui lavori), ma non vedo che sia molto efficace, in quanto ti paralizzerebbe farlo.

Per riassumere il mio pensiero con un aneddoto: immagina di crescere in una città dove tutti gli insegnanti sono corrotti e incompetenti. Pensi che sarebbe meglio protestare contro di loro quando sono a scuola? Probabilmente no, poiché otterresti molto poco e gli insegnanti probabilmente userebbero il loro potere per impedirti di diplomarti e essenzialmente rovinarti la vita. In alternativa, sarebbe meglio tollerare i difetti degli insegnanti finché non sei fuori dal sistema (o più in alto) e nella posizione di cambiare effettivamente le cose? Penso che in tal caso potresti finire in una posizione di autorità e avere le risorse disponibili per fare qualcosa per cambiare il sistema di insegnamento.

Naturalmente, tutto questo è solo la mia opinione e Ho potuto vedere molti modi in cui potresti opporti contro di essa :)

28/12/2015: aggiunta di altri contenuti per spiegare e indirizzare i commenti.

Vorrei porre maggiormente l'accento sul mio punto principale; fare appello al pragmatismo e aspettare un momento migliore per agire. Personalmente, penso che ci sia un tempo e un luogo per l'attivismo, che a volte è meglio tenere la bocca chiusa e aspettare di avere una migliore possibilità di fare qualcosa piuttosto che parlare e farsi sparare per niente. Pertanto, in ogni caso in cui l'attivismo è un'opzione, la decisione se impegnarsi in esso dovrebbe essere subordinata a varie considerazioni, come la gravità del risultato indesiderato, il rischio per l'individuo nel prevenirlo, la sua capacità di prevenirlo e il loro quadro morale (ad esempio, deontologico o utilitaristico). Come dice il proverbio, devi scegliere le tue battaglie; ogni battaglia avrà il suo prezzo e alcuni pedaggi potrebbero non valere la pena pagare per quello che ti danno.

Personalmente, credo che se hai intenzione di pubblicare qualcosa che potrebbe spazzare via l'umanità o finire con qualcuno che viene ucciso, allora dovresti assolutamente fare un sacrificio personale per impedirlo (se puoi fare qualcosa). D'altra parte, se l'attuale risultato 'negativo' che prevedi sta cambiando in modo non etico (secondo le norme attuali di alcuni / la maggior parte degli autori) il focus di un articolo (che 5 persone leggeranno effettivamente) per esaminare una relazione significativa (ad es. e la correlazione alla frequenza del ciclismo) piuttosto che un'altra relazione pianificata in precedenza (ad esempio, sesso e correlazione alla frequenza del ciclismo) che si è rivelata non significativa, e il nuovo risultato è (i) verrai licenziato e l'articolo pubblicato senza o (ii) non verrà pubblicato nulla e nessuno trarrà mai beneficio dalla conoscenza della relazione significativa che hai trovato, quindi sono più convinto che impegnarsi nell'attivismo non sia la strada da percorrere (a questa fase comunque) .

E sì, accetto che i miei argomenti qui siano semplificazioni imperfette di quella che è una realtà molto complessa, ma spero che tu possa capire il mio punto generale e pensaci su.