"Perché le persone non pubblicano fallimenti?"

In realtà, lo fanno.

1. Journal of Negative Results (ecologia ed evoluzione biologia)
2. Journal of Negative Results in Biomedicine
3. Journal of Pharmaceutical Negative Results
4. Journal of Interesting Negative Results (elaborazione del linguaggio naturale e apprendimento automatico)
5. Journal of Negative Results in Environmental Science (ancora nessun problema?)
6. Journal of Errology (ancora nessun problema?)

e così via ...

(Potresti anche voler vedere il sezione Risultati negativi del Journal of Cerebral Blood Flow & Metabolism.

I risultati nulli sono difficili da pubblicare. Lo sono e basta. È interessante notare, tuttavia, che nel mio campo non sono la cosa più difficile da pubblicare. L'ordine generale è:

Studi (grandi) ben sviluppati che trovano ciò che le persone si aspettano
Studi (piccoli) con scarso rendimento che trovano ciò che le persone si aspettano
Studi con scarsa efficacia che trovano l'opposto di ciò che le persone risultati attesi o nulli
Studi efficaci che trovano l'opposto di ciò che le persone si aspettano

Queste due categorie centrali sono dove troverai la maggior parte dei "fallimenti", almeno in termini di ricerca di un effetto statisticamente significativo. Detto questo, c'è una crescente spinta a vedere questo tipo di studi pubblicati, perché sono una parte importante della letteratura, e diverse riviste mediche hanno compiuto passi abbastanza notevoli in quella direzione, ad esempio, se accettano un articolo sul protocollo per una sperimentazione clinica imminente, si impegnano anche a pubblicare i risultati della sperimentazione (se superano la revisione tra pari) indipendentemente dal risultato.

Quando si arriva al punto, Penso che ci siano tre ragioni per cui i risultati negativi non vengono pubblicati più che "è difficile":

1. Mancanza di ricompensa. Ci vuole tempo e riflessione per inserire un articolo nella letteratura e impegno. E denaro, in termini di tempo e fatica. La maggior parte dei risultati / fallimenti nulli sono vicoli ciechi: non verranno utilizzati per nuove proposte di sovvenzione, non saranno dove ti fai il tuo nome. Il meglio che puoi sperare è che vengano citati alcune volte nei commenti o nei documenti di meta-analisi. Quindi, in un universo di tempo finito, perché inseguire di più quei risultati?
2. Mancanza di lucentezza. La semplice ricerca del risultato è un passaggio intermedio nella pubblicazione dei risultati, non il passaggio "e quindi appare in una rivista". Spesso, è facile capire quando qualcosa non si preannuncia per avere successo ben prima che sia pronto per la pubblicazione: quei progetti tendono ad essere abbandonati. Quindi, anche se ci sono risultati "falliti", non sono risultati pronti per la pubblicazione, anche se ci interessavano gli errori.
3. Molti fallimenti sono metodologici. Questo progetto di studio non può davvero rispondere alla domanda che vuoi porre. I tuoi dati non sono abbastanza buoni. L'intera linea di ragionamento è difettosa. È davvero difficile trasformarlo in un articolo.

Gli articoli di successo possono essere pubblicati in base al loro stesso successo: è interessante. I documenti falliti hanno il duplice fardello di essere sia difficili da pubblicare e di aver dovuto fallire in modo interessante.

Non è completamente vero che gli errori non vengono pubblicati. Viene pubblicata la mancanza di segnali o la mancanza di correlazione. Il punto è che tutto ciò che fa avanzare la conoscenza è degno di pubblicazione. Detto questo, ci sono altri fattori da tenere in considerazione

1. alcuni errori sono metodologici, cioè stai facendo qualcosa di sbagliato. Questo non è un segnale scientifico. è qualcosa che devi risolvere.
2. sapere cosa non funziona ti dà un vantaggio competitivo rispetto ad altri gruppi di ricerca.
3. i segnali negativi non aprono quasi mai nuovi campi. Se lo fanno, è perché hanno indirizzato l'attenzione per trovare un segnale positivo da qualche altra parte. Non si avvia un nuovo sviluppo di farmaci antitumorali se si scopre che una sostanza non ha effetto. Ne chiudi uno. Per questo motivo, i documenti negativi generalmente non ricevono molta attenzione e l'attenzione dei colleghi è molto nel mondo accademico.

Una delle conseguenze della mancata segnalazione degli errori è il bias di pubblicazione. È un fenomeno ampiamente descritto che di solito viene affrontato utilizzando la meta-analisi. Ciò significa che se la ricerca riguarda alcuni risultati quantificabili, ad esempio una regressione (lineare), di solito è auspicabile una significatività statistica. Se tali risultati non vengono raggiunti, i ricercatori a volte cercano di adattare la loro metodologia, i modelli, i dati o qualsiasi altra cosa al fine di avere risultati più "pubblicabili".

Il problema dell'adeguamento dei modelli o del completo ritiro dei la carta (il cosiddetto problema del cassetto degli archivi) era (e in una certa misura è ancora) un problema in medicina, come osserva @Artem Kaznatcheev nel commento e ha portato, come aggiunge, alla registrazione degli studi prima della pubblicazione. Le sue fonti possono differire, ma un documento che lo descrive è ad es. Krakovsky (2004).

Più in generale, guarda Stanley (2005) o Stanley (2008) per ulteriori informazioni su bias di pubblicazione e meta-analisi.

A volte alcuni fallimenti danno origine a nuove teorie. Ad esempio, ci sono teoremi di impossibilità nella progettazione di meccanismi (Arrow o Gibbard-Satterthwaite) che stabiliscono i limiti dei meccanismi implementabili.

In questo senso, i soli fallimenti potrebbero non essere utili in una pubblicazione. Le persone sono interessate a sapere perché le cose hanno fallito o piuttosto quale categoria di esperimenti / teorie fallirebbero. Ma procedere in questa direzione è spesso irto di rischi: è più facile enunciare un problema e risolverlo piuttosto che derivare condizioni in cui il problema non può essere risolto. Il primo è interessante per una classe di pubblico più ampia rispetto al secondo.

Quindi la linea di fondo: prova a formalizzare o teorizzare i tuoi fallimenti e vedere se un risultato si profila; altrimenti vai avanti per cercare di risolvere un problema più degno.

Penso che questo dipenda dal tempo impiegato. Personalmente non potrei essere disturbato a passare 2 giorni a scrivere e formattare un documento per dati negativi. Deve essere davvero semplice da fare e io ho bisogno di ottenere un po 'di credito per questo, o ho bisogno di essere incaricato di farlo.

C'è un crescente requisito da parte dei finanziatori e mandati che costringono i ricercatori a fare tutto i loro risultati di ricerca disponibili sono solo una questione di tempo. Nel frattempo, gli altmetrics possono agire come carote per incoraggiare i ricercatori a condividere i propri dati, anche quelli negativi.

Se hai letto molta letteratura e poi ti sei reso conto di essere in un vicolo cieco, puoi almeno pubblicare una recensione su tutti i metodi e le tecniche che hai imparato.

C'è il Journal of unsolved Questions JunQ. Raccolgono ricerche con risultati "nulli" e problemi aperti.