Tali critiche sono comuni in riviste come Nature e PNAS. Spesso non vengono chiamati "documenti" - PNAS li chiama "lettere", la scienza li chiama "commenti tecnici" e la natura li chiama "brevi comunicazioni che emergono" - ma ottengono un grado significativo di controllo pre-pubblicazione e spesso vengono sottoposti a peer review. Alcuni esempi delle ultime settimane:

• "colina e geranato" è un sistema di solventi ionici liquidi o eutettici profondi? (PNAS)
• Contrassegnare il ritmo musicale: trascinamento neurale o potenziali correlati agli eventi? (PNAS)
• Commenta "Previsione delle prestazioni di reazione nell'accoppiamento incrociato C – N utilizzando l'apprendimento automatico" (Scienza)
• Commenta "I primi esseri umani moderni al di fuori dell'Africa" ​​ (Scienza)
• Presupposti per vincoli emergenti (Natura)
• Vincoli emergenti sulla sensibilità al clima (Natura)
• I vincoli climatici riflettono il segnale forzato (Natura)

Anche altre riviste hanno sistemi per le risposte, sebbene la maggior parte non sia così organizzata al riguardo.

Quindi la premessa non è del tutto corretta: le critiche agli articoli di alto profilo sono non insolito, ma è vero che la stragrande maggioranza dei giornali non riceve critiche formali come questa, anche se la stragrande maggioranza dei giornali probabilmente ha qualcosa che ed.

Questo è uno dei motivi. Pochissimi documenti sono completamente irreprensibili (tranne il mio, ovviamente). Se dovessi inviare una lettera critica su ogni numero che vedo in ogni giornale che leggo, passerei il mio tempo a non fare nient'altro, e le riviste sarebbero piene delle mie lettere all'editore senza spazio per nuovi articoli.

E qui siamo tutti adulti. È previsto che gli scienziati leggano gli articoli in modo critico; fa parte del nostro lavoro. Ciò significa che tutti troviamo cose da criticare. Trovare un problema in un articolo pubblicato non è una cosa scioccante e scandalosa. È come un esattore di pedaggi che rompe una bolletta di $ 20, una parte tecnica minore del tuo lavoro. Sarebbe condiscendente da parte mia presumere di essere l'unica persona che ha notato i problemi in questione e che spetta a me salvare i miei colleghi dalla loro stupidità e ignoranza.

Infine, quando rispondo a pubblicazioni che richiedono critiche, raramente esprimo le mie risposte in questo modo. Ad esempio, diversi anni fa ho letto un interessante articolo nel mio campo che, pensavo, avesse commesso un errore significativo nelle sue ipotesi. Per dimostrarlo, ho ripetuto alcuni dei loro esperimenti, aggiungendo i controlli mancanti, e poi ho esteso il lavoro per mostrare dove portavano le osservazioni corrette. Non ho pubblicato come critica il lavoro precedente (che era di ricercatori che conosco e ammiro e che hanno fatto molte cose fantastiche). L'ho pubblicato come un documento che può stare in piedi da solo, annotando il lavoro precedente di sfuggita ma senza commettere un grosso errore. Se mai dovessi commettere un errore (improbabile!), I miei colleghi mi correggeranno allo stesso modo. La scienza è dura e non dovrebbe essere come un portiere di hockey, dove ogni volta che commetti un errore suona un campanello e trentamila persone ti urlano.

Molti lo fanno, solo in modo educato. La maggior parte dei modelli numerici sembra essere una variazione dell'affermazione simpatica "le persone precedenti hanno fatto cose sbagliate e / o inefficienti, noi miglioriamo su questo; o almeno offriamo un altro approccio pur non mostrando i loro fallimenti". Lì, la critica / fallimento di altri approcci è spesso mostrata in tutto l'articolo.

Inoltre, stai iniziando il tuo dottorato di ricerca.

1. Ciò che ritieni possa essere una grave omissione riguardo all'applicabilità del metodo potrebbe essere una ben nota limitazione del metodo di cui tutti nella comunità sono a conoscenza. In questo caso, il tuo "stai propagando BS" è uno sproloquio inutile e sbagliato: conoscono i loro metodi meglio di te. Supponiamo che tutti sappiano già che X offrirà un errore di circa l'1% in più, ma simulazione / esperimento 100 volte più semplice. Se sospetti che questo possa essere il caso, scrivi piuttosto un'e-mail cortese chiedendo chiarimenti e se i risultati ottenuti sono ancora validi o come l'approccio potrebbe essere migliorato ecc. Ecc.
2. D'altra parte, tutti potrebbero essere assumendo qualcosa che in realtà non è corretto per il problema, e tu lo sai. Qui, affermare senza mezzi termini "stai propagando BS" non è tecnicamente sbagliato, ma non avrai nuovi amici con questo. Piuttosto scrivi un bell'articolo che mostri come e perché tutti stanno affrontando il problema nel modo sbagliato e come risolvi i loro problemi: diventeresti immediatamente un membro molto apprezzato della comunità.

Ma sì, un molte ricerche abbastanza traballanti sono considerate vere e questo porta a gravi problemi di riproducibilità in tutti i campi. Ci sono riviste per pubblicare riproduzioni di lavori di altri, ma la maggior parte preferisce fare qualcosa di originale. Non posso biasimarli: inventa X e fai immortalare il nome contro "sì, i risultati di X controllano".

Politica. Criticare i pari porta direttamente alla mancanza di sostegno politico .

Questo perché la scienza è sempre più basata su connessioni e valutazioni a breve termine, e questo è molto dannoso per il progresso della scienza fondamentale e dell'intellettualismo in generale.

Siamo animali sociali . Questo porta ad una naturale tendenza a prendere personalmente le azioni degli altri e a "restituire favori". Inoltre, le persone sono molto diffidenti nei confronti delle opinioni e dell'immagine pubblica degli altri e, di conseguenza, sono naturalmente sensibili alle critiche negative. Di solito, quando ferisci i sentimenti di qualcuno in pubblico, ti sei reso un nemico.

Credo fermamente nelle critiche e nella franchezza come la via più breve per il miglioramento. Questo mi ha messo molte volte in situazioni delicate. Nei miei primi articoli ero ansioso di sollevare evidenti difetti in qualsiasi argomento specifico in discussione, come di tentare di contribuire. Ho l'abitudine di firmare le mie revisioni tra pari e sono piuttosto esigente come revisore. Ciò alla fine ha portato a essere evitato negli elenchi di citazioni e collaborazioni di pari pertinenti. Al giorno d'oggi sto lottando internamente su come discutere della letteratura difettosa e come affrontare una logica chiaramente imperfetta.

Mi è stato detto che per dire quello che vuoi devi raggiungere un certo livello di autorità. Tuttavia, il raggiungimento di quel punto dipende in gran parte dalle connessioni e dalle buone relazioni. Oggi non ci sono Isaac Newton .

Convertirò il mio commento in risposta. 2-3 decenni fa un professore pubblicava pochi articoli di ricerca in tutta la sua carriera, ora ho visto persone pubblicare decine di articoli durante il dottorato. La qualità dell'articolo pubblicato diminuisce di giorno in giorno. Ci sono molte ragioni, ma la ragione più importante a mio parere è la cultura Pubblica o perisci imposta al mondo accademico.
In media, scrivere un buon articolo richiede 1-2 anni, ma per salvare il mandato (nel mio paese) un AP deve pubblicare 3 articoli SCI all'anno. Con questo tipo di pressione un ricercatore non può scrivere un documento di ricerca di qualità. Inoltre, una forte critica richiede tempo per analizzare i risultati di altri ricercatori, mentre la corsa alla pubblicazione non consente di dedicare molto tempo a quella parte dell'articolo, che credo sia una delle parti più importanti dell'articolo.
Yuval Noah Harari autore del famoso libro Sapiens: A Brief History of Humankind, una volta ha detto nella sua intervista che ha iniziato a pensare fuori dagli schemi quando è stato promosso alla posizione di professore associato, perché nella sua università non c'è alcun requisito di pubblicazione una volta ottenuto il ruolo di professore associato. Ecco perché ha scritto questo libro entro 2 anni.

In parole semplici: la migliore strategia a lungo termine per restare nel mondo accademico è essere il bravo ragazzo che gioca insieme.

Il mondo accademico è pieno di corruzione sistemica perché i lavori in un settore specifico campo di ricerca sono molto limitati / competitivi a causa della natura piramidale delle risorse umane (numero di studenti> numero di dottori di ricerca> numero di professori). L'Accademia è strutturata intorno alla selezione di individui eccezionali e notevoli. Tuttavia, la storia ci ha detto che la maggior parte delle metriche tende a essere oscurata dai tratti del carattere nel lungo periodo. Soprattutto se si pensa al fatto che la maggior parte dei professori non sta facendo molte ricerche da sé, ma è piuttosto responsabile della gestione di gruppi di lavoro e progetti. Quindi, il bravo ragazzo non critico ha un vantaggio strutturale nel sistema. Anche le lettere di raccomandazione, che tendono ad essere più positive per una persona amichevole rispetto ai "piantagrane", ne sono un'indicazione diretta.

Il sistema sono le persone e le persone seleziona il loro sistema. Alla gente non piacciono le critiche. Quindi il sistema / le persone hanno deselezionato le critiche.

Hai mai incontrato un articolo "Letter-to-editor"?

Controlla questo, ad esempio, un articolo sul Turkish Journal of Urology su come scrivere una lettera all'editore:

Come scrivere una lettera editoriale?

È una sorta di "comunicazione breve" e generalmente viene utilizzata per criticare articoli pubblicati in precedenza. Se questo è raro o assente in qualsiasi argomento di ricerca, è più un problema dei ricercatori in quel campo.

Alcune delle risposte disponibili alludono al seguente principio, ma nessuna lo dice direttamente.

Identificare i difetti idiosincratici di un singolo articolo, se pubblicato da solo, rende il tuo articolo un satellite di quell'articolo principale; l'importanza del tuo articolo non può assolutamente superare l'importanza dell'articolo principale, ma di solito il satellite pesa meno.

Il modo migliore per raggiungere l'idoneità alla pubblicazione (in una rivista dello stesso calibro della pubblicazione principale) , dovresti idealmente ottenere dei risultati personali, studiando lo stesso problema. Che ti compra un biglietto in base al quale non solo puoi mostrare il tuo lavoro, ma puoi anche confrontarlo con lo stato del campo (ad esempio, l'articolo difettoso e qualsiasi altro lavoro precedente pertinente di cui sei a conoscenza) in quanto dettagli che trovi intellettualmente stimolanti per un lettore "generico" della rivista dove pubblichi questo.

Il punto di confrontare il tuo lavoro con il lavoro precedente è far risplendere il tuo contributo nella sua rilevanza e superiorità metodologica, piuttosto piuttosto che punire il tuo predecessore o salvare i tuoi colleghi dal credere a risultati palesemente imperfetti. E questo è un motivo del tutto apolitico per affrontare il confronto con la massima indifferenza e gentilezza, in un modo in cui molti lettori (che non hanno mai incontrato l'articolo precedente effettivo) non si renderanno nemmeno conto dei riferimenti ad esso per aver motivato tuo articolo. L'articolo difettoso non è enormemente importante, giusto? Direi anche che dovresti principalmente confrontare il tuo nuovo lavoro con i migliori risultati disponibili di altri, a meno che certi difetti non si propaghino sulla maggior parte dei lavori precedenti e il tuo lavoro risalti (ai tuoi occhi) essendo più sofisticato e libero da essi.

Il motivo per cui alcune riviste di alto profilo prestano più attenzione alle "lettere all'editore" rispetto alle solide riviste "medie" è che se l'articolo principale è ampiamente visto come una svolta, i suoi satelliti potrebbero comunque essere degni di pubblicazione se la critica è profondo o se aggiunge un punto di vista multidisciplinare pertinente e se i loro punti sono davvero buoni.

Nessuna delle risposte fornite finora copre gli aspetti che qui sono veramente rilevanti. La maggior parte di loro sono scritti male e menzionano solo uno o due argomenti, probabilmente solo nel tentativo di guadagnare reputazione. La mia risposta esporrà gli argomenti in una forma strutturata, con completezza e chiarezza senza precedenti e con una bella formattazione. Sarà arricchito da un esempio che non è stato ancora fornito in nessun'altra risposta, e aiuterà il lettore a comprendere adeguatamente e a fondo questo argomento complesso.

^{Bene. Vediamo come va a finire.}

Scherzi a parte: gli argomenti principali sono già stati forniti e possono essere grosso modo classificati in politici / interpersonali o metodologici / tecnici. Penso che i dettagli varieranno a seconda dell'argomento, ma i tag indicano che la domanda si riferisce ai campi più tecnici.

Gli argomenti politici sono principalmente che la critica potrebbe ritorcersi contro e danneggiare la tua reputazione. Oltre a ciò, le persone di solito non vengono finanziate per criticare gli altri: un articolo che critica solo un altro difficilmente verrà pubblicato e il numero di pubblicazioni è in molti casi l ' unica misura del "successo negli accademici". E anche se la tua critica è giustificata e l'articolo è tecnicamente valido, una critica dura può semplicemente essere considerata "non necessaria" e quindi gettare una cattiva luce sull'autore.

Gli argomenti tecnici sono legati al sforzi necessari per una critica profonda e (facoltativamente:) "costruttiva". Per identificare realmente i difetti tecnici, è necessaria una profonda familiarità con l'argomento. Bisogna fare attenzione per eliminare il minimo dubbio quando si critica gli altri. Questo è particolarmente difficile quando sei all'inizio della tua carriera. La situazione può essere diversa quando conosci veramente il lavoro correlato dentro e fuori.

Fondamentalmente ogni approccio o intuizione non banale ha dei limiti o dei presupposti (nascosti). Perché una critica sia profonda , i risultati devono spesso essere replicati e i difetti devono essere "verificati", in quel senso. Gli sforzi per questo sono spesso proibitivi. Se una critica è considerata costruttiva dipende principalmente dal fatto che tu possa suggerire miglioramenti. Questo è stato già ben riassunto nella risposta di Jirka Hanika.

Pertanto, gran parte del gioco che si gioca nel mondo accademico consiste nel trovare difetti e suggerire miglioramenti: trova un documento che mostri come risolvere un certo problema con il rosso, il verde e palloncini gialli. Scrivi un documento che evidenzi la "grave limitazione" di non considerare i palloncini blu. Mostra che lo stesso problema può essere risolto con i palloncini blu. Hai una pubblicazione lì, e forse un altro anno di finanziamento.

Tuttavia, ci sono sono documenti che criticano chiaramente gli altri. Vorrei fare riferimento a uno dei miei articoli preferiti qui, dal titolo coraggioso "Il raggruppamento delle sequenze delle serie temporali è privo di significato":

Data la recente esplosione di l'interesse per i dati in streaming e gli algoritmi online, il raggruppamento di sottosequenze di serie temporali, estratte tramite una finestra scorrevole, ha ricevuto molta attenzione. In questo lavoro facciamo un'affermazione sorprendente. Il raggruppamento delle sottosequenze di serie temporali non ha senso.

[...]

Questi risultati possono sembrare sorprendenti, poiché invalidano le affermazioni di un articolo altamente referenziato e molte delle dozzine di estensioni proposte dai ricercatori ( [un elenco di una dozzina di pubblicazioni] ).

Quindi questo documento ha praticamente bruciato un intero ramo di ricerca. Leggerlo può darti un'idea di quanto sia difficile criticare gli altri in un modo che non può essere attaccato o messo in discussione a livello metodologico. E anche se l'autore stesso afferma che i risultati sono "negativi", penso che uno dei contributi più utili che uno scienziato possa dare sia rimettere le persone sulla strada giusta, invece di partecipare al gioco che è essenzialmente un e una perdita di tempo motivata finanziariamente.

Quindi, quando sei sicuro di poter criticare profondamente gli altri: Fallo.

Non sono d'accordo con la tua supposizione che il suo non avvenga, anche se suppongo che ogni disciplina possa essere diversa.

Ciò che succede è che le critiche sono spesso presentate in un modo diplomatico, cortese e professionale, in modo tale che possa non apparire come una critica all'occhio "inesperto" (ma una persona "preparata" alla ricerca del documento giusto raccoglierà le critiche).

Per Ad esempio, potresti trovarti a scrivere un articolo che corregge un difetto piuttosto ovvio (secondo te) e schiacciante in un metodo proposto. Si può essere tentati di scrivere "questo documento aveva un grave difetto metodologico che inficia i risultati e non avrebbe mai dovuto essere pubblicato, qui vi mostriamo come fare le cose correttamente". Ma questo sarebbe un modo altamente inappropriato per farlo, e un buon supervisore di dottorato di ricerca probabilmente ti chiederà (forse con tuo dispiacere) di riformulare questo come qualcosa del tipo "Ci basiamo sui nuovi metodi proposti da X et al, ma consideriamo anche l'aggiunta Y. L'aggiunta di Y è giustificata perché la regolazione per Z probabilmente porterebbe a risultati più ottimali per i seguenti motivi, ecc. ".

Nota che i due stanno effettivamente dicendo la stessa cosa. Ma ad un occhio inesperto, il primo dice "wow, il primo articolo era brutto e li stiamo esponendo", mentre il secondo dice "ok, il primo articolo ha fatto un passo significativo nella giusta direzione e abbiamo trovato il modo di miglioralo ". Il che è più gentile e in realtà più vicino alla verità, nella maggior parte dei casi.

Alcuni potrebbero andare a un estremo e chiamare questa politica, altri potrebbero andare dall'altra e chiamarla professionalità. Probabilmente è un po 'entrambe le cose. Ma sarei d'accordo sul fatto che quest'ultima sia un ambiente molto più accogliente; se volessimo le guerre con le fiamme, ci sarà sempre YouTube per questo.

Inoltre, non dimenticare che (si spera) questi documenti sono stati sottoposti a peer review. I revisori non devono sempre essere esperti nella particolare area del documento, ma solo "ragionevolmente familiari" per offrire una recensione utile e istruita. Quello che è un "evidente difetto metodologico" per qualcuno che sta per diventare un esperto nel campo, potrebbe non essere così ovvio per qualcuno che è altrimenti informato e interessato alla carta, ma non necessariamente un esperto del settore.

Quindi, prima di sparare a tutte le armi per criticare qualcuno in un giornale per avere difetti "evidenti", tieni presente che potresti finire per suonare come il ragazzo nerd che sostiene come il terzo bullone della calcolatrice TX5800 sotto la seconda scaffalatura è in realtà 5,49 mm, NON 5,5 mm, e quanto può essere stupido qualcuno per aver sbagliato, tutto quello che dovevi fare era smontare il combobulatore di flusso e misurare la tensione, anche un bambino può farlo ".

Non vuoi essere quel ragazzo.

Altre risposte discutono buoni motivi (oltre al punto giusto che le risposte esistono): ad es. una buona critica richiede tempo, inoltre gli autori possono conoscere le specifiche meglio di te.

Un altro motivo per cui le critiche sono solitamente molto attenuate: i revisori del tuo articolo sono selezionati in base alla familiarità con il campo, il che significa che possibilmente avere un proprio metodo / approccio ( preferito). Quindi i nuovi articoli devono trovare un equilibrio tra il dire "i metodi esistenti sono insufficienti" (motivo per cui pubblichiamo il nostro romanzo) e allo stesso tempo non essere troppo duri (il che offenderà i revisori).

1. La critica viene pubblicata, come sottolineato da iayork. Può anche apparire in luoghi meno formali come i blog. Quindi uno dei motivi per cui non lo vedi è che non stai cercando nei posti giusti.
2. Il posto migliore per le critiche è nel processo di revisione tra pari. (Cioè, la revisione tra pari dovrebbe rilevare il cattivo lavoro prima che sia pubblicato, rendendo inutili le critiche successive. Tuttavia, a volte il cattivo lavoro viene pubblicato, quindi le critiche al lavoro pubblicato sono appropriate.) Le recensioni di solito non lo sono pubblicato, ma alcune sedi pubblicano recensioni. Ad esempio, le revisioni ICLR e NeurIPS sono disponibili con i documenti (per ICLR, anche i documenti rifiutati hanno revisioni pubblicate).
3. La critica costruttiva è meglio di semplicemente distruggendo il lavoro di altre persone. Gli attacchi possono ritorcersi contro: fanno sembrare l'attaccante poco professionale e le cose possono degenerare in una guerra di fiamme avanti e indietro. La critica costruttiva appare sotto forma di lavoro di follow-up che risolve le carenze del lavoro precedente. Questo è più educato e meno ovvio, quindi potresti non notarlo.
4. Anche quando viene pubblicato un cattivo lavoro, potrebbe essere semplicemente meglio ignorarlo. Impegnarsi in critiche è un affare complicato e parte del fango potrebbe attaccarsi al critico. La critica di solito appare solo quando il lavoro in questione riceve molta attenzione.

Dopo il secondo anno di dottorato di ricerca. studio, ho iniziato a imparare molto su come scrivere pubblicazioni molto apprezzate. La prima cosa che è stata martellata in me è come descrivere i presupposti e i limiti di una data ricerca e dare un quadro o un ambito di ricerca data. La mia prima pubblicazione descriveva in dettaglio molti di questi limiti e portata, ma la mia seconda e terza pubblicazione non lo fecero perché avevo già stabilito questi problemi nella mia prima. Quindi, è fondamentale controllare TUTTE le citazioni, specialmente quelle dello stesso autore. Questi di solito forniscono il "background" della ricerca. Inoltre, avere familiarità con i presupposti e le pratiche "ben note". Sono accettati per una ragione.

In secondo luogo, ho visto un articolo (sottoposto a revisione tra pari in una rivista di alto rango) che attaccava apertamente un altro lavoro pubblicato in precedenza da un altro autore. Anche se l'articolo di attacco può essere corretto, non ha esattamente contribuito in alcun modo al campo. D'altra parte, se hai sviluppato una nuova metodologia che affronta il problema che è stato presentato in quella pubblicazione offensiva, puoi dire: "ecco il mio lavoro su questo, e l'ho fatto". e poi cita quel documento e poi dì qualcosa come "migliora i risultati perché il loro approccio non ha affrontato questo particolare problema".

Terzo, se bruci i ponti e fai incazzare le persone sbagliate attaccandole a titolo definitivo, non andrai molto lontano. È un dato di fatto. Impara a navigare nel mondo con un comportamento corretto e un tocco delicato (le persone SONO sensibili) e rimani fedele a te stesso.