Sono preoccupato per la tua scelta di parole:

• "Oscuro": l'oscuro di una persona potrebbe essere la comunità principale di un'altra persona.
• "Basso SE": SE è molto dipendente sia dalla comunità che dalla "tendenza". Un sacco di ottimo lavoro viene pubblicato in luoghi con IF basso perché sono il luogo appropriato per pubblicare il risultato.
• "Sconosciuto ... e inaspettato": di nuovo, non è affatto insolito per qualcosa di interessante in arrivo da un luogo inaspettato.

Tutte queste parole, per me, indicano un pigro pensiero di "gara di popolarità" nel valutare il contesto di un'opera. Invece, penso che dovresti usare euristiche più scientificamente significative, come:

• L'investigatore ha una storia di lavoro solido, in cui questo risultato si adatta?
• la sede ha un obiettivo e una comunità chiari e ben definiti e ha una gestione rispettabile?
• Il lavoro è adatto alla sede?

Se un il lavoro non passa questi filtri, quindi penso che dovresti essere molto sospettoso e non preoccuparti di scavare più a fondo. In tal caso, tuttavia, dovresti essere scettico quanto dovresti nei confronti del lavoro proveniente da un laboratorio di alto prestigio in un'istituzione leader --- e non di più.

Non credo sia troppo duro essere sospettosi. Penso che il sospetto dovrebbe essere lo stato predefinito degli accademici che valutano il lavoro degli altri. Né penso che tu debba essere altrettanto sospettoso di tutti: se certi indicatori ti rendono più sospettoso, fallo. Avere "fiuto per la verità" fa parte dell'essere un accademico di successo e non credo valga la pena scusarsi per questo.

La domanda è cosa fare con i tuoi sospetti. Nel mio campo - la matematica - se insospettisci qualcosa, il rimedio è in linea di principio facile: leggi e controlli. In realtà questo può richiedere molto tempo ed energia, ma più importante è il risultato, più necessario e prezioso sarà il tempo speso. Nota anche che potrebbe avere l'effetto che tu esca dopo aver compreso completamente il lavoro, e quindi puoi garantire per il loro lavoro, quindi il tuo sospetto sarà nettamente positivo per gli autori. (E se il loro lavoro risulta essere imperfetto e non valido, dovrebbero comunque ringraziarti per i tuoi sforzi. Anche se non lo fanno, la tua coscienza è pulita.)

Io Temo di non sapere davvero cosa dovresti fare in un campo biomedicale per il quale riprodurre i progetti sarebbe un'impresa che richiede più capitali del tuo tempo. Immagino che uno studio biomedico sufficientemente importante verrebbe ricontrollato e perfezionato da altri. Ma se pensi davvero "Dubito fortemente che se avessi fatto quello studio correttamente, avrei ottenuto il risultato di cui ho letto, e se non lo avessi fatto, sarebbe stata una perdita di tempo", allora a seconda di quanto scettico se sembra ragionevole contattare gli autori e chiedere maggiori informazioni o semplicemente ignorarle del tutto. L'ultima suona dura, ma sembra essere necessaria: cos'altro dovresti fare, seguire pedissequamente un sentiero che credi fermamente sia sbagliato?

Aggiunto : @Kimball chiede se "ignorando" questi documenti intendo non citarli. Buona domanda. A mio parere, solo perché l'articolo A è pubblicato nel campo X e stai scrivendo un articolo nel campo X non ti obbliga a citare A. Se il tuo lavoro contraddice A, allora non sei ancora necessariamente obbligato a citalo: es quando scrivi un articolo sulla trascendenza di Pi probabilmente non citerai articoli che pretendono di mostrare che Pi è algebrico o razionale. Hai bisogno di citare il documento A se lo usi o ti affidi in qualche modo. Probabilmente dovresti citare un articolo A se pensi che gli altri nel tuo campo ne saranno consapevoli, prenderlo sul serio e che una mancanza di citazione creerebbe confusione nel campo. Direi che, tranne nelle precise circostanze sopra elencate, dovresti non citare opere che credi ma non sai essere false.

Ulteriormente aggiunto : Penso che @The Dark Side abbia fatto un punto cruciale in un commento sopra. In ogni campo tecnico, gli articoli vengono sottoposti ad arbitraggio e gli articoli seri / innovativi vengono sottoposti ad arbitraggio serio. Questo processo tuttavia non comporta una spesa non banale di capitale o una riproduzione sistematica e su larga scala da parte dell'arbitro. Ma l'arbitro deve fare qualcosa e mi auguro che l'appartenenza istituzionale degli autori giochi un piccolo ruolo nel processo di valutazione (idealmente: nessun ruolo). Quindi la generalizzazione della risposta sopra dalla matematica ad altri campi accademici sembra essere: se sospetti di un potenziale documento, dovresti ri-arbitrarlo . In questo caso particolare, il PO sembra non avere le competenze per farlo appieno. Ok, è a questo che servono amici e colleghi.

riguardo alla tua osservazione:

Molto spesso mi imbatto in risultati molto interessanti presentati in articoli che sono stati pubblicati in riviste oscure con un IF piuttosto basso (ad esempio 1.0-1.5). A volte gli autori risultano essere di un'università piuttosto sconosciuta di un paese inaspettato.

Ritengo che possa essere difficile per "paesi inaspettati" o "università piuttosto sconosciute" o "ricerche sottoesposte" gruppi 'di pubblicare effettivamente in una rivista di alto livello proprio a causa di questo sospetto, che infastidisce anche i revisori e lo staff della rivista.

Inoltre accade al contrario. Gruppi ben noti a volte possono pubblicare un po 'troppo facilmente un esperimento sciatto in un giornale di alto rango.

In questo senso, penso che questo sospetto sia sovrarappresentato in letteratura e dovremmo stare attenti ad applicarlo anche molto ...

Questo in genere mi porta oltre le mie competenze e in campi come istologia, oncologia, biologia dei tumori ecc.

Quando voglio valutare la plausibilità di un risultato al di fuori della mia area di competenza, in genere cerco un amico o un collega che abbia le competenze necessarie o che potrebbe indicarmi qualcuno che lo fa.

Penso che questo ha molte più probabilità di produrre risultati significativi, e molto meglio per la scienza nel suo insieme, rispetto alla valutazione di un articolo che non sono in grado di leggere in base al fattore di impatto della sua rivista o delle istituzioni degli autori e dei paesi di origine.

Per dirla più duramente: se non sei competente per fare qualcosa, non farlo. Invece, collabora con qualcuno che ha le competenze di cui hai bisogno.

Penso che i risultati semplicemente non siano così interessanti come pensi che siano. Un risultato di una nuova (anche se forse teoricamente valida) tecnica statistica o set di dati che non è stato sottoposto a una rigorosa pulizia (perché se lo fosse, non ne rimarrebbe nulla).

Per quanto riguarda l'attrezzatura, non sono sicuro di quali documenti si stia guardando, ma dal punto di vista di qualcuno che sta facendo delle ricerche di biostatistica al momento, spesso utilizziamo dati che è stato reso pubblico o quello ottenuto tramite collaboratori in quanto non abbiamo wet lab. Dobbiamo guadare attraverso la pulizia di quei dati in modo appropriato (il che è molto difficile perché è difficile raccogliere dati biologici affidabili in una buona forma anche quando il biologo sa cosa è necessario, molti no). Spesso proviamo tecniche nuovissime, tra dati potenzialmente errati e tecniche che non sono ancora passate attraverso i terreni di prova ... non importa quanto rigorosi siamo, avremo dei dubbi sul risultato.

Se fossimo i primi con un tale risultato non saremmo disposti a strombazzare su riviste IF troppo alte. I risultati non sono interessanti per noi a meno che:

1. riproduca anche risultati positivi da altri oltre alla nuova cosa che trova o
2. i risultati siano confermati sperimentalmente (che di solito sarebbe un bel po 'di tempo dopo la pubblicazione, anche se in alternativa un collaboratore più basato sulla biologia con un laboratorio umido può farlo).

Il tuo lavoro è la ragione per cui il loro lavoro è interessante, non lo è di per sé. Bilancia questo con un po 'di sano scetticismo in generale, naturalmente, tuttavia, la statistica ha un caso speciale di risultati irriproducibili, irragionevolmente.

A differenza di altri poster, credo che l'entità dei loro risultati potrebbe non essere del tutto evidente per loro nel caso in cui siano effettivamente importanti. Questo perché, come te, potrebbero non avere una conoscenza approfondita del campo a cui viene applicata la matematica, eseguono il loro codice su alcuni dati che hanno ottenuto e, oh, si scopre che il gene xyzl_at è significativo, che non ha alcun significato per come farebbe per un biologo che lavora sulla malattia.

Penso che tu abbia ragione a essere sospettoso, ma fintanto che il diario è incluso in quelli astratti da pubmed ecc. allora dovresti comunque includerlo nella tua recensione. Mettici semplicemente una "bandiera" (se davvero non ti piace mettila in appendice). Includere l'articolo mostra: a) la tua ricerca è stata ampia b) hai alcuni criteri per giudicare il valore (l'hai contrassegnato)

Ci sono ragioni "sociali" per cui un buon articolo potrebbe apparire in un diario con IF basso , ad esempio: l'autore aveva bisogno di una pubblicazione rapidamente perché stava andando per la promozione, l'autore ha avuto un "battibecco" con uno dei "dorsi d'argento" nel campo, l'autore manca di fiducia nelle proprie capacità o è stato minato da " colleghi ", l'istituzione per cui lavorano potrebbe essere" dietro la curva "nell'ossessione per IF, ecc. ecc.

Sappiamo tutti che l'IF è un modo molto problematico per giudicare la qualità del lavoro e la maggior parte di ciò che accade nella scienza non è pubblicata nelle riviste "glamour". Possiamo anche convenire che ogni articolo debba essere giudicato in base al suo contenuto e non in base alla rivista in cui è pubblicato. Infine, la nozione di importanza può essere molto soggettiva.

Tuttavia:

Capisco perfettamente la tua preoccupazione e penso che sia legittima. Non ricordo di aver mai incontrato un biologo che abbia avuto un risultato importante e che vorrebbe farlo pubblicare su una rivista estremamente oscura. E sì, in biologia anche all'interno di sottocampi specifici ci saranno diverse riviste con IF maggiore di 1.0-1.5 (in questo caso IF non è un indicatore di qualità ma spesso è un indicatore di ciò che gli altri leggono). Per essere ancora più schietto, non ricordo di aver mai visto risultati importanti in un diario con questo tipo di IF. Per me, questo suggerisce che se il lavoro fosse finito in un diario del genere, è molto probabile che gli autori non potessero farlo accettare in un diario "migliore", quindi almeno alcune persone pensavano che ci fosse qualcosa di sbagliato in esso.

La conclusione:

È tecnicamente possibile che i risultati siano molto importanti e all'autore non interessasse dove fossero pubblicati o l'importanza dei risultati non è stato realizzato. Tuttavia, questo è estremamente improbabile nella mia esperienza.

Le uniche due metriche valide da utilizzare per valutare i singoli articoli, come regola generale, sono l'attualità e il numero di citazioni. Per quanto riguarda l'attualità, i risultati potrebbero essere controversi in futuro, ma è possibile che il documento rifletta gli ultimi sviluppi. Quando si tratta di numero di citazioni, questo è spesso un chiaro indicatore dell'impatto dell'articolo. Web of Knowledge o Google Scholar possono fornirti una metrica per le citazioni. Per i settori in rapido movimento, come le scienze naturali, 3 anni è un limite accettabile per l'attualità, ma può variare da campo a campo. In generale, se un articolo è "classico" o "fresco" viene utilizzato come criterio per l'inclusione come fonte potenzialmente citabile (ad esempio per una revisione della letteratura) e non per la valutazione della qualità.

A causa del cambiamento verso l'accesso aperto l'IF e le relative metriche stanno iniziando a diventare meno valide. Inoltre, sono controversi. Possono essere utili per gli autori che intendono pubblicare, ma senza le conoscenze di base necessarie per valutare la validità dell'articolo, ciò che gli altri pensano diventa più importante. Pertanto, dovrebbe essere consultata la misura dell'impatto individuale di un documento. Potresti potenzialmente usare IF indirettamente, controllando qual è il fattore di impatto delle riviste che citano la carta. Tuttavia, la citazione non implica che la carta sia una carta "buona". Ad esempio, il documento di Stanley Milgram "Behavioral Study of Obedience" è stato citato 3847 volte secondo Google Scholar, ma è un esempio da manuale di quando l'etica della ricerca va male.