Domanda:
I premi per la migliore carta per le conferenze sono truccati / prestabiliti?
Sjaffry
2018-07-23 08:43:01 UTC
view on stackexchange narkive permalink

Recentemente ho ricevuto l'accettazione da un'ottima conferenza nel nostro campo. Tre revisori su quattro hanno fornito commenti eccellenti, mentre uno ha fornito un commento scarso. Dicevo al mio amico che se avessi avuto un'altra recensione buona / eccellente, avrei potuto essere considerato per il premio per la migliore carta.

Mi ha detto che di solito i premi per la migliore carta sono già fissati e assegnati alla persona scelta dall'organizzatore, ad esempio se gli organizzatori vogliono invitare un professore illustre, premiano il loro documento ecc. ecc. Quindi, anche se Avevo ricevuto un'ottima recensione dal 4 ° revisore, non c'era alcuna possibilità di ottenere il premio.

Qual è il funzionamento backdoor dei premi best-paper - come vengono selezionati?

Quale disciplina è questa?Non tutte le conferenze funzionano come TCS, come suona il tuo esempio
Telecomunicazioni e reti mobili
Due commenti: (1) Non sono sicuro che nessuna conferenza di qualsiasi nota possa ottenere il premio "miglior carta".Però posso vederlo accadere nelle conferenze tenute da compagnie predatorie.(2) Prima di credere alle voci del tuo amico, ti suggerisco di chiedergli prove o di fare qualche indagine tu stesso.Ad esempio, il [Premio Thomas Chalmers] (https://colloquium.cochrane.org/thomas-c-chalmers-award) assegnato dalla Cochrane Collaboration è abbastanza chiaro sui criteri di ammissibilità e valutazione.In bocca al lupo!
Ciò che è vero è che in alcuni (molti?) Casi i vincitori del premio per la migliore carta vengono informati di aver vinto il premio per la migliore carta prima della conferenza (immagino per motivi pratici, come assicurarsi che saranno presentiquando viene assegnato il premio per la migliore carta).
La mia esperienza personale con il premio per il miglior poster è stata che non è stato truccato.Sono uscito dal nulla (1a conferenza, 1 ° poster), non conoscevo nessuno e ho ricevuto un poster award (circa il 5% dei presentatori di poster lo ha guadagnato).Sono sicuro che questo è lo stesso con il premio per la migliore carta.Ma ovviamente potrebbe dipendere dalla conferenza.
@YemonChoi Non sono sicuro da dove hai avuto questa impressione.Nei vari comitati di programma che ho servito, abbiamo scelto il documento migliore utilizzando un processo in due fasi: (1) i membri del PC propongono documenti che hanno apprezzato e sono stati accettati alla conferenza, (2) si tiene una votazione.Questo è molto diverso dal meccanismo descritto nell'OP.
@YuvalFilmus Scusa, ho parlato male.Intendevo solo l'idea di avere un premio per la migliore carta per una conferenza in primo luogo, non i dettagli di ciò che menziona il PO.Lavoro in matematica (pura), quindi i documenti delle conferenze sono un ripensamento o una "discarica" mentre so che in TCS i documenti delle conferenze sono molto apprezzati;è tutto quello che volevo dire
Un altro pensiero su questo problema: forse la persona con cui stavi parlando stava confondendo "miglior articolo" con "discorso su invito" / "discorso plenario" - stavi descrivendo esattamente il processo in cui vengono selezionati quei discorsi.
@OBu: come vengono scelti i discorsi invitati dipende dalla conferenza.Per molte conferenze (inclusa la maggior parte di quelle con cui sono stato coinvolto), vengono scelte da un voto del comitato del programma - esattamente come i documenti accettati e il miglior premio per la carta, tranne per il fatto che i relatori invitati non sono scelti tra quellipersone che hanno presentato documenti alla conferenza.
Sembri scoraggiato dall'idea che il premio sarebbe "dato alla persona scelta dall'organizzatore".Ma chi altri dovrebbe prendere quella decisione, davvero?Praticamente ogni premio viene assegnato a qualcuno selezionato dall'ente organizzatore.
@OBu, no, siamo stati chiari sulla discussione del premio per la migliore carta.
Sei risposte:
Buffy
2018-07-23 16:02:23 UTC
view on stackexchange narkive permalink

Lo troverei molto insolito e molto inquietante se ciò accadesse.

In base alla mia esperienza (informatica e settori correlati), i comitati della conferenza lavorano duramente con le presentazioni per selezionare il documento migliore. E ne discutono, poiché diversi membri del comitato in genere "difendono" un documento che ritengono meritevole. Spesso questo accade perché il membro del comitato è uno specialista e riconosce che alcune carte danno un contributo davvero significativo ad alcuni aspetti della loro specialità.

Ma non ho mai visto nulla di simile a quello che suggerisci, né alcun favoritismo personale.

Se questo genere di cose esiste davvero all'interno di un campo, penso che sarebbe una buona idea sollevare l'idea come una questione etica con quella comunità in generale.

Succede spesso, infatti.Il peso delle conferenze in CS non è condiviso tra i campi.A volte qualcuno ottiene un premio per ragioni più politiche che per motivi di ricerca.L'ho visto accadere, specialmente con premi minori, come miglior poster o migliore presentazione (non la migliore ricerca, ma le capacità di presentazione).
J-Kun
2018-07-23 18:05:14 UTC
view on stackexchange narkive permalink

Dipende. Ho ricevuto la migliore carta e altri premi e sono stato (leggermente) coinvolto anche in questo processo di selezione. In ogni caso, sono stato alla conferenza per la prima volta, non sono stato invitato e non sono molto conosciuto. Tuttavia, è stato possibile ottenere premi.

In una conferenza, gli organizzatori avevano due o tre documenti nella loro rosa dei candidati. La decisione finale è caduta in base alla qualità della presentazione della carta. Questo è assolutamente OK secondo me, preferisco anche un tale approccio in quanto ho visto buoni giornali con presentazioni davvero pessime ottenere premi.

In qualche altra conferenza, ho ricevuto qualche premio speciale. Alla fine della giornata, uno dei membri del comitato mi ha detto che mi aveva suggerito perché gli piaceva il mio giornale. Non lo conoscevo prima, quindi, anche questo non era truccato.

Quando ero un presidente di sessione da solo, mi era permesso suggerire documenti per il miglior premio cartaceo. Ho dato un'occhiata ai giornali e poi alle loro presentazioni. Ne ho lasciati cadere alcuni a causa della loro cattiva presentazione e alla fine ne ho consigliati uno o due (tuttavia, non sono stati premiati, mi è stato solo permesso di dare la mia / una opinione).

Tuttavia, ho visto abbastanza il contrario, purtroppo. In una conferenza (non molto conosciuta), un ragazzo che ho incontrato lì mi ha detto che la signora X riceverà ANCORA un premio. Questo accade ogni anno perché un premio le rende più facile ottenere i finanziamenti per il prossimo anno. Ovviamente lì era molto conosciuta. E con mia sorpresa, è stata davvero premiata. Non un premio per la migliore carta, ma comunque un bel certificato.

Per quanto ho visto, ci sono enormi differenze tra le conferenze. Non ho mai visto un comportamento così cattivo in quelli di grande reputazione. Se qualcosa del genere diventasse pubblico, perderebbero molta reputazione. Soprattutto perché questo potrebbe significare che anche la loro revisione tra pari è truccata.

"In una conferenza (non molto conosciuta), un ragazzo che ho incontrato mi ha detto che la signora X riceverà ANCORA un premio. Questo accade ogni anno perché un premio le rende più facile ottenere i finanziamenti per il prossimo anno" - era questoragazzo un insider nel comitato del premio?O è possibile che la signora X abbia solo un record di presentazione di buoni documenti e qualcuno abbia uva acerba?
@GeoffreyBrent A volte, per incoraggiare una persona più conosciuta a partecipare alla conferenza / evento e aumentare il prestigio della conferenza / evento, viene detto "se partecipi, ti daremo un premio speciale per * Y *".Questo è in genere (e di certo non l'ho mai visto ** non ** essere) un premio separato per cose come "miglior giornale" - pensalo come simile a "Lifetime Achievement Awards" o ["Acadamy Honorary Awards"] (https: //en.wikipedia.org/wiki/Academy_Honorary_Award) agli Oscar.Quindi, potrebbe essere un caso di "Sappiamo che la signora X partecipa solo perché riceve il premio" La signora X è famosa "ogni anno"
@Chronocidal sì, posso crederci, ma suona come una classe di cose separata da ciò di cui l'OP stava chiedendo, o da ciò che sembrava implicare J-Kun.
Benjamin Mako Hill
2018-07-23 17:05:40 UTC
view on stackexchange narkive permalink

No. I premi per i migliori articoli della conferenza non sono truccati. Spesso, i membri associati o i presidenti di pista prenderanno decisioni basate in gran parte (ma non interamente) sulle valutazioni della revisione tra pari. A volte, ci sono comitati per i premi che possono prendere raccomandazioni da revisori o presidenti e prendere le proprie decisioni. Nelle conferenze a cui ho partecipato, i premi sono sempre stati premiati tra quelli con i punteggi medi più alti.

Poiché la qualità della carta non può mai essere misurata oggettivamente, queste decisioni sono soggettive. Riflettono le opinioni del comitato del premio o dei presidenti / organizzatori e dei revisori paritetici su quale sia il lavoro "migliore". Il processo non è più truccato (e non meno, suppongo) del processo stesso di revisione tra pari che è anche intrinsecamente soggettivo.

Potrebbero esserci alcune conferenze di stato molto basso in cui le cose sono veramente truccate ma io sono certo che questi sono rari ed è improbabile che siano posti che dovresti comunque inviare.

aeismail
2018-07-23 16:45:17 UTC
view on stackexchange narkive permalink

Poiché qualcuno che ha organizzato sessioni di premiazione e ha fatto parte del comitato di programmazione tecnica lavora in più discipline, suggerirei che qualsiasi conferenza che potrebbe prendere in considerazione tale comportamento come tu descrivi sarebbe da evitare. Se gli organizzatori usano ripetutamente i premi per invogliare i relatori alla conferenza, ciò dovrebbe essere abbastanza chiaro confrontando gli elenchi degli oratori e gli elenchi dei premi, che di solito vengono annunciati. Quindi qualsiasi tipo di pregiudizio sistematico dovrebbe essere una soffiata.

Captain Emacs
2018-07-23 20:08:27 UTC
view on stackexchange narkive permalink

È nell'interesse di una buona conferenza selezionare i migliori documenti (secondo alcuni criteri adeguati, ma in definitiva soggettivi) per i migliori premi cartacei. Il nome dei premi è legato alla conferenza e se costantemente buoni - nel senso di risultati interessanti, originali, tecnicamente competenti o durevoli - vengono selezionati i documenti, questo migliora la reputazione della conferenza. Se il record è "incerto" o chiaramente truccato, la conferenza stessa perde aplomb.

James Gleick nel suo libro su Feynman sottolinea che il Premio Nobel ha raggiunto la sua reputazione in particolare perché nella sua fase iniziale ha avuto la fortuna di essere premiato per un lavoro estremamente importante. Questo, a sua volta, ha migliorato la sua stessa reputazione.

I premi sono sempre una strada a doppio senso e, se non vengono trattati come tali, non ha molto senso sperare in loro, comunque.

Glen_b
2018-07-24 06:29:51 UTC
view on stackexchange narkive permalink

Nessuna delle volte in cui ho visto un miglior paper premiato (in un'area diversa dalla tua) ho considerato la selezione truccata , né ho mai sentito parlare di un caso in cui fosse.

[Tuttavia, mi sono chiesto in due casi sulla competenza - dove il presunto documento "migliore" conteneva errori evidenti - e in un caso piuttosto eclatanti - avrebbero è stato scioccante anche se il giornale era stato scritto frettolosamente la sera prima da uno studente universitario. Non potevo dire nulla, naturalmente perché le mie stesse carte erano state in lizza entrambe le volte, e sarebbe sembrato poco più che uva acerba portarle su dopo quella selezione. Tuttavia, sarei stato molto felice se un numero qualsiasi di altri giornali avesse vinto il premio. Anche molti anni dopo mi chiedo se qualcuno nei rispettivi comitati si sia mai reso conto di quanto terribili fossero i giornali che ritenevano "migliori". Non diceva molto per i loro standard!]

Anche nelle migliori circostanze, naturalmente, possono esserci i tipi comuni di pregiudizi cognitivi. Ottenere un nome noto aggiunto al tuo articolo come coautore può migliorare la visione dei comitati di selezione su di esso (specialmente se alcuni di loro non lo capiscono davvero), ma questa è una cosa diversa dall'essere truccati o prestabiliti .



Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 4.0 con cui è distribuito.
Loading...