Domanda:
Nelle conferenze IEEE è necessario eseguire la simulazione davanti ai membri?
tumpa
2015-09-25 11:39:49 UTC
view on stackexchange narkive permalink

Il mio paper è stato accettato a una conferenza IEEE, ma non ricevo i risultati della simulazione che avevo ottenuto prima.

Nelle conferenze IEEE ti diranno di eseguire la simulazione davanti a loro?

"Conferenza IEEE" non ci dice quasi nulla. L'IEEE sponsorizza più di 1000 conferenze all'anno, su tutto, dall'informatica ai problemi di ingegneria nei trasformatori di energia elettrica. Può essere più preciso?
Per il futuro, assicurati di utilizzare lo stesso generatore di numeri pseudo-casuali per tutte le scelte casuali e assegnagli un seme specifico. In questo modo, puoi sempre rieseguire la stessa identica simulazione (supponendo che la tua implementazione sia a thread singolo).
@Peter: O semplicemente registrare un video dell'unica corsa di simulazione segnalata? Francamente, se una simulazione funziona solo per un insieme specifico di numeri casuali (* non * un insieme specifico di numeri scelti con cura in base a fattori esterni!), Qualcosa non va nell'ipotesi.
Il nuovo risultato della simulazione supporta ancora la conclusione del documento? Sono d'accordo con @Peter, ma aggiungerei una raccomandazione per eseguire test con semi diversi per verificare che il seme non influenzi le conclusioni.
@O.R.Mapper Assolutamente. Il seme fisso ti consente di tornare ai buoni risultati per capire cosa c'è che non va. Ma devi ancora capire perché il seme influisce sui risultati.
Scrivi SEMPRE il seme del numero casuale nel tuo file di registro! Quindi puoi ripetere qualsiasi corsa a piacimento.
@tumpa: invece di vederlo come un problema, vederlo come un'opportunità. A causa dei limiti di tempo, i ricercatori non costruiscono spesso un "secondo sistema", ma tu sì, quindi sfruttalo al massimo! Hai acquisito una comprensione più profonda del tuo problema e quanto sia sensibile a piccoli cambiamenti nel tuo software. Forse questo indica che il tuo metodo non è molto robusto. Inoltre, rilassati e lavora attentamente sul tuo codice. Trovo che situazioni stressanti (ad es. Crash del disco rigido) spesso possano rendere difficile individuare i bug in una simulazione.
Cinque risposte:
Fábio Dias
2015-09-25 17:16:06 UTC
view on stackexchange narkive permalink

Dal momento che le altre risposte dovrebbero rispondere correttamente alla tua domanda, solleverò un problema che mi ha infastidito sin dall'inizio: cosa vuoi dire che non puoi replicare i tuoi risultati?

Uno dei pilastri di la scienza è la replica dei risultati (cosa che non si fa quasi mai nell'informatica ...). Se tu non riesci a replicare i tuoi risultati, come ti aspetti che lo faccia qualcun altro? Se nessuno può replicare / verificare i tuoi risultati, scusa, non stai facendo scienza :(

Non sto dicendo che lo stai facendo in modo sbagliato, ci vorranno più informazioni di queste, lo sto dicendo la frase

ma non ottengo i risultati di simulazione che ho ottenuto prima.

è molto preoccupante e può indicare che tu stanno effettivamente facendo qualcosa di sbagliato.

In realtà, il mio disco rigido si è bloccato, quindi i risultati originali non possono essere recuperati. Ho eseguito una seconda simulazione ma i risultati si sono discostati dai miei risultati originali nel documento.
Tuttavia, l'articolo stesso dovrebbe essere una tabella di marcia con istruzioni complete su come / perché sei arrivato a quei risultati e come replicarli. Ecco a cosa servono gli articoli di ricerca. Se tu, l'autore originale, non puoi duplicare i risultati in base a quanto scritto sulla carta, vale lo stesso argomento.
@tumpa "crash del disco rigido" è equivalente a "il cane ha mangiato i miei compiti"; cioè nessuno troverà che una scusa accettabile. Il backup su una chiavetta USB è così facile in questi giorni che non c'è motivo di non farlo per il tuo lavoro critico. E tutto ciò che tutti gli altri hanno detto sulla replica dei risultati.
@msw, Non posso non essere d'accordo soprattutto come qualcuno che ha perso l'intero HDD (con entrambe le mie partizioni ...) un mese fa, ma poiché ho eseguito il backup di tutto ciò che è cruciale (codice), non è stato un grosso problema. Voglio dire, è stato fastidioso reinstallare tutto. Per quanto riguarda la domanda originale, però, seguirei il mantra "se non puoi replicarlo, non pubblicarlo". Troppo spesso ho trovato ottimi risultati in pubblicazioni che non funzionano assolutamente altrettanto bene una volta implementate.
@tumpa Per arresti anomali del disco rigido e altre cause di forza maggiore, creare proattivamente un repository online su Github. Controlla periodicamente il codice e i file dei risultati. Anche se la tua demo attuale non funziona, avrai un'idea molto migliore di cosa è andato storto, mentre passi attraverso il registro dei commenti.
user-2147482637
2015-09-25 14:18:23 UTC
view on stackexchange narkive permalink

I have not seen any conference in which normal track papers where required to show simulations. However, you may very well have questions about your simulation and results. For that reason, I would be careful of presenting something in which you yourself can not replicate. At the very least, depending on how different your results are now than they were before, you may need to make it clear in your presentation that you are aware there may be some issues with the accuracy.

Ébe Isaac
2015-09-25 11:50:40 UTC
view on stackexchange narkive permalink

So far, in none of the IEEE conferences I have attended have I seen a compulsion of a demo from the presentation critics. Though some delegates do present a demo, but it would be of their own wish.

Thus, you wouldn't have to worry about giving a simulation at the conference. The average time given to you would only be from 15-25 minutes for your presentation. You should be spending enough time explaining your work.

(Nevertheless, you ought to know what is wrong with your simulation for the good of your research concerned)

Vaibs
2015-09-25 19:25:06 UTC
view on stackexchange narkive permalink

Apart from what others have already mentioned here, about your inability to obtain the same results again being a bigger concern than just presenting a demo, I would also remind you that if someone from the audience asks some difficult questions, you could be caught in an awkward spot.

So, here is my advice - forget about whether you need to show a live demo or not, first figure out what is wrong with your methodology or your hypothesis. If you can justify that, then don't worry about the live demo, and if you cannot justify that, then you still have to do a lot of work.

+1 per "dimenticare se è necessario mostrare o meno una demo dal vivo".
Ilmari Karonen
2015-09-26 16:48:11 UTC
view on stackexchange narkive permalink

As the other answers have noted, showing a live demo is the least of your concerns. If your results are correct, and you understand the methods you've used to obtain them, then everything is fine. If not, you have bigger problems anyway.

You don't say exactly what you mean by "not getting the simulation results I obtained before", but whatever it is, it's worrying:

  • Your earlier results might have been a statistical fluke, or they might have been representative of only a small fraction of the parameter space.

  • Alternatively, if your old code consistently gave different results than you new simulation code does for identical parameter values, then either your old code or the new code (or both!) must have a bug.

Until you figure out what the cause of the discrepancy is, and verify (e.g. by comparison with earlier work and/or an independent reimplementation) that you simulations are actually producing correct results, there's a good chance that at least some of your results are bogus, and any conclusions you may have drawn based on them may be simply wrong.

The good news is that, by a lucky accident, you caught this problem now, before the conference. Even if you can't verify or correct your results in time, and end up having to withdraw your paper from the conference, that's still a lot less embarrassing than having someone else refute your results after (or, perhaps worse yet, during) the public presentation.

At this point, the two questions you should ask yourself are:

  1. Can you honestly and confidently stand in front of your peers and superiors, and answer questions about how you got your results and why they are the way they are, with full confidence that your claims, to the extent you've made them, really hold up to scrutiny?

  2. If not, what's the least embarrassing way to retract your claims, at least temporarily until you can reconfirm them, and how soon do you need to do that?

    (Tip: It's almost certainly not waiting until just before you need to present your paper. It's most likely also not trying to bullshit your way through the presentation with dodgy data, and having someone in the audience call you on it.)

In any case, if you haven't discussed the problem with your supervisor(s), do that now. This is one of the things it's their job to be aware of and to help you deal with, and they'll (hopefully) have the experience to suggest a reasonable course of action in your specific situation.



Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 3.0 con cui è distribuito.
Loading...