Domanda:
Come rilevare gli imbrogli quando gli studenti sostengono quiz o esami online da casa?
I Like to Code
2020-03-06 20:02:40 UTC
view on stackexchange narkive permalink

Attualmente sto insegnando un corso di programmazione R di base con circa 80 studenti. In circostanze normali, un componente di valutazione del corso principale è un esame di programmazione, che viene svolto nel laboratorio informatico utilizzando i computer del laboratorio. essere interrotto e avremo supervisori dell'esame che pattugliano l'esame venu per rilevare o dissuadere gli studenti dal barare.Alla fine dell'esame, Internet viene ripristinato e gli studenti inviano uno script R (fondamentalmente codice di programmazione) utilizzando l'apprendimento del corso sistema di gestione.

In questo semestre, a causa della nuova malattia da coronavirus (COVID-19), l'università in cui lavoro ha sostituito tutte le attività di insegnamento nel campus con l'insegnamento online per l'intero semestre !

  • Per quanto riguarda l'insegnamento, ai docenti è stato chiesto di tenere i nostri corsi online utilizzando Zoom, che offre agli studenti la libertà di seguire i corsi dove vogliono.
  • Per quanto riguarda gli esami, la facoltà è stata chiamata a gestire il proprio corso ex ams online, con gli studenti che completano gli esami online da casa. (Cosa ?? !!)

Sono molto preoccupato per gli studenti che sostengono gli esami online da casa, perché sono preoccupato che alcuni o molti studenti possano usarla come un'opportunità per imbrogliare l'esame, sia che si tratti di collaborare con i loro compagni di classe o anche di chiedere a un altro studente di sostenere l'esame al loro posto.

Le mie domande:

  1. C'è un modo per rilevare se gli studenti tradiscono (ad esempio condividendo le risposte), quando gli studenti stanno facendo un quiz o un esame online a casa?
  2. C'è un modo per dissuadere gli studenti dal barare?

Risposta ai commenti:

  • Quanto aiuto hai per questi 80 studenti?

    Ho uno studente di dottorato che è una selezionatrice e dovrebbe dedicare circa 6 ore a settimana per aiutare con il corso.

Avrei una valutazione aggiuntiva tramite Skype o equivalente e avrei posto un paio di domande direttamente: dovresti essere in grado di dire se stanno aspettando che qualcun altro li aiuti, quindi usa quel voto come fattore per gli altri voti che potrebbero avereha avuto aiuto ...
https://theory.stanford.edu/~aiken/moss/ potrebbe essere utile
Includete una parola insolita nella domanda.Quindi, pubblichi una risposta errata online, inclusa quella parola insolita.Gli studenti cercano su Google la parola insolita.Trova la parola.Trova la risposta.Copia la risposta.Lavoro fatto.
@Strawberry: Conosco persone che hanno barato in modo simile.Non si limiterebbero a copiare qualsiasi soluzione senza controllarla e comprenderla.
Ho usato per dare libri aperti, test di note aperte nelle mie lezioni dal vivo e ho scoperto che gli studenti passavano tutto il loro tempo cercando di trovare le risposte e non finivano il quiz / test.Una volta passato al libro chiuso, i loro voti sono aumentati negli stessi test.Metterò a caso i miei test online per ogni studente (x domande casuali dal pool di y, fornite in ordine casuale), e oltre a questo non sono preoccupato.
Otto risposte:
Jeff
2020-03-06 21:09:08 UTC
view on stackexchange narkive permalink

Insegno anche a un corso di dati e programmazione, anche se utilizzo principalmente Python.

È possibile per te spostare il voto da un esame a qualcos'altro? Un progetto, per esempio? Prima di tornare al mondo accademico, ho lavorato per anni come ricercatore politico e le condizioni degli esami semplicemente non sono un test realistico delle capacità di codifica nella vita reale. Del resto, la programmazione con Internet disattivata non è neanche lontanamente come appare il vero lavoro.

Nella mia classe mi piace dare un progetto più ampio e lasciare che abbiano alcune settimane per lavorarci, ma potrei anche immaginare un progetto più semplice che hanno solo pochi giorni, o addirittura ore, da fare. Il lavoro sui dati reali spesso viene fornito con vincoli di tempo, ma non con la mancanza di accesso a Internet in condizioni simili a un esame. Ridimensiona semplicemente l'ambito del progetto in base al tempo che desideri lavoraci.

C'è ancora un enorme vantaggio nel conoscere il materiale, piuttosto che doverlo cercare. Puoi anche valutare la qualità del codice e la correttezza dei risultati e consentire la creatività con domande aperte come "riassumere questi dati con due grafici". In questo modo ogni studente non solo viene testato la sua conoscenza di R, ma viene testato sulla sua effettiva capacità di usare R in un ambiente realistico.

Se, sfortunatamente, è necessario sostenere un esame, lo so è disponibile un software per il monitoraggio dei test online. Il genere di cose che utilizzano le loro webcam per assicurarsi che non se ne vadano durante il test, o consultino altri dispositivi o aprano altre pagine web. Tuttavia non li ho usati, quindi non ho potuto fare una raccomandazione. Immagino che richiedano tutti abbonamenti universitari.

Sostengo l'idea del progetto.Penso che probabilmente dovrai abbandonare gli esami tradizionali a meno che l'università non si impegni seriamente per una soluzione tecnologica.Ciò è probabilmente impossibile nel periodo di tempo richiesto.Alcuni luoghi con un lungo e forte impegno nei confronti dei _codici d'onore_ sembrano essere in grado di controllare _per lo più_ ma non del tutto la disonestà degli studenti.Mi viene in mente il Dartmouth College.
Preferirei progetti in coppia o in piccoli gruppi.La collaborazione è probabilmente difficile da prevenire, quindi se la rendi necessaria non hai problemi.
@Buffy In generale, sì.Ma l'OP ha detto che a causa del virus COVID-19, l'università è chiusa (presumibilmente per evitare contatti non necessari tra le persone).Quindi in questo caso forzare la cooperazione non andrebbe bene ...
I progetti comuni di @MaartenBuis, possono, a loro volta, essere realizzati online.
Certo, ma gli studenti devono essere preparati per questo.Questo è difficile da ottenere nella situazione * ad hoc * risultante dalla chiusura dell'università.Non mi aspetto che i miei studenti siano in grado di gestirlo in una situazione del genere (è vero che sono sociologi).
Sarebbe un'ottima idea se prevista nel corso sin dall'inizio e annunciata nel programma.Purtroppo in questo caso il corso è già in corso, e molto probabilmente il programma dice che il voto includerà un esame, non un progetto.Il programma è spesso trattato come un "contratto" con lo studente e qualsiasi deviazione significativa può comportare reclami giustificati.
@NateEldredge Considerando che l'università ha appena cancellato tutte le lezioni di persona, penso che le modifiche al programma per adattarle sembrino abbastanza ragionevoli a questo punto.
La mia università ha detto esplicitamente che avremmo potuto apportare modifiche ragionevoli al programma per accogliere le modifiche online, purché lo informassimo gli studenti.
PhD
2020-03-07 05:48:47 UTC
view on stackexchange narkive permalink

Rendi la domanda non suscettibile di Google

Molti colleghi erano soliti fare ciò che hai menzionato: sostenere gli esami nei laboratori e tagliare l'accesso a Internet / alla rete per isolare i loro terminali . Il tutto con buone intenzioni di non barare.

Un approccio diverso che ho implementato è stato ripensare su cosa volevo testarli e usarlo come fonte guida e creare i problemi da zero . In questo modo, anche se dovessero fare la domanda a Google, è improbabile che trovino risposta. Tuttavia, se devono cercare qualcosa di specifico come "Breadth First Search in Java", probabilmente va bene IMHO. L'idea è che comprendano / decifrano il problema in modo tale da poter dedurre correttamente l'uso di quell'algoritmo. Se il linguaggio di implementazione è Java, sono liberi di cercare alcuni dettagli di implementazione (supponendo che abbiano avuto incarichi / esercitazioni precedenti in qualche forma).

Questo distoglie l'attenzione dall'atto di " codificare l'algoritmo "per" risolvere un problema utilizzando l'algoritmo ". Quest'ultimo è IMHO più a prova di copia. Anche se possono "copiare" l'implementazione dell'algoritmo, dovranno comunque adattarlo al problema in questione e questo di per sé può richiedere molto lavoro.

Per coloro che sono aperti a questo "overhead", questo è la scelta che fanno. Per coloro che si sentono a proprio agio nell'implementarlo da zero, non si affideranno a questo approccio. Elimina anche la pressione di memorizzare / eseguire il debug in un ambiente molto critico in termini di tempo e li porta a concentrarsi sull'atto di risolvere il problema con l'algoritmo previsto.

Ho avuto molto buon successo con questo approccio. È più faticoso trovare questi problemi e potresti esaurirli. Per questo una buona strategia è chiedere agli studenti di proporre dei buoni problemi per il prossimo anno e loro possono guadagnare crediti bonus per buoni lavori - funziona anche come un incantesimo;)

Esistono strumenti online che verificano la "somiglianza del codice" per dedurre se due persone hanno collaborato / condiviso codice. Uno è il MOSS che abbiamo usato. Ce ne sono sicuramente altri che possono aiutare a rilevare "barare / condividere" con grande successo.

Esempio:

Ho una mappa della città con 'tempo di viaggio' per ogni linea di autobus tra 2 fermate. Scrivi un programma che chieda all'utente di iniziare e terminare stop e restituisca il modo più veloce per arrivarci:

  Input / setup: A -> B: 5B -> C: 10C -> D: 1A -> C: 3Esempio IO: Start-stop ?: AEnd-stop ?: DComputing ... A -> C -> D: 4  

Test sull'abilità per trovare il percorso più breve - dipende da loro se usano BFS o Dijkstra. Questo non è facile per Google e anche se lo fanno, ci vorrà un po 'per tradurre il problema di cui sopra.

Puoi timebox del tempo di implementazione se stai utilizzando servizi come Code Signal o simili.

Questo non risolve il problema degli studenti che collaborano con altri studenti.
Se viene fornito un algoritmo per codificare in un linguaggio specifico, molte implementazioni differiranno solo negli identificatori.Impossibile distinguere un'opera originale da una copia quando il plagio ha rinominato solo le variabili.Una volta ho visto un saggio in cui lo studente aveva copiato un articolo di Wikipedia e poi modificato ogni frase abbastanza da nasconderlo al software di rilevamento del plagio.(Ovviamente una persona molto intraprendente, ma pur sempre plagio!)
@WGroleau - in realtà no.Strumenti come MOSS proteggono da questo AFAIK.Per gli articoli di wikipedia la mia università ha usato Turnitn, che è stato piuttosto bravo a cogliere anche queste piccole modifiche alle frasi.
@BenCrowell - d'accordo.Ed è qui che potrebbe essere utile un esame timebox che si terrà a orari prestabiliti.La collaborazione di per sé non è male, secondo me, è così che le persone lavorano nel mondo reale.È l'atto di progettare la soluzione che dovrebbe essere indipendente.Strumenti come MOSS proteggono piuttosto bene dal codice "simile" IMHO
Non erano modifiche minori, ma per lo più frase per frase.Comunque, era in una scuola superiore che non utilizzava tali strumenti.
@PhD la mia esperienza di turnitin è piuttosto diversa.Nei casi marginali con parafrasi della luce, contrassegna frammenti di frasi che potrebbero facilmente essere falsi positivi generati indipendentemente (e spesso da fonti diverse, quindi non c'è un blocco di evidenziazione di un colore con pochi bit bianchi), ma manca il quadro generale.I sinonimi inappropriati sulla marcatura sono un regalo migliore in questo caso.
@WGroleau Turnitin potrebbe non vederlo, ma come qualcuno che legge il codice per vivere, posso assicurarti che è facile individuare questo tipo di plagio.
Sono in pensione dalla scrittura e dalla lettura di codici per vivere e non vedo alcun collegamento.Tuttavia, è stato facile per me individuarlo una volta che ho avuto l'articolo di Wikipedia lì da confrontare.
Basile Starynkevitch
2020-03-07 22:22:41 UTC
view on stackexchange narkive permalink

Ci sono tonnellate di software open source o script o librerie scritti in R.

Dai ai tuoi studenti un progetto del genere scelto a caso (non troppo piccolo), con il compito di spiegare cosa fa quel software in inglese scritto (magari con qualche formula matematica in LaTeX o KaTeX) e per estendere o personalizzare o eseguire quel software (o libreria) per un problema di loro scelta. In altre parole, chiedi loro una revisione del codice e, se è disponibile ulteriore tempo, di aggiungere una funzionalità o caratteristica extra (descritta in inglese scritto) a quel software.

Tale le attività sono attualmente difficili da automatizzare completamente. Potrebbero usare Internet, ma non li aiuterà molto ...

Potresti aspettarti collaborazione, dando a ogni piccolo gruppo di studenti una caratteristica aggiuntiva (ma diversa per ogni gruppo) da Inserisci. Si noti che tale collaborazione di gruppo è vicina alla pratica industriale.

Ho insegnato all'università alcuni anni fa. Uno dei compiti che ho affidato agli studenti era scaricare sash ed estenderlo per aggiungere un builtin aggiuntivo (descritto in francese) in due ore. L'accesso a Internet non aiuta molto nella pratica. Il tempo era limitato, ovviamente.

Oggi lavoro (nel mio tempo libero) su RefPerSys. Per esperienza, è difficile convincere persone motivate (che non ho mai incontrato nella vita reale) a rivedere alcuni dei miei git commit . Ho inviato loro l'URL di molti documenti che li descrivono (ad esempio il modello ObjVLisp). Scrivo email, invio documenti, bozze di rapporti e diapositive abbastanza spesso. Siamo tutti molto motivati. Anche con questo, ottenere revisioni del codice e codice git commit -s è difficile. E oggi, un simile compito non può essere automatizzato in modo realistico.

Chthonic One
2020-03-07 05:21:54 UTC
view on stackexchange narkive permalink

Vengo a questo come ex studente e come assistente tecnico che ha assistito con gli esami.

Al mio college c'era un corso che ho seguito che consentiva agli studenti di scrivere e inviare attivamente codice tramite invio dal vivo per test di persona. Non hanno interrotto Internet per noi, ma eravamo in tempo e i requisiti per l'esame erano abbastanza severi che se non conoscevi bene il materiale, la ricerca delle risposte non ti avrebbe portato a risultati molto buoni.

Lo hanno fatto assicurandosi che stavi utilizzando un set di dati costruito manualmente per quel test. È capitato di avere anche un test in R. Questo set di dati era unico e, in quanto tale, non è stato possibile trovare le risposte da nessuna parte online.

Come AT che so anche, i contributi sono stati automaticamente confrontati tra loro dal sistema di presentazione in un modo che potrebbe essere determinato quali erano le corrispondenze ravvicinate, in modo che diventasse ovvio quando 2 persone hanno condiviso le risposte. Questi sarebbero stati contrassegnati per essere esaminati dal professore.

Complessivamente, non so quanto fosse efficace questo sistema, dato che era abbastanza nuovo a questo punto. Ero all'ultimo anno e questa era la prima volta che l'avevano provato, avendo avuto solo test di programmazione su carta in precedenza.

Per riassumere, quello che hanno provato è stato quello di sviluppare un sistema di invio online che utilizza Closest Strings Abbinamento per determinare la corrispondenza del punteggio percentuale tra la presentazione degli studenti e per sviluppare problemi segreti unici per ogni test che non possono essere trovati online al fine di avere un sistema digitale che può essere utilizzato di persona o online, oltre ad avere un limite di tempo rigoroso ma equo per fare il test.

Quanto al successo di quel sistema, solo il tempo lo dirà. La scuola in cui mi sono diplomata è UCF.

Dawn
2020-03-07 08:41:33 UTC
view on stackexchange narkive permalink

Chiedi al centro per l'insegnamento e l'apprendimento (o chiunque all'università stia organizzando seminari di facoltà sull'insegnamento - tutti i posti in cui ho insegnato ne hanno uno) quali sono le opzioni per il proctoring online. Quando ho insegnato corsi simili, c'è un software che può essere utilizzato per controllare gli esami online. Fondamentalmente consiste in un blocco del browser, registrazione dello schermo e accesso alla webcam, che registra se lo studente si comporta in modo sospetto mentre è seduto lì. Sì, questo è un esame piuttosto intenso, ma sembra funzionare per la nostra facoltà che dà esami per corsi online.

Il mio oc non viene fornito con una webcam, e adesso?
Questo è incredibilmente invasivo.Innanzitutto, quasi sicuramente richiederà Windows o, nella migliore delle ipotesi, MacOS.In secondo luogo, mi richiede di consentire un programma _molto_ invasivo sul mio sistema.Sono piuttosto scioccato dal fatto che qualcuno accetti questo livello di intrusione!
Ribadendo @terdon: questo mi sembra un grosso problema di privacy.Le persone non dovrebbero mai essere costrette a installare software proprietario sui propri personal computer, a meno che non lo abbiano accettato in precedenza per quel corso (e anche così, sarebbe una politica terribile e l'università rischia la responsabilità se quel software di terze parti finisce per esserecompromesso).
Il poster chiedeva come gestiscono le cose le altre facoltà: questo è abbastanza comune.Anche in classe gli esami utilizzano i blocchi del browser.Suggerirei di eliminare il software dopo aver completato l'esame, anche se suppongo che se non ti fidi del software non ti fideresti del processo di eliminazione.
Pete Kirkham
2020-03-08 03:45:55 UTC
view on stackexchange narkive permalink

Per esami come AZ-300, Microsoft utilizza una combinazione di un browser protetto e chat utilizzando la webcam del computer in uso. La persona che sostiene l'esame deve scansionare la webcam nella stanza per mostrare che non ci sono altre macchine e viene osservata durante il test. Hanno un software dedicato per garantire che non siano aperte altre sessioni del browser, ma la maggior parte dei software di condivisione dello schermo con registrazione potrebbe essere utilizzata da un sorvegliante per verificarlo, una volta che la webcam ha confermato che c'è solo uno schermo.

Questo mi sembra un grosso problema di privacy.Le persone non dovrebbero mai essere costrette a installare software proprietario sui propri personal computer, a meno che non lo abbiano accettato in precedenza per quel corso (e anche così, sarebbe una politica terribile e l'università rischia la responsabilità se quel software di terze parti finisce per esserecompromesso).
Andrew Davie
2020-03-09 18:05:48 UTC
view on stackexchange narkive permalink

Non consentire le ricerche su Internet per un corso di programmazione sembra un po 'obsoleto di questi tempi. Modificherei l'esame in modo che si basi meno sulla memoria e più sulla tecnica.

Ho sostenuto test tecnici pre-colloquio che consentiva le ricerche su Internet, ma era abbastanza difficile che se dovessi cercare costantemente cose, non le avresti mai completate.

Il problema principale con gli esami online è che un candidato potrebbe semplicemente chiedere a qualcun altro esame per loro, anche con una webcam puntata verso di loro dal loro laptop (basta che il complice usi una tastiera e un monitor separati).

Chris H
2020-03-09 15:08:08 UTC
view on stackexchange narkive permalink

Poiché questo vale per l'intera università, il tuo caso potrebbe effettivamente essere più suscettibile di una soluzione tecnologica rispetto a un corso in cui la maggior parte delle risposte agli esami si trova negli appunti delle lezioni che gli studenti potrebbero avere accanto a loro sulla carta mentre prendono l'esame (quindi anche una sessione protetta del browser non sarebbe d'aiuto). È probabile che l'università stia lavorando su un modo di gestire i voti date le circostanze, ma potrebbe essere troppo poco, troppo tardi per te per apportare modifiche da solo, o potrebbe invalidare tali aggiustamenti.



Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 4.0 con cui è distribuito.
Loading...