Per questa situazione, fornisco tre opzioni di risposta:

• Sì.
• No.
• Non lo so.

La griglia di valutazione è:

• Risposta corretta: +1
• Risposta errata: 0
• Non sapere: +0,5

In questo modo, se lo studente davvero non lo sa, viene garantita l'aspettativa di un'ipotesi casuale e ricevi feedback sui buchi conoscenza degli studenti, che può essere utilizzata per intraprendere azioni correttive. Se il tuo obiettivo è un apprendimento degli studenti più efficace, questa può essere una buona strategia.

Ho cercato di evitare voti negativi per un paio di motivi:

Immagina due candidati che ottengono lo stesso punteggio finale in un esame valutato negativamente. Un candidato risponde solo una parte del foglio, perdendo alcuni punti per le risposte sbagliate. L'altro risponde a quasi tutto il foglio, ottenendo molto più corretto ma anche sbagliare parecchi e facendo sottrarre voti. Quale ne sa di più?

Il secondo problema è che l'uso del voto negativo estende la gamma teorica di voti per l'esame. Ad esempio, se viene assegnato un punteggio per ogni risposta corretta e uno dedotto per ogni risposta sbagliata, l'intervallo teorico dell'esame è compreso tra - 100 e +100%.

-

Dai commenti spostati in chat: qualcuno ha chiesto un valore leggermente diverso per l'opzione "Non lo so". Questa è la mia risposta:

Tendo a non usare domande Sì / No, ma a scelta multipla per alcune valutazioni. In questi casi, faccio l'opzione "Non so" che vale 1 / (N-1) dove N è il numero di altre opzioni. In questo modo, se ci sono altre 3 opzioni, un'ipotesi casuale si aspetterebbe di ottenere 1/3 ma l'opzione Non so guadagna 1/2 --- il valore atteso se lo studente può eliminare una delle tre opzioni. .

In sostanza, stai valutando un predittore binario. Il punteggio usuale è noto come accuratezza (cioè probabilità di dare la risposta corretta). Per un predittore casuale (lancio di una moneta) otterrai il 50% (se le risposte corrette sono distribuite equamente tra sì e no).

Nota che la condizione che le risposte corrette siano distribuite% 50:% 50 tra yes e no è di per sé un enorme suggerimento per gli studenti se lo sanno in anticipo.

Suggerisco di considerare due metriche alternative:

coefficiente di correlazione di Matthews

uguale al coefficiente Phi, Coefficiente di correlazione di Pearson.

1. Intervallo: da -1 a 1
2. Tutto corretto: 1
3. Tutto sbagliato: -1
4. Casuale: 0

Competenza

Misura la quota di informazioni (percentuale di bit) contenuti nelle risposte vere che vengono catturate dalle risposte inviate ( informazione qui significa entropia della distribuzione).

1. Intervallo: da 0 a 1
2. Tutto corretto: 1
3. Tutto sbagliato: 1 (sic!)
4. Casuale: 0

Nota che i punteggi di "all corr ect "e" tutto il contrario "sono la stessa cosa. Questa è una caratteristica, non un bug: la persona che ha sbagliato tutte le risposte ha probabilmente confuso le etichette ("sì" e "no") ma conosce l'argomento.

Assegna anche un punteggio inferiore a " risultati quasi casuali rispetto a MCC.IOW, distingue meglio i buoni risultati.

Avvertenze

Risposte mancanti

Se manca una risposta, dovrebbe essere sostituita con una risposta casuale sì / no .

Questo è corretto statisticamente, ma pedagogicamente sbagliato perché la risposta onesta "Non so" mostra conoscenza del secondo ordine che dovrebbe essere incoraggiata.

Corretta distribuzione delle risposte

Le metriche si comportano allo stesso modo indipendentemente dalla distribuzione delle risposte corrette, tranne quando tutte le risposte corrette sono le stesse (nel qual caso nessuna delle due metriche è definita). Questo viene risolto dallo shuffle di Bernoulli (passaggio 2 nel protocol).

Queste sono statistiche metriche

Queste metriche rendono poco senso quando ci sono pochissime domande. In particolare, un errore in una domanda può avere un costo molto diverso a seconda della domanda (questo può essere risolto ripetendo lo shuffle di Bernoulli molte volte e prendendo il punteggio medio - vedere il protocollo passaggio 2 di seguito).

Additivity

Queste metriche sono non additivo : non puoi segnare due metà del test separatamente e in qualche modo combinarle per ottenere il punteggio totale del test (per non parlare di aggiungere i punteggi per le due metà).

Ciò può rendere queste metriche una vendita molto difficile sia per gli studenti che per gli amministratori.

Protocollo

Considerato quanto sopra, il protocollo corretto per queste metriche è:

1. Prepara centinaia di domande ( va accettabile che tutte le domande abbiano la stessa risposta corretta r).
2. Utilizzando un Bernoulli rng con p = 1/2 , per ogni domanda, mappa yes / no a A / B (cioè, per circa il 50% delle domande, yes sarà A e per il 50% sarà B e per metà delle domande la risposta corretta è A ) - questo viene fatto completamente dietro lo schermo. Né gli studenti né il professore devono essere consapevoli di quale sia la mappa effettiva.
3. Assegna un punteggio ai predittori binari risultanti (ora sia il tasso di base reale che i tassi di base previsti sono gli stessi - 50%).

La dipendenza dall'Rng di Bernoulli introduce del rumore (ordine 1 / N dove N è il numero di domande di prova). Cioè, la deviazione standard di mcc e competenza su un test con 100 domande sarà inferiore all'1%. Poiché i passaggi 2 & 3 sono automatici, possono essere ripetuti molte volte e il punteggio medio o mediano utilizzato.

Certo, uno studente che registra ipotesi casuali in un esame sì / no o vero / falso avrà un punteggio previsto del 50%. Così? Nella maggior parte degli schemi di valutazione, questa è una F solida.

Una domanda più pertinente da porre è "Qual è la probabilità che uno studente che indovina casualmente riceva un voto positivo / a B o superiore / un A ? "

Per questo problema, la durata dell'esame è tuo amico! Supponiamo che ogni domanda sia una prova indipendente e che le risposte corrette e sbagliate siano ugualmente probabili (p = 0,5) . Questo ci colloca nel contesto della distribuzione binomiale. Considero un voto positivo come un punteggio del 70% o superiore e un A come un 90% o più in alto, con una risposta corretta che ottiene 1 punto e una risposta errata che ottiene 0 punti su ogni domanda (che soddisfa le preferenze del tuo istituto per la valutazione additiva).

• Per un breve esame di 10 domande, un indovino casuale ha una probabilità del 17,2% di superarlo e una probabilità dell'1,07% di ottenere un A .
• Per un esame di 20 domande, un indovino casuale ha una probabilità del 5,77% di superarlo e una probabilità dello 0,0201% di ottenere un A .
• Per un esame di 50 domande, un indovino casuale ha solo una probabilità dello 0,330% di superarlo e una probabilità dello 0,000000210% di ottenere un A .
• Per un esame di 100 domande, un indovino casuale ha solo una probabilità dello 0,00393% di superarlo e una probabilità dell'1,52 * 10 ^ {- 15}% di ottenere un A .

Sebbene ci siano molti avvertimenti in questa analisi approssimativa, ciò dovrebbe evidenziare che l'ipotesi casuale non è una strategia praticabile per un esame di lunghezza ragionevole. Tieni presente che la probabilità di superamento è anche la stessa probabilità che ottengano meno del 30% all'esame! Sulla falsariga di questa analisi statistica, ci sono molti suggerimenti simili: uno studente che può fare un'ipotesi plausibile (diciamo p = 0,7) a ciascuna domanda, quasi sempre supererà un indovino casuale; uno studente che conosce la risposta alle prime n-1 domande e poi indovina casualmente l'ultima domanda farà ancora meglio. Un altro aspetto da considerare sarebbe che un esame a scelta multipla ha maggiori probabilità di punire un indovino casuale rispetto a un esame sì / no.

Personalmente, non trovo che un esame a scelta multipla o sì / no sia così eccezionale per valutare l'apprendimento degli studenti, poiché generalmente tende al rigurgito di fatti e tecnicismi della formulazione, al contrario di dimostrare analisi critica e sintesi. Se insisti con la valutazione sì / no o la scelta multipla, ecco alcune opinioni personali:

• Utilizza un processo casuale (o pseudo-casuale) per determinare le risposte. Gli esami in cui ogni risposta corretta è una scelta (B) sono carini, ma non sono un buon strumento di valutazione. Gli studenti raccoglieranno anche schemi nell'ordine delle risposte corrette, portando al meta-gioco.
• Utilizza una metrica semplice (0 punti errati / 1 punti corretti o simili) e assicurati di spiegare se saranno penalizzati o meno per aver indovinato --- gli esami sono abbastanza stressanti senza dover considerare la teoria dei giochi durante la registrazione di ciascuno risposta.
• Rendi l'esame sufficientemente lungo. Ciò contribuirà a uniformare il rumore di supposizioni casuali e renderà ogni singola domanda meno stressante. Considera il caso estremo di come sarebbe sostenere un esame con una singola domanda T / F.
• D'altro canto, assicurati che ci sia tempo sufficiente per dare una risposta ragionata a ciascuna domanda.

Modifica

Non ero a conoscenza delle diverse correlazioni tra il punteggio percentuale grezzo e i voti tipici, come sottolineato nei commenti. I miei ringraziamenti a @curiousdanii e @cfr per avermelo fatto notare e le mie sincere scuse per l'etnocentrismo! Apprezzo molto le informazioni di academia.stackexchange che possono aiutarci a guardare oltre le nostre bolle istituzionali.

Avendo valutato solo all'interno del sistema americano, non ho una buona sensazione qualitativa per i vari voti in altri sistemi. Tuttavia, credo che valga ancora la pena considerare un tema centrale della mia risposta: l'ipotesi casuale è quasi sempre una strategia inferiore allo studio e alla risposta corretta alle domande. In quanto tale, vorrei riflettere seriamente sul fatto che sia davvero un problema che è necessario controllare quando si progetta una rubrica.

Se premuto, penso che il modo più naturale per tenere conto di un valore atteso inaccettabilmente alto (relativo a un dato schema di voto) sarebbe passare a un formato a scelta multipla. Come con una buona domanda T / F, sforzati di rendere tutte le risposte esteriormente plausibili. Avere una risposta "scherzosa" che può essere immediatamente esclusa serve a poco.

Una possibilità che risolve tutti i problemi elencati: la valutazione su una curva.

Certo, la valutazione della curva è qualcosa che fa arrabbiare molte persone (a favore o contro) ma questa è una situazione per la quale è praticamente costruito: hai una gamma di risultati che non si allineano con voti equi in lettere ma che sono ordinati / classificati in base al grado di conoscenza.

Prima, il 75% di uno studente sarebbe una `` C '', anche se in realtà conoscevano solo le risposte a metà delle domande (e immaginavano l'altra metà). Su una curva, tuttavia, il 75% di quello studente probabilmente gli darebbe un voto basso o fallimentare poiché si spera che la maggior parte delle altre persone nella classe avrebbe una percentuale di successo più alta.

Modifica: per chiarimenti, quando dico "Valutazione su una curva", intendo che l'X% della classe otterrà un 'A ', Y% otterrà una "B", ecc. Diamine, ad essere onesti, se mi spiegassi in anticipo, "lo assegnerò su una curva perché, beh, se non lo facessi, le persone potrebbero ottenere il 50% solo per aver indovinato tutto a caso! " e se rendessi la curva semi-generosa, genereresti pochissimo rancore tra gli studenti.

Sono stati pubblicati numerosi articoli nel corso degli anni. Una tabella di opzioni è mostrata di seguito da Bandaranayake, et. al., Using Multiple Response True-False Multiple Choice Questions, Royal Australian College of Surgeons, 1999. Alcuni di questi considerano la costruzione di domande "multiple true / false", cioè domande che hanno una "radice" e diverse (debolmente o fortemente) affermazioni vero-false collegate:

Un'altra opzione è suggerita da Frank Reid, An Alternative Scoring Formula for Multiple-Choice e True False Tests, Journal of Educational Research, 2001:

Alcuni altri documenti che ho trovato includono quanto segue:

• Molteplici domande vero-falso; Hill, G. C .; Woods, G. T. Education in Chemistry, 11, 3, 86-87, 74 maggio
• Punteggio di test multipli vero / falso: alcune considerazioni; Gross, Leon J., Evaluation and the Health Professions, v5 n4 p459-68 Dec 1982
• Burton, Test a scelta multipla e vero / falso: misure di affidabilità e alcune implicazioni del punteggio negativo, Assessment & Evaluation in Higher Istruzione, 2004.
• Burton R. Disinformazione, conoscenza parziale e supposizioni nei test vero / falso. Medical Education [serial online], 2002.
• Tsai F, Suen H. Un breve rapporto su un confronto di sei metodi di punteggio per più elementi vero-falso. Educational & Psychological Measurement, 1993.
• Muijtjens, Mameren H, Hoogenboom, Evers, Vleuten C, Muijtjens. L'effetto di un'opzione "non so" sui punteggi dei test: numero corretto e punteggio della formula a confronto. Educazione medica, 1999.

Un altro modo per ridurre il punteggio ipotizzabile e allo stesso tempo ricompensare gli studenti che si sono preparati per gli esami è raggruppare le domande in una, dove rispondere a tutte le domande su un argomento dimostra padronanza di quell'argomento e guadagna pieno credito, mentre solo conoscere alcune delle risposte vale meno credito.

Questo è più facile da spiegare con un esempio. Diciamo che sto preparando un esame per un corso di storia degli Stati Uniti per l'unità sugli eventi che hanno portato alla guerra rivoluzionaria. Alcuni degli eventi che potrei voler essere sicuro che i miei studenti abbiano studiato e compreso potrebbero essere The Establishment of Jamestown, Virginia, come il primo insediamento inglese permanente, Bacon's Rebellion, The Boston Massacre, The Boston Tea Party e alcuni altri.

Quando preparo la domanda su Bacon's Rebellion, potrei voler controllare che gli studenti sappiano quando e dove si trovava. Quindi ho potuto impostare la domanda in questo modo:

Ribellione di Bacon (4 punti. Possibili punteggi: 4, 1, 0):

• A) Ribellione di Bacon era nel 1676 . TF
• B) Nathaniel Bacon ha guidato la ribellione a Jackson, Mississippi. TF

(Risposte: A) Vero, B) Falso, era a Jamestown, Virginia)

Se lo studente risponde correttamente a entrambe le domande, ottiene tutti e 4 i punti . Se ne ottengono solo uno, ottengono comunque un punto. Se sbagliano entrambe le domande, ottengono 0 punti.

Questo sistema di punteggio dovrebbe essere spiegato accuratamente agli studenti in anticipo e scritto all'inizio del test, ma per darti un'idea di come questo distribuisce i punteggi dell'esame, se l'esame è composto da domande ciascuna con due parti come questa e uno studente indovina semplicemente su ogni domanda, ha un punteggio medio previsto di 1,5 punti per domanda, o 37,5% sull'intero esame. Tuttavia, uno studente che conosce la maggior parte del materiale e conosce il 95% delle risposte dovrebbe ottenere circa il 92% all'esame.

Assegnando un punto invece di 0 per la risposta parzialmente corretta, questo aiuta a mitigare le lamentele degli studenti di "Ma sapevo che la ribellione era nel 1676, ho solo dimenticato dov'era!" perché stanno ancora ottenendo un credito parziale, ma non tanto quanto otterrebbero se mostrassero una padronanza del materiale essendo in grado di rispondere a entrambe le domande.

Non dando mai alcun punto negativo, questo aiuta con l'ansia che stavi menzionando che i tuoi studenti devono affrontare con quel potenziale cliente.

Due suggerimenti se decidi di implementare questa idea:

1. Attenersi allo stesso formato per l'intero esame e assicurarsi di spiegare agli studenti cosa intendono fare vedere. O fai tutte le domande con due parti o fai qualcos'altro, ma non mischiarle. Gli studenti potrebbero rimanere coinvolti nel tentativo di capire come vengono valutate le domande e perderanno tempo prezioso che dovrebbe essere utilizzato per mostrare la loro conoscenza del materiale.
2. Non cercare di raggruppare più di due domande insieme in questo modo. La matematica potrebbe sembrare carina come il punteggio previsto della persona che indovina diminuisce notevolmente con ogni domanda che aggiungi sulla ribellione di Bacon, ma dal punto di vista dello studente, se lui o lei ha studiato e conosce la maggior parte del materiale ma non ne ricorda neanche un po dettaglio che sembra essere qualcosa che chiedi, quello studente perde immediatamente la maggior parte del credito per una domanda di cui potrebbe sapere molto.

Uno schema semplice che è stato utilizzato da alcune olimpiadi matematiche è quello di rendere la risposta di ogni domanda un numero intero compreso tra 1 e 999. Se stai attento nell'impostare la domanda, di solito puoi fare la probabilità di indovinare la risposta corretta ( anche dopo l'eliminazione del buon senso) non essere superiore al 10%. Ad esempio, se la domanda chiede di trovare la lunghezza di un segmento di linea in una costruzione geometrica, ingegnerizza la costruzione in modo che non ci siano disuguaglianze evidenti che possano limitare la lunghezza a meno di 100.

I vantaggi di questo schema è che l'esame è facile da valutare e tuttavia difficile per gli studenti ottenere crediti immeritati. Sono fermamente dell'opinione che gli studenti di matematica dovrebbero essere valutati sulla base di prove, ma se stai prendendo in considerazione domande a scelta multipla almeno questo schema è un'opzione di gran lunga migliore.

uno studente può semplicemente rispondere a tutte le domande in modo casuale e ottenere, in aspettativa, un punteggio del 50%, il che non è molto equo

Non proprio, a meno che il tuo schema di valutazione dà anche un voto elevato a punteggi superiori al 50%. Se si presume che i punteggi seguano una distribuzione simile a quella normale (quasi sempre lo faranno), la media uscirà da qualche parte ben al di sopra del 50% e chi ha ottenuto il 50% finirà con un punteggio z piuttosto negativo, e quindi grado (possibilmente F, a seconda di come lo imposti).

Penso che il vero problema con le domande vero / falso sia che in realtà hai buone probabilità di vincere alla lotteria e ottenere un buon voto senza conoscere il materiale. Per questo motivo, almeno la scelta multipla o il riempimento delle domande vuote sono molto migliori. Le domande di saggio, come hai detto, sono ovviamente le migliori ma molto più laboriose da valutare.

Tieni presente che puoi sempre convertire le domande T / F a scelta multipla, utilizzando "quale delle tre affermazioni precedenti sono vere? ". In questo modo è impossibile indovinare in modo indipendente, quindi il punteggio previsto può scendere dal 50% al 12% (ma in realtà sarà del 20% o del 25% a causa del numero di scelte).

Dopo aver esaminato tutte le risposte precedentemente pubblicate, non riesco a vedere alcun modo in cui i problemi intrinseci di un esame sì-no possano essere superati. Semplicemente non è un buon formato per gli esami. Non puoi estrarre una quantificazione utile delle conoscenze e abilità dei tuoi studenti da essa.

Tu non puoi, ma i tuoi studenti sì. Quindi, se vuoi impostare esami sì-no, fallo con lo scopo di dare ai tuoi studenti uno scopo regolare per rivedere ciò che hanno imparato. Dai a questi esami un contributo nominale dell'1-2% al voto finale, con un massimo del 10% per tutti gli esami sì-no combinati, quindi imposta una o due valutazioni più coinvolte per completare il resto del voto finale.

È possibile rispondere a ciascuna domanda sì o no in tre modi: sì, no, (vuoto).

Dichiara all'inizio che ogni risposta corretta ha un punteggio +1, ogni vuoto ha un punteggio 0 e ogni risposta errata ha, diciamo, un punteggio di -0,5. Questo scoraggia le supposizioni, ma ha una penalità minore di un punteggio -1. L'intervallo di voti possibili sarebbe quindi compreso tra -50% e 100%.

Puoi anche creare una combinazione di una scala lineare e una non lineare. Supponiamo che tu dia 5 problemi con 4 domande sì / no in ciascuno. Per determinare il punteggio del problema, diciamo, da 0 a 20 puoi usare qualsiasi funzione ragionevole (= monotona e spiegabile agli studenti) su $ {0,1} ^ 4 $ che desideri (puoi anche assegnare valori diversi a domande diverse) ma poi aggiungi solo i punteggi per i problemi. Questo elimina l'effetto soglia che è il principale svantaggio di qualsiasi "amplificazione di cutoff" di un solo punteggio finale, ma preserva l'idea generale che una corretta ipotesi casuale non valga molto.

Per quanto riguarda le comuni tecniche di amplificazione regolare, quelle che ho visto in azione sono $ x ^ 2/100 $ (quindi il fortunato ragazzo casuale con il 60% nominale ne ottiene solo 36) e $ 10 \ sqrt x $ (se tutti hanno un punteggio davvero basso, questo allunga la parte inferiore e aumenta un po 'il morale).

Se c'è un motivo per cui stai considerando il 50% come un vantaggio, potresti ristrutturare la struttura di valutazione del corso in modo che non sia basata sul punteggio (percentuale), ma basandoti invece sul voto (AF), utilizzando la stessa scala del calcolo GPA (A = 4, F = 0).

Ciò significherebbe che un punteggio 0-59% su qualsiasi test o compito risulterebbe in 0 punti che contribuiscono al voto finale del corso.

Questo renderà statisticamente inutile semplicemente indovinare su un test Vero / Falso o Sì / No.

Affermerò che credo che preoccuparsi per uno studente in modo improprio "giocare" il sistema per segnare un voto non superato che potrebbe essere più alto di un altro voto non superato che avrebbe ricevuto se avesse sostenuto correttamente il test, ti sta stressando senza uno scopo utile.

Più ci penso più ho problemi con l'utilizzo di GPA all'interno di una classe. Per prima cosa, sarebbe quasi impossibile ottenere un A, poiché sarebbe un punteggio perfetto.

Forse il punteggio per i compiti potrebbe essere

• F = 0
• D = 2
• C = 4
• B = 6
• A = 8

Con il il voto finale del corso è

• '> = 7 dà A
• '> = 5 dà B
• '> = 3 dà C
• '> = 1 restituisce D
• ' <1 restituisce F

Vedo tre problemi principali:

1. Qualcuno senza alcuna conoscenza del dominio può comunque ottenere punti. Dici che è ingiusto, ma ingiusto nei confronti di chi? Le persone senza alcuna conoscenza ottengono punti, ma quelle con conoscenza ottengono più punti. E le soglie di voto tendono a tenerne conto; le soglie tendono a variare da circa il 50% (F) al 90% (A), quindi quando prendi in considerazione i punti gratuiti, questo è effettivamente 0% di conoscenza è una F, mentre l'80% di conoscenza è una A.

2. I punti negativi fanno sentire male le persone. L'importanza che dovresti dare dipende dal livello. Per la scuola elementare, i problemi psicologici sono importanti, ma dall'università dovrebbe essere un problema minore (sebbene non del tutto eliminato). Questo può essere ridotto presentando agli studenti situazioni matematicamente equivalenti con formulazioni diverse. Ad esempio, con un test di 100 punti, potresti dire agli studenti che iniziano il test con -50 punti, ma ottengono 0,5 punti indietro ogni volta che saltano una domanda.

3. Le persone che suppongono fanno meglio di quelle che lasciano vuote le domande che non conoscono. Questo crea un certo tipo di "lavoro impegnato" per studenti, facendoli scegliere tra la compilazione casuale di risposte che non conoscono o la perdita di "punti gratuiti". Nota che questo non viene risolto includendo un'opzione "non so", dal momento che avranno ancora il duro lavoro di contrassegnare "non so" per tutte quelle domande, invece di saltarle. C'è, tuttavia, un vantaggio qui in cui in pratica chiedi agli studenti "Ok, non sai quale sia la risposta qui. Ma quale pensi sia più probabile ?"

Non è possibile risolvere completamente tutti e tre questi problemi, quindi dovrai sceglierne almeno uno da ignorare. Puoi dare mezzo punto a ogni domanda lasciata vuota, che si occupa completamente di (3) e principalmente di (2) (gli studenti non ottengono punti negativi per aver sbagliato le domande, ma stanno perdendo i punti che avrebbe potuto ottenere se li avessero lasciati vuoti). Puoi lasciare le cose come stanno, che indirizzi completamente (2), ma non indirizzi (1) o (3). Oppure puoi dare punti negativi, quali indirizzi (1) e (3), ma non (2).