Sembra che lo schema di valutazione sia mal mirato.

Quando si inserisce la revisione tra pari come parte del proprio schema di valutazione, si valuta la revisione non il documento esaminato. La mancata esecuzione della revisione dovrebbe riflettersi nel voto del revisore non nel voto dell'autore.

I criteri che utilizzo per valutare le revisioni sono sulla falsariga di

• La revisione identifica correttamente i punti di forza e di debolezza del materiale inviato?
• Comunica i problemi in modo chiaro e utile all'autore?
• Le critiche sono formulate in un linguaggio costruttivo? (Lo so, questo non è effettivamente necessario o onorato nel mondo reale, ma voglio che la mia classe sia un ambiente di apprendimento confortevole, quindi insisto.)
• La revisione identifica quali parti del documento sono fonte di particolari reclami. ("La sezione 3.2 non è chiara perché ..." al contrario di "Alcune parti del documento non sono chiare").

Nota che questo significa che devo leggere e rivedere l'articolo da solo e quindi leggi e valuta le recensioni. Richiede molto tempo.

Gli aspetti positivi di questo tipo di compito è che coinvolge gli studenti al livello di "valutazione" della tassonomia di Bloom e li espone a un intervallo di diversa qualità del lavoro in modo che abbiano la possibilità di capire da soli che alcuni scritti sono semplicemente migliori di altri esempi.

Gli aspetti negativi includono la quantità di tempo utilizzata, il natura alquanto soggettiva dei criteri di valutazione e una tendenza degli studenti a dirsi l'un l'altro quanto stanno andando tutti bene ( richiede una certa esperienza per fare un buon lavoro, e soprattutto critico, di valutazione il lavoro degli altri; se i tuoi studenti non sono ancora a quel livello, non stabiliranno standard elevati per i loro coetanei).

Addendum

Durante il fine settimana ho assistito a un discorso su un sistema chiamato revisione tra pari calibrata, che fornisce una struttura per l'utilizzo della revisione tra pari come parte dello schema di valutazione dei saggi degli studenti. Non ho esperienza personale con il sistema.

L'intero sistema è mediato su Internet. Gli incarichi procedono in diverse fasi.

1. Lo studente riceve il prompt, esegue le ricerche necessarie, quindi scrive e invia la sua risposta.

2. Gli studenti ricevono quindi una griglia per valutare le risposte allo stesso compito e la applicano a tre risposte campione fornite dall'istruttore (progettate per imitare le risposte degli studenti scarse, adeguate e buone).

   Il successo in questa fase è definito da una valutazione vicina a quella assegnata dall'istruttore. È loro concessa una seconda possibilità in ogni punto in cui si discostano eccessivamente.

   Il peso della recensione di uno studente nella terza fase è determinato dalle loro prestazioni in questa fase (studenti il ​​cui uso della rubrica non corrisponde a quello dell'istruttore avrà un impatto minore rispetto allo studente la cui applicazione della rubrica corrisponde a quella dell'insegnante).

3. Gli studenti quindi leggono e valutano tre risposte anonime dei loro coetanei (ed eventualmente dell'insegnante che può fornire una risposta "studente" oltre alle tre utilizzate per la calibrazione). Queste risposte vengono prese in considerazione nel voto dell'autore sul compito utilizzando i pesi stabiliti nella fase 2.

   Infine, gli studenti leggono e valutano la propria risposta. Il successo qui è definito dalla corrispondenza del consenso.

   Controversie e casi speciali sono risolti dall'istruttore.

Chiaramente c'è molto da fare. L'anonimato, l'uso della fase di calibrazione e la ponderazione delle valutazioni degli studenti in base al loro successo nel valutare le risposte di calibrazione funzionano tutti per prevenire le peggiori modalità di fallimento di chiedere agli studenti di valutare direttamente il lavoro degli altri. Anche così, hai bisogno di quella regola secondo cui l'istruttore può annullare il sistema in casi eccezionali.

Quando tutto è stato detto e fatto, il voto di uno studente sul compito può essere basato più sulla sua valutazione (dei campioni, delle risposte dei colleghi e della propria presentazione) che sulla propria scrittura. L'oratore ha mostrato uno schema di valutazione che ha usato in cui il saggio stesso valeva solo il 20% del voto del compito con il resto proveniente da varie parti della sequenza di revisione.

Questo è un processo lungo e viene utilizzato più su brevi compiti scritti che su documenti sostanziali. Richiede anche una preparazione considerevole, in quanto l'istruttore deve fornire il prompt, la rubrica, tre risposte di calibrazione e possibilmente una falsa risposta di "studente".

Se ho capito bene, stai penalizzando gli studenti che non hanno fatto nulla di sbagliato, perché gli altri avrebbero dovuto rivedere il loro lavoro e non l'hanno fatto? E non ti sei preso la briga di valutare i saggi dei tuoi studenti? Niente di personale, ma se fossi il presidente del tuo dipartimento farei in modo che questo finisca immediatamente .

Il voto degli studenti dovrebbe essere basato sul loro lavoro e tu dovrebbe essere quello che lo valuta. Affidare questo lavoro ai tuoi studenti significa abrogare la tua responsabilità di istruttore.

La revisione tra pari può essere un'ottima cosa. Se desideri che gli studenti rivedano il lavoro degli altri e che ritengano gli studenti responsabili di scrivere recensioni ponderate (o almeno di scrivere qualcosa ), valuta gli studenti sul loro lavoro e anche sulla qualità le recensioni che scrivono sul lavoro degli altri.

Le due frasi seguenti dimostrano un grave malinteso di ciò che sta accadendo:

Per impostazione predefinita, danno ai loro colleghi F sui loro compiti.

E :

Questo sta abbassando notevolmente il punteggio medio della mia classe e, in quanto insegnante relativamente nuovo, sono un po 'preoccupato di essere penalizzato per la loro incapacità di svolgere il proprio lavoro ...

La prima frase è scritta in modo tale che gli studenti si diano voti a vicenda. La seconda frase è scritta in modo da dare i voti ai tuoi studenti. La seconda frase è corretta (o almeno lo è in tutti i paesi in cui ho lavorato).

Questo non vuol dire che non puoi incaricare gli studenti di darsi un feedback a vicenda o di fornire una valutazione tra pari. Invece, il punto è che la valutazione tra pari di questo Q non è il voto dello studente di X. Puoi rendere:

1. Il completamento di Q del compito della valutazione tra pari una parte del voto di Q
2. La valutazione di Q una (piccola) componente del voto di X
ol >

Ma chiaramente nel caso in cui Q non riesce a completare questa componente del proprio lavoro per la classe, X non può essere penalizzato.

Potrebbe legittimamente abbassare i voti dei 19 studenti che non stanno facendo esso, ma questo è un problema diverso (uno di motivazione o chiarezza dei compiti o livello rispetto all'abilità dello studente) piuttosto che il problema che sembra descritto nel PO.

Offrire ai tuoi studenti la prima esperienza con la revisione tra pari è una buona idea. Puoi valutarli in base alla loro capacità di fare revisioni tra pari. Forse, una piccola frazione del loro voto può anche derivare dal modo in cui i loro coetanei li hanno valutati, ma mai al 90%.

In questo momento, gli studenti con risultati insufficienti sono probabilmente ingiustamente avvantaggiati come hai sottolineato. Allo stesso tempo, i migliori studenti probabilmente non ricevono il dovuto credito. Solo gli studenti medi rimarrebbero inalterati, tranne per il fatto che possono anche soffrire casualmente quando il loro revisore semplicemente non li esamina. Per quale motivo attribuisci il fallimento del revisore allo studente recensito?

Penso che ti manchi il modo di costringere gli studenti a FARE la valutazione. Ho pensato a una valutazione tra pari simile, ma con delle regole:

1. Lo studente valuterà il saggio / rapporto del compagno di classe in base alle regole di valutazione e agli errori di voto. (0-10 punti)
2. Valuterò il saggio secondo le stesse regole di valutazione. (0-10 punti)
3. Assegnerò un voto al pari (-inf - 10 punti) 10 punti predefiniti, -1 per falso positivo (mancano un errore) e -1 per falso negativo ( contrassegnano la parte corretta come un errore).

4. Il punteggio degli studenti è dato dalla somma ponderata del voto del pari (n. 1), del mio voto (n. 2) e della qualità del pari (n. 3).

   Applicando la regola n. 3 puoi contrassegnare i selezionatori predefiniti con F senza alcuna possibilità di lamentarti. Puoi trovare tanti falsi negativi / positivi quanti ne vuoi per rovinare il punteggio del loro saggio :)

Fai attenzione però a valutare i falsi positivi. Elimina i punti per gli errori che possono effettivamente riconoscere come errori (sono stati trattati nella lezione; sono stati menzionati nelle regole di valutazione).

Sospetto che parte del motivo per cui lo stai provando sia la mancanza di budget per gli assistenti didattici, o anche per averti pagato personalmente per controllare quei saggi. Se è così, è davvero un peccato e prenderei in considerazione l'idea di provare a fare qualcosa al riguardo (forse attraverso una sorta di azione collettiva da parte degli insegnanti? Attraverso un sindacato forse?).

Inoltre, suggerirei che se stai provando un nuovo meccanismo pedagogico inizieresti la tua sperimentazione con una discussione con gli studenti all'inizio del semestre e il raggiungimento di una comprensione provvisoria, se non corretta, di come dovrebbe funzionare il meccanismo di valutazione sperimentale. Questo è per lo meno. Credo che questo migliorerebbe la partecipazione degli studenti o almeno ti informerebbe sul motivo per cui è improbabile che sia così alto come preferiresti.

Infine, mi oppongo alla tua eccessiva attenzione ai voti. L'importante è che gli studenti ricevano commenti, suggerimenti, segnalazioni di errori sul loro lavoro. Questo è il feedback qualitativo da cui possono e dovrebbero imparare, non il punto su una certa scala su cui li metti. Se così fosse, non avrebbe senso "dare una F" a un saggio e la revisione potrebbe solo portare a qualcosa di sostanziale.

Solo perché penso che alcune delle risposte qui stiano interpretando male la domanda qui è mia opinione.

Stai dicendo che ogni studente valuta gli altri studenti e scrive un breve opinione al riguardo, e che ogni valutazione dà al valutatore 3 punti, giusto? Questo è un ottimo esercizio e incoraggia decisamente il supporto tra gli studenti!

Tuttavia, stai dicendo che 18 studenti non faranno la parte di revisione tra pari dell'esercizio, giusto? Bene, se questo è il caso e non hanno alcun motivo legittimo per ignorare il compito (protestando contro l'argomento che gli hai dato come non ragionevole, pensando che stai esternalizzando la valutazione, ecc.), Allora non dovresti dare loro i punti come revisore . Non sono riusciti a farlo. Tuttavia, se hanno una ragione legittima, dovresti comunque eliminare i punti. Se hanno un problema, dovrebbero parlare con il loro consulente o qualcuno del dipartimento. In definitiva, il professore ha l'ultima parola su ciò che accade in una classe, non gli studenti, e anche se sì ... ci sono cose che non dovresti fare avere documenti in inglese per la revisione tra pari degli studenti per incoraggiare la partecipazione non è affatto "sbagliato" o "ingiusto" verso gli studenti.

Suggerirei anche di chiedere agli studenti perché non l'hanno fatto e considerare di non svolgere il compito in futuro. Puoi anche aumentare il saggio fino a 3 volte la sua lunghezza attuale e renderlo degno di 10 punti poiché le persone non vogliono farlo. Sono sicuro che gli studenti non vorranno l'alternativa e non avranno problemi a svolgere il compito da quel momento in poi. Quindi, per coloro che hanno svolto il compito come hai chiesto, potresti in qualche modo trovare un modo per non venire giù così duramente con loro dando loro un aumento del punteggio o qualcosa del genere o dicendo apertamente "quello che ha svolto il compito deve solo fare un saggio di dimensioni normali ".

Ci sono un sacco di cose che si potrebbe fare per risolvere questo problema. In effetti, potresti anche solo dare assegnazioni di crediti extra che sono ragionevolmente difficili. Quindi, coloro che si sono appena sentiti a disagio nel recensire finiranno per ricevere comunque un buon voto perché vedrai che sono disposti a fare il lavoro e semplicemente non si sentono a proprio agio con il compito. Naturalmente, è probabile che ci siano solo 1 o 2 persone così in classe. La maggior parte delle persone probabilmente scaricherà semplicemente il credito extra e finirà con un voto non così buono nei compiti.

Infine: non preoccuparti troppo ”

Ci saranno studenti che sono solo pigri o che non vogliono fare i compiti. Ad un certo punto, diventerà chiaro che non cambieranno, qualunque cosa tu faccia. A quel punto, hanno rifatto il letto e dovranno sdraiarci sopra. Sono sicuro che hai fornito ai tuoi studenti una metrica di valutazione di qualche tipo all'inizio della lezione. Se finiscono con un brutto voto o falliscono, alla fine è colpa loro.