Invita ogni persona a valutare domande diverse, non studenti diversi .

La coerenza nella valutazione è importante ed è ingiusto per gli studenti se la loro i voti dipendono sostanzialmente dall'assegnazione del loro lavoro a un selezionatore. Per questo motivo, se devi dividere i compiti di valutazione con un altro collega per un particolare elemento di valutazione, è meglio dividere i compiti di valutazione per le domande piuttosto che dividere il voto degli studenti . Quindi, ad esempio, una persona valuta Q1-3 su tutti i documenti e l'altra persona valuta Q4-6 su tutti i documenti . In questo modo ogni studente viene valutato dalla stessa persona per la stessa domanda. (Logisticamente, ognuno di voi dovrebbe valutare le proprie domande su metà dei fogli, quindi scambiare.)

Sembra che questa nave abbia già navigato e che tu abbia commesso l'errore da principiante di dividere la valutazione per gli studenti, con persone diverse che contrassegnano studenti diversi. Sembra anche che tu abbia provato a discuterne con il tuo collega, ma hai esaurito i tentativi di cambiare la sua valutazione . In tal caso, anche se il tuo stile di valutazione è superiore a quello del tuo collega, l'adattamento al suo livello di valutazione per questa valutazione è probabilmente una seconda migliore opzione ragionevole, semplicemente per mantenere la coerenza del livello dei voti assegnati . In futuro, cerca di evitare il problema tutti insieme suddividendo la valutazione in domande anziché in studenti.

È l'istruttore registrato il responsabile ultimo della conduzione del corso, inclusa la valutazione *. Poiché sembra che tu non sia l'istruttore del record, ma piuttosto solo qualcuno che sta aiutando a valutare, non è proprio il tuo compito determinare quale sia o non sia la valutazione appropriata.

Se hai un disaccordo con un altro selezionatore su come valutare gli esami e non può risolverlo utilizzando le informazioni già fornite (hai detto che il modello di valutazione era insufficiente per farlo), quindi è opportuno parlarne con la persona responsabile di quel corso ( l'istruttore del record), e guarda cosa dicono al riguardo.

Ora certamente non vuoi disturbarli su ogni piccolo dettaglio della valutazione, ma se si tratta di differenze su larga scala, dove filosofico le differenze su come condurre la valutazione cambierebbero sostanzialmente i voti degli studenti, questo è esattamente il genere di cose che la persona responsabile del corso dovrebbe mediare.

Tieni presente che le cose diventano un po 'più complesse quando si tratta di un corso tenuto da un team, dove ci sono un certo numero di istruttori "primari". Tuttavia, in queste situazioni è normalmente il caso in cui ogni istruttore prende l'iniziativa su un determinato argomento. In quanto tali, dovrebbero essere considerati l'opinione primaria su questioni specifiche del loro argomento. (Le preoccupazioni che riguardano più argomenti dovrebbero essere decise con il consenso reciproco degli istruttori "primari".)

*) A condizione che alcuni corsi debbano soddisfare gli standard di dipartimento o di accreditamento. Ma anche in questi casi, è l'istruttore di registrazione che è responsabile di assicurarsi che tali standard siano seguiti.

Nel mio istituto è tipico raddoppiare il 20% delle domande ai fini della standardizzazione / moderazione.

Ciò potrebbe significare che l'80% ottiene un contrassegno singolo e il 20% riceve un contrassegno doppio potrebbe significare che due marker valutano il 60% ciascuno (2x una sovrapposizione del 10%). Per le valutazioni di basso peso questa è vista come una best practice raccomandata, pur essendo obbligatoria per le valutazioni di peso elevato.

Se tali accordi per la standardizzazione / moderazione dei voti non esistono all'interno del tuo istituto, forse vale la pena suggerire che questo (o qualcosa di simile) sia implementato.

Senza conoscere il proprio dipartimento, è difficile dire se sia appropriato (o fattibile) suggerire che sia implementato per la tua attuale coorte di contributi, altrimenti fai parte di una spinta per implementare un cambiamento più ampio.

Alcune note sul processo, per i curiosi:

Dove c'è una differenza tra più marcatori per ogni singolo invio, spetta ai marcatori stabilirsi su un punteggio concordato. Laddove non è possibile stabilire un punteggio concordato, viene inoltrato al dipartimento per la mediazione.

Se viene identificata una differenza significativa tra più indicatori in più invii, l'intera coorte deve essere contrassegnata due volte (e qualsiasi differenza nel punteggio deve essere riconciliata come descritto sopra). Il nostro parametro di riferimento per una "differenza significativa" è una deviazione media (correzione)> = 7%.

In primo luogo, il suggerimento di @ Ben di dividere la valutazione verticalmente anziché orizzontalmente - domande piuttosto che studenti - è buono e pratico indipendentemente da qualsiasi altra cosa.

Detto questo, suggerisco consideri quanto segue:

1. Abbandona la fantasia, o forse meglio, la presunzione, che la valutazione sia coerente. Non lo è, a causa di un'infinità di fattori: esami non di difficoltà costante; la distribuzione delle capacità della popolazione studentesca non è sincronizzata con la definizione della curva di valutazione; il senso di gravità degli errori differisce per la stessa persona per i primi incontri e per gli ultimi incontri; gli umori cambiano; pregiudizi inconsci (ad esempio: contro persone con una calligrafia sciatta); e così via.
2. Prova a programmare una discussione sulla politica di valutazione di tutti i selezionatori e gli autori dell'esame, prima che venga dato il prossimo esame (il prossimo semestre?). In questa discussione, fai apparire alcuni scenari specifici che richiedono un giudizio più preciso piuttosto che semplicemente "quanti punti per quale domanda".
3. Considera l'idea di discutere per una valutazione più grossolana nel corso. Sono un fan di Pass / Fail (o Pass / Fail / Eccellente) e non mi piacciono le scale numeriche, in particolare 0..100 o i voti frazionari. Posso essere sicuro di guardare qualcuno e dire "Sì, hai capito quello che abbiamo insegnato qui, passa". oppure "No, non capisci - fallisci". E se qualcuno è borderline, allora è una questione di politica se superarlo o fallirlo (io personalmente tenderei a fallire). Ma non posso davvero giustificare il motivo per cui qualcuno è un 63 mentre un'altra persona è un 64,7. Sento di aiutare solo qualche meccanismo industriale arbitrario di manipolazione di massa assegnando questo tipo di numeri alle persone.

PS: questi tre suggerimenti sono per lo più ortogonali.

Le risposte che hai già ottenuto sono davvero eccellenti. Volevo solo aggiungere una piccola osservazione. Dici di aver valutato questi esami

con un collega di un altro dipartimento

e che

Il corso è tenuto dal loro dipartimento e da quest'anno ho aiutato perché coincide con la mia esperienza

Per tua stessa ammissione, tu sono, più o meno, ospiti nel loro dipartimento, che fanno loro un favore aiutandoli Ciò significa che i voti, in definitiva, non sono una tua responsabilità .

Se un numero significativo di lavori completi è stato valutato da persone diverse, potresti prendere in considerazione l'aggiunta di una correzione in modo che i lavori eseguiti da ciascun selezionatore abbiano lo stesso voto medio (e, idealmente, la stessa varianza). Questo non elimina tutte le incongruenze, ma almeno rende la valutazione statisticamente equa.

Un'ottima discussione e mi piace leggere i commenti. Come studente universitario, ho affrontato pregiudizi, estremi in due casi, nella valutazione durante i miei primi 2 anni. Solo grazie alla perseveranza e al tutoraggio di due professori sono riuscito a superarlo. Pertanto, il principio guida nella mia carriera di insegnante era quello di lasciare che gli studenti riuscissero o fallissero in base ai propri meriti .

Come @einpokum, ho detestato la curva a campana credendo che fosse sia antiquata che ingiusta. Un gorilla nella stanza è il fatto che alcuni studenti in ogni campus, principalmente attraverso varie organizzazioni, in particolare quelle di lettere greche, hanno accesso a esami e documenti rispetto agli studenti non collegati. Come studente laureato ho perso una serie di documenti valutati da professori che li lasciavano fuori dagli uffici dipartimentali. E, come professore, ho stabilito che un paio di documenti che mi sono stati sottoposti erano stati plagiati. Proteggere l'equità della valutazione degli studenti è una responsabilità istituzionale.

Nella mia esperienza, dopo il mio primo anno di insegnamento a livello universitario, ho istituito quello che ho chiamato gradimento dello sviluppo , credendo che gli insegnanti hanno la responsabilità di fornire un quadro in cui tutti gli studenti abbiano un'opportunità di successo. Questo è un concetto che ho imparato quando ero all'asilo da due insegnanti molto intelligenti, e da allora è rimasto nella mia coscienza. La loro applicazione era esclusivamente ambientale. Anche l'approccio che ho usato era ambientale, ma incentrato sulla valutazione degli studenti, ed era in tre fasi:

1. Gli studenti hanno sostenuto un esame, che è stato valutato da me e successivamente da altri come i numeri degli studenti nei miei corsi generali è aumentato, da meno di 20 all'inizio, a oltre 100.

2. Una volta conosciuti i voti, gli studenti potevano fare domanda per sostenere nuovamente l'esame per metà i punti per ogni domanda che hanno "perso" nell'esame iniziale. Questi verrebbero aggiunti al loro voto precedente.

3. Se non sono ancora soddisfatti, potrebbero sostenere un esame orale prima dell'intera classe che poi valuterà il loro rendimento.

Anche se molti hanno optato per # 2, nessuno ha presentato domanda per l'opzione 3. Speravo che almeno uno determinasse come avrebbero risposto gli studenti.

Solo dopo aver completato la seconda fase la classe ha superato l'esame insieme per condividere i propri pensieri su ogni domanda e le risposte attese. Successivamente, questo è stato modificato per consentire agli studenti di superare l'esame con gli assistenti studenti o altri professori a seconda del corso.

Un secondo principio nella mia valutazione, che gli studenti hanno appreso alla fine, era che i tre esami precedenti avevano meno impatto sul voto finale rispetto a come hanno fatto su una finale completa; e che questi esami e la discussione di follow-up sono stati progettati per aiutarli a ottenere risultati migliori in finale. In effetti, uno studente potrebbe fare male in tutti gli altri esami (salvo scarsa frequenza o comunque in mancanza di parametri minimi), ottenere un A in finale e ottenere un A per un voto. Ad alcuni studenti, senza dubbio, è apparso come un regalo, ma hanno ottenuto un voto migliore. Perché? Credevo che le finali fossero progettate non per ottenere una percentuale di un voto in relazione a tutti gli altri criteri, ma per testare ciò che hanno appreso in modo completo sull'argomento del corso. Valutare gli esami finali è stato uno dei miei piaceri di base, così come il caffè gourmet che ho bevuto per superarli. :)

Potrei aggiungere che gli esami non erano gli unici fattori che entrano in una valutazione finale, ma recensioni di libri, rapporti su relatori o attività nel campus pertinenti alla classe o quiz che hanno attivato non facendo domande quando suggerito dalla mia domanda alla fine di ogni lezione - ci sono domande? Come molti di voi, sospetto che l'insegnamento implichi l'apprendimento di concetti complessi e la loro riduzione al livello di terza media in modo che la maggior parte degli studenti dal primo al secondo anno possa comprendere di cosa stiamo parlando.