Evidenza empirica sulla relazione tra punteggi GRE e prestazioni post-laurea

Esiste una massiccia meta-analisi di Kuncel et al (2001) che valuta empiricamente le correlazioni tra vari aspetti del GRE con molteplici criteri di rendimento post-laurea.

Sulla base di centinaia di studi e migliaia di partecipanti, GRE mostra correlazioni ragionevoli con GPA post-laurea (cioè intorno a r = .21 ar = .43 osservato). Correlazioni simili sono emerse tra il GRE e le valutazioni della facoltà dello studente.

Le correlazioni del GRE con la produttività della ricerca e il conteggio delle citazioni di pubblicazione erano minori, ma comunque positive. Ciò non sorprende dato che questi sono risultati più distali e ci sono molte ragioni non accademiche per cui le persone possono o meno intraprendere una carriera accademica o avere risultati pubblicabili.

Gli autori hanno quindi concluso che GRE era un valido predittore di una vasta gamma di risultati laureati. Hanno anche notato che "i test sui soggetti tendevano ad essere predittori migliori dei test verbali, quantitativi e analitici".

In generale, le decisioni di selezione sono assistite dalla standardizzazione e gran parte dei risultati accademici comporta la misurazione delle capacità di base. Pertanto, il GRE combina sia la standardizzazione che la misurazione delle competenze.

Risposta ai commenti

Ci sono stati alcuni punti in altre risposte e nei commenti, che commenterò qui:

• Conflitto di interessi: @msw ha scritto di "considerare il documento citato spazzatura perché ETS ha fornito tutti i dati disponibili". In generale, non trovo sorprendenti i risultati della meta-analisi. La maggior parte dei test come il GRE tendono ad avere correlazioni abbastanza forti con l'abilità cognitiva generale. È ben stabilito attraverso migliaia di studi indipendenti che i punteggi del QI si correlano abbastanza bene sia con i voti scolastici che con le prestazioni lavorative (cioè, nell'intervallo r = .50; vedere Neisser et al 1996 per una revisione del consenso sul campo). I risultati mostrano correlazioni inferiori a .50, ma ciò non sorprende visti alcuni dei problemi relativi a standardizzazione, pratica, restrizione dell'intervallo, specificità del dominio e così via.
• Credenza che non vi sia correlazione basata su dati personali osservazione : nota che se la correlazione è di circa 0,20, significa che è stato spiegato il 4% della varianza. Ciò lascia ancora da spiegare un'enorme quantità di varianza nelle prestazioni. Non sarebbe sorprendente incontrare molte persone che hanno ottenuto buoni risultati con GRE e poveri in una scuola di specializzazione o viceversa. Pertanto, è problematico fare affidamento sull'esperienza personale quando si tratta di valutare la validità dei test in cui è probabile che tali correlazioni siano solo modeste.
• Le correlazioni piccole sono utili : sebbene una correlazione .20 sia piccola, può comunque aiutare a prendere decisioni di selezione. In particolare, quando si valuta l'idoneità degli strumenti di selezione, è necessario confrontare la validità di un dato strumento con altri strumenti disponibili (ad es. Interviste, GPA, referenze e così via). Non ho familiarità con i risultati nel dominio della selezione dei laureati, ma certamente nel dominio della selezione dei dipendenti, che è abbastanza analogo, i test di abilità cognitiva tendono a correlare più altamente delle interviste, dei riferimenti e così via (per una meta analisi completa del dipendente selezione, vedi Schmidt e Hunter, 1998). Detto questo, le migliori decisioni di selezione si ottengono tipicamente integrando più strumenti di selezione. Inoltre, la piccola correlazione dovrebbe anche evidenziare agli individui che ottengono un punteggio scarso sul GRE che non è predittivo, e quindi non dovrebbe scoraggiare un individuo dal perseguire uno studio post-laurea.
• La formazione invalida il GRE? : @ user8134 ha scritto "molte persone migliorano in modo significativo i loro punteggi GRE frequentando corsi con aziende di preparazione come Kaplan. Quindi sembra che il test GRE non misuri alcuna abilità / talento intrinseco necessario per la scuola di specializzazione. " Sono d'accordo che le differenze individuali nella formazione e nella preparazione per il GRE possano influenzare i punteggi dei test. Detto questo, se caratterizzi i punteggi dei test come determinati da abilità reali, addestramento e varianza dell'errore, allora mi aspetterei che la vera abilità rimarrebbe la fonte di spiegazione molto più ampia nei punteggi dei test. Questo si basa su osservazioni generali sui test per la valutazione basata sull'abilità. In generale, il grado in cui la formazione è un problema dipenderà da quanto i materiali di prova insegnano al test specifico. Nel complesso, presumo che ciò ridurrebbe la potenziale validità del GRE, ma che il GRE sarebbe comunque utile. Inoltre, i fattori di formazione e di disturbo possono essere utilizzati per fare meglio su molti strumenti di selezione. Ad esempio, le persone possono essere istruite su come inquadrare il proprio CV o su come rispondere alle domande nelle interviste. Tale formazione è potenzialmente una fonte di varianza di errore, ma non invalida completamente CV e interviste.
• Perché a qualcuno dovrebbe interessare la GPA post-laurea? (@JeffE) @JeffE osserva ulteriormente "nei programmi di dottorato, l'unica cosa che conta davvero è il risultato della ricerca dello studente.". Alcuni corsi post-laurea includono corsi graduati significativi e altri no. Per i corsi che includono corsi significativi, tali corsi forniscono un modo più standardizzato di misurare le prestazioni post-laurea. Quindi la validità del GRE nel prevedere tali risultati non è sorprendente. E quindi, presumibilmente, potremmo generalizzare questo come indicativo di come le persone si comportano in aspetti meno standardizzati della performance post-laurea. Naturalmente, c'è un salto inferenziale qui, ma in generale, le prestazioni in domini correlati tendono a essere correlate (ad esempio, i corsi di matematica con le prestazioni di ricerca in matematica); non è perfetto, ma è comunque una correlazione positiva. Inoltre, se lo studio di convalida include alcuni corsi post-laurea in cui tutti ottengono il massimo dei voti e tali dati vengono mescolati con studi in cui i voti sono misure valide della prestazione, ciò servirebbe solo ad attenuare la correlazione osservata. Quindi, questo suggerirebbe che la correlazione tra GRE e GPA post-laurea è superiore a quella riportata dalla meta-analisi. Inoltre, la meta-analisi riporta correlazioni con i risultati della ricerca e sono più deboli ma comunque positive. Segnala inoltre le correlazioni con le valutazioni dei supervisori.
• Alternative migliori al GRE : nessuno dei miei commenti sopra sostiene necessariamente l'uso del GRE. Sviluppare un sistema di selezione e reclutamento efficace, sia per l'ammissione al lavoro che per l'ammissione post-laurea, è un compito complesso. Detto questo, la maggior parte dei sistemi di selezione post-laurea vorrebbe ottenere una misura affidabile e valida dell'attitudine accademica. GRE, test del QI, altri test di abilità, GPA universitario, hanno tutti prove di validità ragionevole. E in generale la standardizzazione e l'efficienza sono importanti. Quindi, ad esempio, amministrare i propri strumenti di selezione richiede più tempo, mentre l'adozione di misure preesistenti come GPA e GRE è più efficiente.
• Etica di richiedere che i candidati paghino denaro per completare il GRE: diverse persone criticano il GRE sulla base del fatto che costa diverse centinaia di dollari per completare il GRE. Penso che questa sia una domanda perfettamente legittima, ma che alla questione della validità predittiva si possa rispondere separatamente. Tale tassa potrebbe potenzialmente discriminare i richiedenti a basso reddito. Detto questo, presumibilmente la quota rispetto alla mancata paga associata al completamento di un diploma post-laurea è piuttosto piccola.

Riferimenti

• Kuncel, NR, Hezlett , SA, & Ones, DS (2001). Una meta-analisi completa della validità predittiva degli esami del record di laurea: implicazioni per la selezione e il rendimento degli studenti laureati. Bollettino psicologico, 127 (1), 162. PDF
• Neisser, U., Boodoo, G., Bouchard Jr, TJ, Boykin, AW, Brody, N., Ceci , SJ, ... & Urbina, S. (1996). Intelligenza: conosciuti e sconosciuti. Psicologo americano, 51 (2), 77. PDF
• Schmidt, F. L., & Hunter, J. E. (1998). La validità e l'utilità dei metodi di selezione in psicologia del personale: implicazioni pratiche e teoriche di 85 anni di risultati della ricerca. Bollettino psicologico, 124 (2), 262. PDF

Questa è una buona domanda. Non sono un fan del GRE da più di 20 anni, anche se (per fortuna ho avuto un numero abbastanza buono da non farmi male ...) molti lo sono. Essendo stato nei comitati di ammissione e molto coinvolto con i corsi di laurea per oltre 30 anni, ho avuto ampie opportunità di vedere la (non) correlazione del successo nella matematica laureata con i punteggi dei test di soggetto GRE. (Le altre parti sono spesso utili come test di conoscenza della lingua inglese, principalmente.)

Ovviamente, il mondo sarebbe un posto più semplice se i punteggi dei test GRE in materia potessero mostrare il talento per la matematica superiore. Notiamo che l'Educational Testing Service (in NJ, che produce il GRE e altre cose) è un profitto che ha un interesse acquisito nel mantenere l'apparente importanza dei suoi prodotti.

Il costo è sfortunato e certamente discrimina le persone la cui valuta non è in concorrenza con l'USD.

L'informazione vagamente utile fornita da GRE è che, beh, sì, è l'unica cosa che la maggior parte dei richiedenti avrà fatto, quindi , se si insiste su "semplici confronti", è l'unica cosa che lo consente. È chiaro che il confronto degli AAP è ancora più inutile.

Ho conosciuto comitati di ammissione che hanno semplicemente classificato i candidati in base al punteggio del test GRE. Là! Fatto! :)

No, non mi interessano molto i numeri GRE, ma in un certo senso sono contento che alcuni comitati di ammissione lo facciano, in un modo che le azioni sottovalutate sono buoni valori di investimento.

Penso che i corsi per laureati d'élite utilizzino il test soggetto GRE come filtro conveniente, perché seleziona un po 'per "rapidità / intelligenza" e possono permettersi di "perdere" alcuni potenziali clienti, perché hanno così molti che sono "veloci / intelligenti".

Negli Stati Uniti, avere un punteggio GRE in un test soggetto è anche un segno di consapevolezza che le persone si aspettano che tu lo prenda. Quindi, non importa tanto quale sia il proprio punteggio, ma quello _è_aware_ ... anche se si tratta solo di "aspettative".

Ma, in sintesi, no, non ci vedo alcun punto. Ma ci sono incentivi economici affinché ETS continui a fare soldi. E un gran numero di comitati di ammissione in matematica hanno predilezioni personali che li portano ad amare la quantificazione numerica (troppo) semplice, quindi ... eccoci qui.

Modifica: come osserva @msw in un commento, infatti, se GRE misurasse un significativo rendimento accademico cumulativo su diversi anni ... sarebbe strano che si potrebbe utilmente fare i corsi di "preparazione" che ETS fornisce. :)

Sì, le prestazioni su GRE probabilmente sono un buon indicatore di quanto bene un bambino può fare in un test di più ore, a tempo, a scelta multipla, ecc. Sì, se rendiamo i corsi successivi simili a questo (!?), diamo il potere predittivo GRE. No, non consiglio di fare tutto a scelta multipla! Ma, sorprendentemente, alcune persone credono che questo possa essere fatto e presumibilmente ci salverà tutti un sacco di lavoro.

Certo, queste cose misurano qualcosa e producono numeri che possono essere manipolato. Ci sono persone che sono inesorabilmente attratte dalla possibilità di prendere decisioni finali in quei termini, anche quando il significato dei numeri non è chiaro. Nel frattempo, la lettura di lettere di raccomandazione e dichiarazioni personali non è ovviamente facilmente quantificabile. Certamente!

Se fosse davvero il caso che "test standardizzati" potesse dire cosa vogliono insinuare i suoi promotori, sarebbe davvero conveniente. Ma, ancora una volta, alcuni decenni di esperienza indicano che questi test non indicano se le persone possono mantenere l'interesse per più di 4 anni, lavorare sodo per più di 4 anni, continuare a sviluppare sensibilità scientifica e così via. . E queste ultime questioni si dimostrano molto più importanti per il completamento di un dottorato di ricerca. Nell'osservazione diretta di circa 700 + studenti laureati, stimerei che meno di 20 si siano ritirati o abbiano fallito a causa della mancanza di capacità intellettuale o della mancanza di conoscenza precedente. Piuttosto, dominano la perdita di interesse per l'argomento o le questioni personali (salute mentale / fisica). Questo mio "campione" include una gamma molto ampia di punteggi GRE e persino GPA.

Più aneddoticamente, mi vengono in mente diversi esempi specifici, con percentile molto basso sul test del soggetto GRE (10% inferiore o inferiore ...) ma risultati eccezionali in corsi, prelim e lavoro di tesi. Il potenziale di queste persone era facilmente visibile nelle lettere di raccomandazione e nelle dichiarazioni personali.

Nel mio dipartimento, i punteggi GRE sono usati principalmente come calibrazione per gli studenti che hanno buoni voti ma provengono da università / programmi che non conosciamo e di cui non siamo quindi sicuri della qualità. Per gli studenti con buone credenziali da programmi forti, il GRE è praticamente irrilevante.

Un paio di problemi:

Rispetto al commento di Mr. Anglim, un problema sospetto re. qualsiasi correlazione tra i punteggi GRE e il successo nel grad. la scuola è che molte persone migliorano significativamente i loro punteggi GRE prendendo corsi con aziende di preparazione come Kaplan. Quindi sembra che il test GRE non misuri alcuna abilità / talento intrinseco necessario per il laureato. scuola.

Un altro problema è che il GRE è una forma di lavoro forzato: ETS utilizza una delle sezioni dell'esame (solo quale sezione è sconosciuta al candidato) come dati per gli esami futuri, ovvero , la sezione non viene conteggiata per il punteggio del test. Quindi ci si aspetta, fondamentalmente, di lavorare per ETS gratuitamente, producendo dati di alta qualità per i quali dovrebbero pagare molto o potrebbero non essere in grado di produrre da soli. GRE distribuisce anche libri per prepararsi agli esami, che costano più di $ 20 ciascuno.

Ora, ETS potrebbe trovare un modo per aggirare il problema chiedendo, ad esempio: "Potrebbe esserci una sezione in questo test che utilizziamo come dato per esami futuri: se ce n'è uno, saresti disposto a sostenerlo, o preferisci saltarlo? ". Questo - chiederti di lavorare per loro gratuitamente - non è etico, IMO, se non illegale. E la risposta BS di ETS a questo (li ho chiamati) è di dirti: "Beh, se non sei d'accordo, non fare il test". Il problema è che alcuni programmi richiedono di accettarlo per fare domanda per il loro laureato. programmi; ETS è il Frank Burns dei test.

@Jonathan, se mai dovessi venire dall'altra parte, vedrai un gran numero di candidature brillanti da parte dei migliori studenti delle migliori università della Bolivia o del Madagascar. Come se la cavano rispetto al miglior studente della migliore università dell'Idaho? O uno dei migliori studenti di una mediocre università del Massachusetts? Se ammetti che i dottorandi hanno intenzione di usarli come AT, come fai a sapere che questo studente del Nepal sarà compreso dai tuoi studenti nel Tennessee, che ridono di cuore sia per gli accenti di New York che per quelli californiani?

Il GRE ricopre il ruolo di tale filtro e, in quanto tale, è lo strumento più economico e più facile da usare disponibile per le scuole di specializzazione negli Stati Uniti. Se riesci a ottenere dei soldi dall'UNESCO per progettare e implementare una versione che sia gratuita per i candidati internazionali, forse puoi ottenere un Nobels fredspris per i tuoi sforzi. (Questa non è un'idea così irrealistica come sembra: un sistema operativo alternativo e disponibile gratuitamente noto come Linux è stato sviluppato da appassionati e in molte dimensioni ha sostituito UNIX.)

In una parola, standardizzazione.

Una volta ho posto questa domanda a un collega e ho apprezzato la risposta che ho ricevuto.

In sostanza, il docente mi ha detto: "Quello che mi piace del GRE è che è il l'unico modo per confrontare le mele con le mele. "

Ha continuato spiegando:" Come posso confrontare un GPA 3,2 presso l'Università X con un GPA 3,7 presso l'Università Y? Non posso. Ma a almeno con i punteggi GRE, posso confrontare i due studenti in condizioni di parità. "

La mia replica è stata che un punteggio GRE alto non è necessariamente un buon indicatore del potenziale nella scuola di specializzazione, anche se potrebbe esserlo un buon indicatore per determinare la quantità di tempo che un potenziale studente ha impiegato per prepararsi per il test. (Ho ricavato un sacco di miglia dal mio libro di esercitazioni How to Ace the GRE ).

Ha prontamente accettato e mi ha assicurato che è solo un pezzo del puzzle. Un ufficio di ammissione ha solo così tanto da fare: una trascrizione, un punteggio GRE e forse una lettera di presentazione "Perché voglio andare alla scuola di specializzazione".

Potremmo buttare via il GRE, ma poi ci sarebbero molte meno informazioni su cui basare le decisioni di ammissione.

Il mio istinto mi dice che gli aspetti negativi includono la spesa e il fastidio per il richiedente e una limitata capacità di prevedere come lo studente si esibirà effettivamente. Ma devo ammettere che il mio collega aveva ragione con la sua prospettiva "dalle mele alle mele".

Spiega la qualità dei nostri dottorati di ricerca, non è vero? Personalmente ho trovato il sistema educativo americano molto più avvolto da formalità stupide e in realtà pericolose rispetto alle scuole in Europa, in generale. Sono stato sorpreso di scoprirlo in prima persona perché il consenso comune è che l'Europa soffre di una grande quantità di formalità inutili che gli Stati Uniti non hanno. Il problema è che è un errore di categoria: formalità burocratiche elaborate: sì; maggiore formalità sociale: a volte, dipende; formalità educativa, non necessariamente. Inoltre, c'è una differenza tra formalità e rigidità. Sebbene i titoli siano più importanti in Europa quando ci si rivolge l'un l'altro, in realtà possono rafforzare una relazione molto sana tra lo studente e il professore che consente l'emergere di una sana flessibilità e informalità. La cultura informale del "compagno" degli Stati Uniti è in realtà troppo amichevole, il che incoraggia la mancanza di rispetto e penso che la reazione ad essa sia un certo tipo di rigidità ribollente che si manifesta nella relazione studente-professore che è malsana e prepotente molte volte. Ma sto divagando. Quando ho sperimentato in prima persona l'educazione americana, sembrava infantile nella sua esecuzione e i GRE appartengono a questo insieme di cose che contribuiscono alla cultura della meschinità (altre cose includono la dottrina "pubblica o muori" che ha portato all'esplosione di BS e Il CV che riempie le sciocchezze e la "carriera accademica" (si spera che si traduca correttamente in inglese). Mentre ci sono esami di ammissione in Europa, l'accettazione della scuola di specializzazione è secondo altri criteri. Non è sempre ottimale, ma certamente meno irritante di questo test che accetta sciocchezze.

Comunque, trovo che le correlazioni sopra menzionate siano esattamente il problema. Fanno lo stesso errore di trarre inferenze rigide e spesso errate da una selezione molto scarsa di dati.

Trovo che l'istruzione universitaria ovunque sia stata rovinata dalla pressione di sottoporla a tutti. Quello che hai sono scuole di commercio glorificate nella maggior parte dei casi con milioni di candidati che avanzano come se attraversassero un esame di ammissione militare in cui gli indicatori ristretti sacrificano la complessità per misure di semplice routine. È altamente aziendale e incline alla corsa al successo. La scuola di specializzazione dovrebbe essere l'ultimo luogo in cui si manifesta questo tipo di meschinità, eppure ...

Riepilogo: i GRE sono il risultato della cultura, della moderna cultura universitaria (americana) come le stupide innovazioni del tedesco università che ha cercato di etichettare e accantonare ogni persona per particolari slot nella macchina del Reich.