Tester de nasjonale prøvene i engelsk det vi tror de tester? En «think-aloud» studie av 8.trinns-prøven fra et validitetsperspektiv

Abstract

Denne artikkelen undersøker de nasjonale prøvene i engelsk for åttende trinn med utgangspunkt i Messicks teori om substantive validity. Ifølge Messick (1995) kan substantive validity kompromitteres hvis test-takerne ikke gjennomfører prosessene som forventes for å besvare oppgavene korrekt. Artikkelen bruker think-aloud-metoden for å undersøke om leseprosessene beskrevet i de veiledende dokumentene for prøven er til stede når elever svarer på oppgaver. Basert på Khalifa og Weirs (2009) hierarki av leseprosesser, som er en av modellene NTE bygger på, kan prosesser på høyere nivå assosieres med oppgaver med høyere vanskelighetsgrad. Deltakerne i studien var seks elever på 8.trinn som artikulerte sine tanker mens de svarte på 30 oppgaver fra de nasjonale prøvene. Det som ble undersøkt er om leseprosessene ble igangsatt slik prøveutviklerne antok og dermed styrket validitetsargumentet for prøvene. Resultatene viste tilstedeværelse av leseprosessene beskrevet i de veiledende dokumentene for prøven. Derimot indikerte dataene for halvparten av de rette svarene at deltakerne brukte lavere prosessnivåer enn slik det var tiltenkt av prøveutviklerne, noe som kan svekke graden av substantive validity. Størrelsen på utvalget og det faktum at alle deltakerne faktisk brukte leseprosesser beskrevet i prøvens rammeverk gjør det vanskelig å vurdere graden av denne potensielle svekkelsen. Resultatene av studien tydeliggjør et behov for mer forskning på nasjonale prøver. Artikkelen fremhever fordelene av å inkludere think-aloud-studier i prøveutvikling og valideringsprosesser for å styrke validitetsargumenter, både for nasjonale prøver og andre prøver utviklet for testing av språkferdigheter i større skala.