Onderzoek herijking risico-indicator onderwijsachterstanden – fase 1

5. Uniformering eindtoetsscores

5.1 Inleiding

Bij de oorspronkelijke ontwikkeling van de risico-indicator onderwijsachterstanden is gekeken – gegeven een bepaalde intelligentie – welke sociaaleconomische achtergrondkenmerken van kinderen een nadelige invloed hebben op de onderwijsprestaties. Omdat destijds het aandeel van de centrale eindtoets van Cito nog op ongeveer 85 procent lag, is er voor gekozen om alleen de kinderen die aan de toets van Cito hadden deelgenomen mee te nemen in de ontwikkeling van het model. Inmiddels is het aandeel van de centrale eindtoets van Cito fors afgenomen en kunnen scholen die een andere eindtoets gebruiken niet worden genegeerd om een aantal redenen. Zo kan het uitsluiten van deze scholen leiden tot selectiebias en het leidt hoe dan ook tot een aanzienlijke beperking van de onderzoekspopulatie. 

Voor het onderzoek voor de herijking van het model voor de risico-indicator onderwijsachterstanden is het wenselijk om gebruik te kunnen maken van een uniforme maatstaf voor onderwijsprestaties. Het probleem is echter dat iedere eindtoetsaanbieder een eigen schaal voor de eindtoetsscore hanteert. Omdat het CBS alleen de eindtoetsscores heeft en er geen extra informatie beschikbaar is over hoe de verschillende schalen tot stand zijn gekomen, werken we in dit hoofdstuk verschillende methoden uit om de eindtoetsscores te uniformeren.

5.2 Data en methoden

Voor het toepassen van de verschillende methoden voor uniformering maken we gebruik van een dataset met de populatie leerlingen die in 2021 een eindtoets hebben gemaakt. Daarbij zijn er vijf soorten eindtoetsen: AMN, CET, Dia, Iep en Route 8. Per eindtoetsaanbieder wordt er jaarlijks door de Expertgroep Toetsen PO bepaald wat het bereik aan eindtoetsscores is behorende tot een bepaald toetsadvies, met de volgende mogelijke toetsadviezen: pro/vmbo-b, vmbo-b/k, vmbo-k/gt, vmbo-gt/havo, havo/vwo en vwo. Deze gegevens ontvangt het CBS jaarlijks van DUO met de nieuwe indeling. Hierbij moet opgemerkt worden dat het bereik van de toetsscores behorende tot een toetsadvies verschilt tussen de toetsaanbieders. Daarnaast is de lengte van het bereik van de toetsscores behorende tot een toetsaanbieder verschillend per toetsadvies. In tabel 5.2.1 wordt per toetsaanbieder weergegeven welke eindtoetsscore bij welk toetsadvies hoort, voor de eindtoetsen in 2021.

5.2.1 Toetsscores per toetsadvies en toetsaanbieder
ToetsadviesCETRoute 8IepDiaAMN
Pro / vmbo bl501-510100-11250-51321-338300-304
Vmbo bl/kl511-523113-15952-68339-349305-332
Vmbo kl/gtl524-531160-18769-76350-356333-374
Vmbo gtl/havo532-539188-21677-84357-365375-433
Havo/vwo540-544217-23885-91366-371434-468
Vwo545-550239-30092-100372-390469-500

Gegeven dat we maar beperkte data tot onze beschikking hebben en de toetsen onderling niet kunnen vergelijken op een gedetailleerder niveau dan in bovenstaande tabel met toetsadviezen, onderzoeken we drie methoden voor om de eindtoetsscores te uniformeren: 

Methode 1: Z-scores 

Ten eerste kunnen we z-scores berekenen per toetsaanbieder, zodat de scores per toetsaanbieder allemaal een standaard normale verdeling krijgen, met een gemiddelde van 0 en standaarddeviatie van 1. Bij deze berekening houden we geen rekening met de toetsadviezen. 

Deze aanpak past het beste als de onderliggende scores per toetsaanbieder ongeveer normaal verdeeld zijn. We zien echter in de data dat dit niet het geval is, zie figuren 5.2.2 tot en met 5.2.6. 


De verschillende eindtoetsen laten een andere verdeling van de eindtoetsscores zien, die bij sommige aanbieders wel wat lijkt op een normale verdeling, maar bij met name AMN eerder lijkt op een uniforme verdeling.

Om toch te zien wat het effect is van een z-score, zullen we deze wel berekenen zodat we later bij de ontwikkeling van het herijkte model voor onderwijsachterstanden een vergelijking kunnen maken met een van de andere methoden. Dit doen we als volgt per toetsaanbieder t, met t = (AMN, CET, Dia, Iep, Route.8):

$$x_{herschaald\_ t} = \ \frac{x_{t} - \overline{x_{t}}}{\sigma(x_{t})}$$
Hierbij is xt  de oorspronkelijke variabele met de eindtoetsscore per toetsaanbieder, (xt) het gemiddelde van de eindtoetsscores per toetsaanbieder en σ(xt) de standaarddeviatie van de eindtoetsscores per toetsaanbieder. Voor alle toetsaanbieders zal dan het gemiddelde 0 worden en de standaarddeviatie 1. Idealiter zouden we willen dat na standaardisatie de scores van de verschillende toetsaanbieders dicht bij elkaar liggen en nauwelijks te onderscheiden zijn. 

Methode 2: Normalisatie met min-max transformatie naar toetsaanbieder en toetsadvies

Ten tweede passen we per toetsaanbieder een normalisatie met min-max transformatie toe waarbij we rekening houden met het bijbehorende toetsadvies. Over het algemeen kun je als volgt normaliseren met een min-max transformatie: 

$$x_{herschaald} = \ \frac{x - \min(x)}{\max(x) - \min(x)}$$

Hierbij is x de oorspronkelijke variabele met de eindtoetsscore, min(x) het minimum van de variabele en max(x) het maximum van de variabele. Door het toepassen van deze formule valt de nieuwe variabele x in het bereik [0,1]. Om dit bereik aan te passen naar [a, b], kunnen we de formule als volgt gebruiken: 

$$x_{herschaald} = a + \ \frac{\left( x - min(x) \right)*(b - a)}{max(x) - min(x)}$$

Omdat we rekening willen houden met zowel het toetsadvies als de toetsaanbieder, gaan we per combinatie van toetsadvies en toetsaanbieder normaliseren (per cel in tabel 5.2.1). Als we dit doen voor iedere cel apart, zal alles op een bereik van [0, 1] komen te liggen. Omdat we hierin ook de zes toetsadviezen willen meenemen, zullen we de schaal aanpassen per toetsadvies, zodat deze in totaal loopt van [0, 6]. Elk toetsadvies blijft hierbij een bereik van lengte 1 behouden. We komen dan op de volgende formule:

$$x_{herschaald\_ ti} = i - 1 + \ \frac{x_{ti} - \min(x_{ti})}{\max(x_{ti}) - \min(x_{ti})}$$

Hierbij staat i voor de waarde behorende tot de toetsadviescategorie: pro/vmbo b (1), vmbo b/k (2), vmbo k/gt (3), vmbo gt/havo (4), havo/vwo (5) en vwo (6) en t voor de toetsaanbieder.

Om ervoor te zorgen dat de scores over de toetsadviezen niet overlappen, bijvoorbeeld de maximum score in categorie 1 en de minimum score in categorie 2, doen we nog een kleine aanpassing zodat dit niet kan gebeuren. We passen de min(x) en max(x) per cel van de toetsaanbieder en het toetsadvies aan door van het minimum 0,5 af te trekken en bij het maximum 0,5 op te tellen. Door dit te doen krijg je minimum- en maximumscores die precies tussen de ranges van de twee toetsadviezen in liggen, bijvoorbeeld bij CET zal de maximumscore voor pro/vmbo b en de minimumscore voor vmbo b/k op 510,5 liggen wat precies tussen de waarden 510 en 511 is, die de grens vormen tussen beide toetsadviezen. De schaal zal op die manier ook netjes verdeeld zijn tussen de toetsadviezen. De aangepaste formule is als volgt:

$$x_{herschaald\_ ti} = i - 1 + \ \frac{x_{ti} - (\min\left( x_{ti} \right) - 0,5)}{(max\left( x_{ti} \right) + 0,5) - (\min\left( x_{ti} \right) - 0,5)}$$

Een normalisatie met min-max transformatie past beter bij een situatie waarin de onderliggende toetsaanbieders verschillende verdelingen hebben. Het voordeel is dat alles op dezelfde schaal komt te liggen én we rekening kunnen houden met de toetsadviezen. 

Methode 3: Normalisatie met min-max transformatie naar toetsaanbieder en toetsadvies + correctie van de schaalverdeling over de toetsadviezen

In tabel 5.2.1 zien we dat het bereik van de eindtoetsscores over de toetsadviezen nog kan verschillen. Bijvoorbeeld, het bereik voor pro/vmbo b voor Iep is smaller dan het bereik voor vmbo k/gt. Met methode 2 hebben we alle toetsadviezen een bereik van dezelfde lengte gegeven op de schaal, namelijk (i-1,i) bij toetsadvies i. In methode 3 stellen we voor om ook dit bereik nog te herschalen zodat we rekening houden met hoe vaak de toetsadviezen voorkomen in de populatie. Op deze manier brengen we de schaal meer in verhouding met de realiteit. De bereiken per toetsadvies die bij methode 2 gelijk waren aan 1 zullen dus aangepast kunnen worden naar een passend bereik op basis van verhoudingen in de populatie.

De frequenties waarin de toetsadviezen voorkomen – over alle toetsaanbieders heen – worden in figuur 5.2.7 weergegeven. Daarbij zien we dat de middelste toetsadviezen vaker voorkomen dan de toetsadviezen die daarna of daarvoor volgen. 

We nemen in dit geval aan dat onderliggende toetsadviezen ongeveer normaal verdeeld zijn in de populatie. Daarom passen we de schaalgrenzen zo aan dat ze aansluiten bij die van een normale verdeling. Dat doen we in de volgende stappen: 

  1. We berekenen het aandeel leerlingen per toetsadvies voor de totale populatie en berekenen hierbij het cumulatieve aandeel.
  2. Vervolgens gaan we uit van een normale verdeling met een gemiddelde van 3 en een standaarddeviatie van 1. Op deze manier sluiten we aan bij de schaal uit methode 2 die loopt van [0, 6], met 3 als middelpunt. De schaal past het beste bij deze toepassing, maar je zou ook een andere schaalverdeling kunnen hanteren. Vervolgens zoeken we op basis van de cumulatieve proporties per toetsadvies de juiste grenzen op in de normale verdeling. Hieronder staat een voorbeeld voor pro/vmbo-b. Dit toetsadvies heeft een cumulatieve proportie van 0,0258 en daarbij hoort de grens in de normale verdeling van 1,0544.
    5_2_8_Normaal_curve
  3. Omdat de staarten van de normale verdeling oneindig zijn en geen harde grens hebben, zetten wij deze op 0 en 6. (Dit afkappen heeft slechts een zeer beperkt effect op de uitkomsten, aangezien een trekking uit de normale verdeling N(3,1) met ruim 99,7% kans ligt tussen 0 en 6). Zo loopt de schaal voor pro vmbo-b van 0 tot 1,0544. Deze methode kunnen we toepassen op elk toetsadvies. Hierbij nemen we ook weer de aangepaste min(x) en max(x) waarden mee zoals beschreven bij methode 2, om precies tussen de toetsadviezen uit te komen.
  4. Vervolgens normaliseren we de eindtoetsscores weer opnieuw, maar dan met de schaalgrenzen per toetsadvies i, aangepast naar de normale verdeling:

    $$x_{herschaald\_ ti} = a_{i} + \ \frac{(x_{ti} - \left( \min\left( x_{ti} \right) - 0,5 \right))*(b_{i} - a_{i})}{(max\left( x_{ti} \right) + 0,5) - (\min\left( x_{ti} \right) - 0,5)}$$

Hierbij staat ai voor de ondergrens voor toetsadviescategorie i en bi voor de bovengrens. Beide grenzen zijn gebaseerd op de normale verdeling behorende bij het cumulatieve aandeel van de betreffende toetsadviescategorie.

5.3 Resultaten

In figuur 5.3.1 wordt het resultaat van de uniformering van de eindtoetsscores weergegeven voor de verschillende methoden. In de eerste figuur (linksboven) zien we de oorspronkelijke verdeling. In de tweede figuur (rechtsboven) zien we methode 1 met z-scores, figuur 3 (linksonder) de methode met min-max transformatie en in figuur vier (rechtsonder) de methode met de min-max transformatie én extra herschaling naar een normale verdeling.

5_3_1_Normalisaties

Methode 2 (min-max normalisatie) zet alles netjes op een schaal van 0 tot 6, maar heeft nog vrij uitgesmeerde verdelingen tussen 0 en 6. Bij methode 3 (min-max normalisatie + herschaling) zien we dat de verdeling in totaal wel meer lijkt op een normale verdeling. Terwijl bij methode 1 (z-scores) alles nog dichter bij elkaar komt te liggen in het middelpunt. Wel valt op dat AMN en Dia een vrij vlakke verdeling blijven houden in alle scenario’s, zoals we ook terugzien in de oorspronkelijke scores. De grootste toetsaanbieders domineren de uitkomst het meest bij het gebruik van z-scores. Daarnaast houden de z-scores geen rekening met bijbehorende toetsadviezen, terwijl de andere normalisaties dit wel doen. Door het gebruik van min-max normalisatie krijgen we een praktische schaal van 0 tot 6. Door dit ook nog te herschalen komen we in de buurt van een normale verdeling, maar houden we ook nog vast aan de oorspronkelijke verdelingen per toetsaanbieder. We sluiten hierbij meer aan bij de verhoudingen in de populatie én houden vast aan de toetsadviezen die hierbij horen.

Het nadeel van z-scores is dat we geen rekening houden met de toetsadviezen. Dit kan betekenen dat scores gaan overlappen over toetsadviezen heen. In tabel 5.3.2 wordt duidelijk dat dit inderdaad gebeurt. Bijvoorbeeld: een z-score van –1 hoort een toetsadvies vmbo- k/gt als deze afkomstig is van CET, maar een toetsadvies vmbo-b/k als deze afkomstig is van Route 8.

We hebben de nieuwe voorkomende bereiken toegevoegd aan tabel 5.2.1 om een voorbeeld te geven van de nieuwe herschaalde scores, zie tabel 5.3.2.

5.3.2 Toetsscores en herschaalde toetsscores per toetsadvies en toetsaanbieder
ToetsadviesCETRoute 8IepDiaAMNZ-scores min-max normalisatiemin-max normalisatie + herschaling
Pro / vmbo b501-510100-11250-51321-338300-304-3,49 – (-1,34)0,03-0,970,03-1,03
Vmbo b/k511-523113-15952-68339-349305-332-2,47 – (-0,67)1,01-1,991,06-2,01
Vmbo k/gt524-531160-18769-76350-356333-374-1,13 – (-0,06)2,01-2,992,02-2,64
Vmbo gt/havo532-539188-21677-84357-365375-433-0,31 – 0,753,02-3,992,66-3,38
Havo/vwo540-544217-23885-91366-371434-4680,43 – 1,314,01-4,993,39-3,97
Vwo545-550239-30092-100372-390469-5001,03 – 2,575,01-5,993,99-5,98

5.4 Conclusie en discussie

Om de eindtoetsen zo goed mogelijk te uniformeren met de beschikbare gegevens, zou methode 3 met min-max normalisatie én herschaling de voorkeur hebben. Met deze methode zetten we alles op eenzelfde schaal en houden we rekening met het aandeel per toetsadvies in de populatie en bijbehorende toetsadviezen.

Daarnaast hebben we bij methode 3 gekozen voor een normale verdeling om te herschalen. Hier zou ook een andere methode bedacht kunnen worden om te herschalen. Tevens is de keuze voor een normale verdeling met een gemiddelde van 3 en standaarddeviatie van 1 een pragmatische. Dit zou ook iets anders kunnen zijn als basis. Omdat de ranges over de toetsadviezen, in combinatie met de toetsaanbieders kunnen verschillen, kunnen we niet zomaar wegen naar deze ranges.

Hoewel methode 3 de beste benadering is voor uniformering met de huidige data, zijn er nog steeds enkele kanttekeningen te maken. Bij de voorgestelde methoden wordt de aanname gemaakt dat alle toetsen ook werkelijk hetzelfde meten bij leerlingen. We kunnen op dit moment niet beoordelen of dit daadwerkelijk het geval is. We zien daarnaast in de figuren terug dat de verdeling van de eindtoetsscores verschilt per toetsaanbieder. De toetsen bestaan wel uit enkele ankeritems op rekenen en taal die terugkomen in alle toetsen, maar de overige inhoud van de toetsen zou wel kunnen verschillen. Dit kunnen we op dit moment niet beoordelen. Daarnaast zou de populatie per eindtoets kunnen verschillen, doordat scholen verschillend een keuze maken voor een bepaalde eindtoets. Zo stelde het CPB eerder in een rapport vast dat scholen met een slechtere uitkomst op de eindtoets eerder geneigd zijn om te kiezen voor een andere toets dan de Centrale Eindtoets (CET) van Cito (Swart, L., Van den Berge, W., & Visser, D., 2019).

Om rekening te houden met bovenstaande kanttekeningen zou er verder onderzocht moeten worden of er systematische verschillen voorkomen tussen scholen én leerlingen. We zouden ten eerste kunnen corrigeren voor het type eindtoets, door dit mee te nemen als predictor in het uiteindelijke onderwijsachterstandenmodel. Wanneer hierbij duidelijk wordt dat deze predictor verschillen verklaart in de onderwijsprestatie, zal dit een indicatie kunnen zijn dat er systematische verschillen zijn tussen de verschillende eindtoetsen. Daarnaast kan een dergelijke uitkomst ook gebruikt worden om de uniformeringsmethode te verbeteren. Ook zouden we het model kunnen toepassen per toetspopulatie om te zien of er verschillen naar voren komen. Daarnaast zou er gekeken moeten worden wat de kenmerken zijn van scholen per type eindtoets en welke scholen zijn overgestapt van CET naar een andere type eindtoets. We zouden dit bijvoorbeeld kunnen koppelen aan de historische onderwijsprestatie op CET van de scholen. Wanneer het type eindtoets systematisch verschilt per type school, kunnen we wel hiervoor corrigeren door achtergrondkenmerken mee te nemen die deze verschillen verklaren. Om dus werkelijk verder te gaan met methode 3, moet er verder in kaart worden gebracht of de assumptie dat de eindtoetsen hetzelfde meten bij leerlingen kan worden gehouden.