Onderzoek herijking risico-indicator onderwijsachterstanden – fase 1

In het huidige onderwijsachterstandenbeleid voor het primair onderwijs en het gemeentelijke onderwijsachterstandenbeleid maakt het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) gebruik van de risico-indicator onderwijsachterstanden die het Centraal Bureau voor de Statistiek (CBS) eerder in opdracht van het ministerie heeft ontwikkeld¹⁾. Namelijk door het CBS met deze indicator voor alle peuters van 2,5 tot 4 jaar en alle basisschoolleerlingen een onderwijsscore te laten berekenen en die scores te laten optellen conform de Besluiten²⁾ tot achterstandsscores per school en per gemeente. Deze drukken dan de verwachte onderwijsachterstandsproblematiek op scholen en in gemeenten uit, op basis waarvan OCW het onderwijsachterstandenbudget over de scholen en gemeenten zal verdelen. In 2019 was dit beleid voor het eerst van kracht.

Om de risico-indicator onderwijsachterstanden actueel te houden, heeft OCW te kennen gegeven de indicator regelmatig te willen evalueren. Hierdoor kunnen nieuwe ontwikkelingen mee worden genomen in de indicator. De eerste evaluatie is uitgevoerd in 2021 en betrof een beperkte herziening waarbij vooral is gekeken naar de actualisatie van de coëfficiënten en schaalwaarden van het model³⁾. De resultaten van deze herziening zijn in 2022 voor het eerst toegepast bij het berekenen van de achterstandsscores voor scholen en in 2023 voor gemeenten. In de periode 2023 tot 2025 heeft OCW een grote evaluatie voorzien waarbij de gehele indicator tegen het licht zal worden gehouden.

Ten behoeve van de evaluatie in de periode 2023 – 2025 heeft OCW via het Nationaal Regieorgaan Onderwijsonderzoek een intelligentiemeting uit laten voeren onder een representatieve steekproef van de basisschoolleerlingen in groep 6 van het schooljaar 2020/’21. Aangevuld met de eindtoetsscores van schooljaar 2022/’23 en relevante achtergrondkenmerken van de betreffende leerlingen, kan deze intelligentiemeting vervolgens worden gebruikt om een nieuw model te ontwikkelen waarbij onderwijsachterstanden wordt geschat.

Deze evaluatie zal uit een drietal fasen bestaan. In de eerste fase staan een aantal voorbereidende onderzoeken voor het nieuw te schatten model voor onderwijsachterstanden centraal. De tweede fase zal vervolgens in het teken staan van dit nieuw te schatten model voor onderwijsachterstanden. Hierbij worden de bevindingen uit de eerste fase verwerkt in het nieuw te schatten model. In de derde fase zullen de uitkomsten van de eerste en tweede fase verwerkt worden in een gestandaardiseerde productiestatistiek. Dit rapport heeft betrekking op de eerste fase en bestaat uit vijf onderdelen.

Naast de methodologische onderzoeken over de ontwikkeling van de indicator¹⁾, heeft het CBS na de ingebruikname van de indicator in 2018 diverse plausibiliteits- en monitoringonderzoeken gepubliceerd⁴⁾. In deze onderzoeken is gekeken naar de werking van de indicator over de jaren heen. Op basis van deze onderzoeken zijn een drietal verbetermogelijkheden geïdentificeerd: het uitstellen van het middelen van de onderwijsscores tot na het berekenen van de achterstandsscores, het verbeteren van het imputatiemodel voor het opleidingsniveau van de ouders en het verbeteren van het imputatiemodel voor de onderwijsscores voor kinderen in de populatie waarvoor geen onderwijsscore kan worden berekend. Deze drie verbetertrajecten zullen in de hoofstukken 2 tot en met 4 aan de orde komen. In hoofdstuk 5 onderzoeken we op welke wijze voor de diverse eindtoetsen een uniforme prestatiemaatstaf kan worden ontwikkeld. Als laatste presenteren we in hoofdstuk 6 de resultaten van een expertraadpleging naar factoren die van invloed zijn op het risico op onderwijsachterstanden.

2.1 Inleiding

In de huidige methodiek van de risico-indicator onderwijsachterstanden wordt het opleidingsniveau van ouders waar dit niet bekend is tien keer geïmputeerd. Vervolgens wordt voor iedere imputatieronde een onderwijsscore berekend voor alle peuters en basisschoolleerlingen van wie beide ouders bekend zijn in de Basis Registratie Personen (BRP). Direct hierna wordt er een gemiddelde onderwijsscore berekend van deze tien losse berekeningen. Dit gemiddelde wordt vervolgens in het vervolg gebruikt. Voor kinderen van wie van één of beide ouders het opleidingsniveau ontbreekt zal de gemiddelde score over tien imputatieronden vaak boven de doelgroepgrens van 15% uitkomen, ook als enkele van de tien afzonderlijke scores daar wél onder liggen. Deze kinderen wegen door deze middeling dan helemaal niet mee in de achterstandsscore op schoolniveau, terwijl de spreiding in de imputaties in feite laat zien dat ze met een bepaalde kans wel behoren bij de groep kinderen met een verwachte achterstand. Dit verschijnsel werkt ook door als deze kinderen vervolgens als donor worden gebruikt voor het imputeren van scores voor kinderen met onbekende ouders. Dit kan worden voorkomen door de scores uit de tien imputatieronden zo lang mogelijk afzonderlijk te behandelen en pas te middelen nadat de scores zijn geaggregeerd naar school- of gemeenteniveau. In dit deelonderzoek zullen de effecten van deze aanpassing op de achterstandsscores van scholen en gemeenten daarom geïsoleerd worden bekeken.

2.2 Data en methoden

Voor dit onderzoek hebben we gebruik gemaakt van de microdatabestanden van de risico-indicator onderwijsachterstanden voor de jaren 2019, 2020 en 2021. Met behulp van deze data vergelijken we de huidige methode met een methode waarbij de middeling pas aan het einde van het proces wordt toegepast. Vanaf het berekenen van de onderwijsscores verloopt het huidige proces globaal als volgt:

• Voor elk kind worden 10 onderwijsscores berekend.
• Vervolgens wordt het gemiddelde over deze 10 scores berekend.
• Daarna worden ontbrekende waardes voor dit gemiddelde geïmputeerd.
• Tenslotte wordt er per school of gemeente één achterstandsscore berekend over deze gemiddelde score.

Door de middeling zo laat mogelijk toe te passen verandert het proces als volgt:

• Voor elk kind worden 10 onderwijsscores berekend.
• Vervolgens worden voor elk van deze 10 scores ontbrekende waardes geïmputeerd.
• Daarna worden er 10 achterstandsscores berekend op basis van de 10 onderwijsscores.
• Tenslotte worden deze achterstandsscores gemiddeld per school of gemeente.

Zoals te lezen in het vierde methoderapport, was de verwachting dat het uitstellen van de middeling zou leiden tot een verbetering van de scores doordat bij het imputeren per kind en per ronde een andere imputatiedonor gekozen kan worden. Dit zou moeten leiden tot een robuustere schatting van de onderwijsscore, en als resultaat ook de achterstandsscore, met name voor kinderen van wie het opleidingsniveau van beide ouders onbekend is. Dit is ook de verwachting omdat de spreiding van achterstandsscores bij deze groep relatief groot is, waardoor het relatief vaak voor kan komen dat het gemiddelde van 10 imputatierondes boven de grenswaarde van 15% ligt terwijl deze voor een deel van de individuele scores eronder ligt. Dit betekent in feite dat er een kans is dat ze bij de groep met een verwachte achterstand horen. Bij de oude methode wegen deze kinderen helemaal niet mee in het berekenen van achterstandsscores op schoolniveaus. Wanneer middeling wordt uitgesteld, wegen deze leerlingen wel mee in rondes waarin hun scores onder de grenswaarde liggen. Zo wordt de kans dat ze onder de grenswaarde liggen toch meegenomen in de uiteindelijke berekening van de achterstandsscores. De methodes werden met elkaar vergeleken voor drie jaren: 2019, 2020 en 2021. Ze zijn vergeleken op verschillende aspecten.

Stabiliteit. Als verschillen in onderwijsscores jaar op jaar kleiner zijn, dan is dat een indicatie dat er minder ruis in de berekening zit. Immers is de aanname dat “ware” onderwijsscores relatief stabiel zouden moeten zijn over de tijd heen. Een deel van de verschillen tussen jaren komt door de methode die gebruikt wordt. Bijvoorbeeld door verschillen in geïmputeerde onderwijsscores. In principe is het wenselijk om dat effect te minimaliseren. Om de methodes te vergelijken op hun stabiliteit is een analyse uitgevoerd die ook bij plausibiliteitscontroles van de risico-indicator onderwijsachterstanden wordt uitgevoerd. Hierbij zijn de verschillen in onderwijsscores tussen de jaren 2020 en 2021 op persoonsniveau uitgerekend per imputatiegroep. Dit is gedaan voor zowel de huidige als de nieuwe methode.

Versnippering en herverdeeleffecten. Door de verandering van de methode kan het voorkomen dat scholen die bij de huidige methode niet in aanmerking komen voor aanvullende financiering uit het onderwijsachterstandenbudget bij de nieuwe methode – uitstellen van middeling – wel in aanmerking komen voor extra middelen. Andersom – eerst wel extra middelen, daarna niet – kan ook voorkomen. Tevens kijken we of het aantal scholen dat in aanmerking komt voor extra middelen wijzigt. Dit is gedaan om in kaart te brengen in welke mate het aanpassen van de methode zou leiden tot “versnippering” van het budget. Dat wil zeggen dat veel scholen slechts een klein aandeel van het budget zouden krijgen.

Betrouwbaarheid. Voor het jaar 2021 zijn de varianties en betrouwbaarheidsmarges van de twee methodes met elkaar vergeleken. Bij deze vergelijking werd drie keer de achterstandsscore uitgerekend, waarna de variantie van de score werd bepaald. Deze vergelijking wordt gedaan aan de hand van de parameter K. K_g is een parameter die de bijdrage van een achterstandsleerling in stratum g aan de variantie van de achterstandsscore van de school waarop zij zitten uitdrukt bij twee verschillende (onafhankelijke) berekeningen van achterstandsscores. K_g is een aggregaat van de gemiddelde waarde van de bijdrage en de variantie daaromheen, gewogen naar de kans dat een willekeurige leerling uit stratum g een onderwijsscore heeft die bij minimaal één van de berekeningen onder de grenswaarde van 15% valt. Meer informatie over de berekening en afleiding van K_g is te vinden in Bijlage 2.

K_g is in dit rapport geschat door voor de populatie van 2021 het volledige bijschattingsproces drie keer onafhankelijk uit te voeren. Dit geeft drie mogelijke paarsgewijze vergelijkingen tussen onderwijsscores: (y_i1,y_i2), (y_i1,y_i3) en (y_i2,y_i3) met elk een schatting van K_g. Deze zijn vervolgens gemiddeld. Ook rapporteren we de standaarddeviaties gebaseerd op de spreiding in uitkomsten over deze drie paarsgewijze vergelijkingen. K is vergeleken voor uitgestelde en niet-uitgestelde middeling. Verder zijn in dit onderzoek drie strata onderzocht: drie verschillende subgroepen waarvoor de onderwijsscore wordt geïmputeerd.

2.3 Resultaten

2.3.1 Verschillen in onderwijsscores

De verschillen in individuele onderwijsscores tussen de jaren 2020 en 2021 zijn te zien in figuur 2.3.1 tot 2.3.4. De verwachting was dat het uitstellen van de middeling van onderwijsscores de verschillen tussen onderwijsscores uit opeenvolgende jaren kleiner zou maken. Dit bleek ook het geval: met name voor groepen van wie één of beide ouders onbekend zijn kwamen extreme verschillen (lager dan -2.5 of 2.5 of meer) tussen de jaren minder vaak voor, en minder extreme verschillen juist vaker. Over het geheel genomen namen de verschillen in onderwijsscores van personen tussen opeenvolgende jaren dus af. Dit verschil was het grootste bij kinderen van wie de score was geïmputeerd omdat de vader onbekend is. Bij kinderen die niet staan ingeschreven in de BRP (figuur 2.3.4) zijn wel wat verschuivingen te zien, maar er kan geen duidelijke conclusie getrokken worden dat uitstellen van de middeling een verbetering is.

2.3.2 Kenmerken van verschillen in achterstandsscores van scholen

In de volgende analyses worden voor verschillende (sub)groepen scholen beschrijvende kenmerken van de jaar-op-jaar verschillen in achterstandsscores getoond. Hierbij is met name de standaarddeviatie een belangrijk kenmerk, omdat deze de mate van spreiding van de jaar-op-jaar verschillen voor de gehele verdeling van een gegeven groep beschrijft. Minima en maxima worden ook getoond, maar deze zijn minder informatief omdat dit slechts de hoogste positieve of negatieve jaar-op-jaar verandering betreft, zonder informatie over de hoeveelheid scholen die in de buurt van die waarde zitten. De minima en maxima betreffen dus vrijwel altijd uitbijters. Wel zouden ze eventueel informatie kunnen verschaffen over of een methode voor een selecte groep scholen beter of slechter werkt. Tenslotte wordt het gemiddelde verschil getoond. Deze gemiddelden moeten rond de 0 zitten en niet teveel verschillen tussen de gebruikte methodes.

In tabel 2.3.5 staan de kenmerken van verschillen in bruto achterstandsscore, dat wil zeggen zonder het toepassen van de drempel, van alle scholen beschreven. In deze tabel staat dus in principe de verdeling van jaar-op-jaar verschillen van achterstandsscores van alle scholen. Wanneer middeling wordt uitgesteld, verandert de verdeling van de jaar-op-jaar verschillen iets ten opzichte van de huidige methode. De grootste verschillen nemen iets toe, te zien in de toename van de onder- en bovengrens, terwijl de algehele spreiding, te zien in de standaarddeviatie, juist afneemt (-2%). Met name dat laatste ligt in de lijn der verwachting: doordat de middeling later in het proces plaatsvindt, wordt het uitrekenen van de achterstandsscore tien keer herhaald, wat in theorie zou moeten leiden tot robuustere uitkomsten en dus minder spreiding (kleinere verschillen) tussen jaren. Het gemiddelde verschil is nagenoeg hetzelfde voor beide methodes.

Tabel 2.3.6 beschrijft de kenmerken van verschillen in netto achterstandsscores van scholen, dat wil zeggen met het toepassen van de drempel, die in zowel 2020 als 2021 middelen kregen toebedeeld uit het onderwijsachterstandenbudget. Wanneer middeling wordt uitgesteld, nemen de grootste verschillen wederom toe vergeleken met de huidige methode. Echter neemt zowel het gemiddelde verschil als de standaarddeviatie van het verschil af. Dit betekent dat, hoewel voor enkele scholen de verschillen groter worden wanneer middeling wordt uitgesteld, de algehele spreiding van verschillen in achterstandsscores van scholen die middelen uit het achterstandenbudget krijgen kleiner wordt. De afname van de standaarddeviatie is ook sterker (-5%) dan bij de verschillen in bruto achterstandsscores van alle scholen. Dit kan suggereren dat het uitstellen van de middeling van achterstandsscores een positiever effect heeft voor scholen die in beide jaren middelen krijgen uit het onderwijsachterstandenbudget. Eén van de mogelijke oorzaken hiervan is dat het uitstellen van middeling de imputatie van onderwijsscores robuuster maakt, zoals te lezen in paragraaf 2.3.1. Dat zou betekenen dat scholen waarvan bij relatief veel leerlingen de onderwijsscore is geïmputeerd, meer baat hebben bij het uitstellen van middeling. Om dit te onderzoeken is ook specifiek gekeken naar scholen waarvan een relatief groot deel van de leerlingen geïmputeerd is. Er is voor gekozen om naar scholen te kijken waarvan bij 10% of meer van de leerlingen de onderwijsscore is geïmputeerd, en scholen waarvan bij 25% of meer van de leerlingen de onderwijsscore is geïmputeerd.

Bij scholen waarvan bij 10% van de leerlingen de onderwijsscore is geïmputeerd, neemt de standaarddeviatie, net als bij de gehele populatie scholen, af (-2,5%) wanneer middeling wordt uitgesteld ten opzichte van de huidige methode. Deze afname is wel minder sterk dan bij alle scholen die in beide jaren middelen krijgen uit het onderwijsachterstandenbudget. Het gemiddelde verschil neemt ook een beetje af, net als het maximale negatieve verschil. Het maximale positieve verschil wordt juist groter. Om te onderzoeken in welke mate deze verschillen te maken hebben met jaar-op-jaar verschillen in het aantal imputaties op een school, is ook gekeken naar scholen met 10% of meer leerlingen met geïmputeerde onderwijsscores, waarvan het jaar-op-jaar verschil in percentage leerlingen met geïmputeerde onderwijsscores niet hoger was dan ± 5% (tabel 2.3.8).

Bij scholen waarvan bij minimaal 10% van de leerlingen de onderwijsscore is geïmputeerd was en waarbij er geen grote jaar-op-jaar verschillen waren in het percentage imputaties, nemen zowel het gemiddelde verschil als de standaard deviatie (-5%) af wanneer middeling wordt uitgesteld ten opzichte van de huidige methode. Het maximale negatieve verschil neemt juist toe. Ook hier kan geconcludeerd worden dat individuele scholen misschien grotere verschillen vertonen jaar op jaar, maar de algehele spreiding van verschillen voor alle scholen in deze subset verkleint.

Bij scholen waarvan bij minimaal 25% van de leerlingen de onderwijsscore is geïmputeerd, neemt de standaarddeviatie wederom af; zie tabel 2.3.9. Deze afname is wel relatief klein. Net als in voorgaande vergelijkingen neemt het maximale positieve verschil toe. Anders dan bij andere vergelijkingen neemt het gemiddelde verschil iets toe wanneer middeling wordt uitgesteld. Dat verschil is echter niet groot. Ook voor deze subgroep is verder gekeken naar scholen die kleine jaar-op-jaar verschillen hadden in het aantal imputaties, te zien in tabel 2.3.10.

Bij deze scholen neemt de standaarddeviatie af wanneer middeling wordt uitgesteld. Dit effect is iets sterker dan in de gehele groep scholen met meer dan 25% imputaties. Anders dan in tabel 2.3.8 is te zien, nemen ook het gemiddelde verschil en het maximale positieve verschil iets af ten opzichte van de huidige methode.

2.3.3 Kenmerken van jaar-op-jaar verschillen in bruto en netto achterstandsscores op gemeenteniveau

Tabel 2.3.11 toont jaar-op-jaar verschillen in bruto achterstandsscores voor gemeentes, uitgesplitst naar methode. Hieruit is op te maken dat wanneer middeling wordt uitgesteld, alle kenmerken lager uitvallen ten opzichte van de huidige methode. In het bijzonder neemt de standaarddeviatie af met 27%. Dat is een aanzienlijk verschil, en veel groter dan de verschillen die te zien waren op schoolniveau.

Tabel 2.3.12 toont jaar-op-jaar verschillen in netto achterstandsscores voor alle gemeentes, uitgesplitst naar methode. Net als bij de bruto achterstandsscores nemen alle kenmerken af wanneer middeling wordt uitgesteld ten opzichte van de huidige methode. In het bijzonder neemt de standaarddeviatie af met 31%.

2.3.4 Verschillen in verdeling van het onderwijsachterstandenbudget wanneer middeling zou worden uitgesteld.

In tabel 2.3.13 wordt per jaar getoond hoeveel extra scholen middelen zouden krijgen wanneer middeling zou worden uitgesteld ten opzichte van de huidige methode. Dat aantal varieert van 159 (2021) tot 281 (2019). Daarnaast is te zien hoeveel procent van het onderwijsachterstandenbudget naar deze scholen zou gaan per jaar. Dit varieert van 0,410% (2021) tot 0,728% (2019). Dit zijn relatief lage percentages, waardoor geconcludeerd kan worden dat het uitstellen van middeling van achterstandsscores niet leidt tot versnippering van het budget.

Tenslotte is ook onderzocht hoeveel scholen volgens de huidige methode wel middelen krijgen uit het onderwijsachterstandenbudget, maar wanneer middeling wordt uitgesteld niet meer. In 2019 zouden dit 49 scholen zijn; in 2020 62 scholen, en in 2021 67 scholen. Er zijn dus maar weinig scholen die volgens de huidige methode wel middelen toebedeeld krijgen en dat niet meer zouden krijgen wanneer middeling wordt uitgesteld.

2.3.5 Vergelijking van parameter K met en zonder uitstellen van middeling

Zoals genoemd in de methodesectie is de parameter K uitgerekend voor achterstandsscores waarbij middeling is uitgesteld en scores waarbij dat niet het geval was. In tabel 2.3.14 zijn de parameterwaarden te zien voor de verschillende strata. Zoals genoemd zijn hier alleen de strata geanalyseerd waarin de opleidingsniveaus van de moeder, de vader of beide ouders onbekend zijn, omdat het uitstellen van de middeling in principe alleen op deze leerlingen effect heeft. Daarnaast zijn dit ook de strata die het meeste invloed hebben op de variantie van de achterstandsscores (en de hoogste K waarde hebben). In principe is een lage waarde voor K wenselijk, omdat dit een lagere variantie in achterstandsscores tot gevolg heeft.

Zowel de waarde van K als de standaarddeviatie van K zijn aanzienlijk lager voor alle strata wanneer middeling wordt uitgesteld dan wanneer dit niet wordt gedaan. Dit betekent dat wanneer de middeling van achterstandsscores wordt uitgesteld, leerlingen van wie het opleidingsniveau van minimaal één ouder wordt geïmputeerd aanzienlijk minder bijdragen aan de variantie in achterstandsscore van de school waarop zij zitten. Dit leidt vervolgens tot significant minder variantie in achterstandsscores van scholen of gemeentes in het algemeen, maar in het bijzonder van die scholen of gemeentes waarin veel leerlingen aanwezig zijn van wie één of beide ouders onbekend zijn.

2.4 Conclusies

In dit onderzoek werd onderzocht welke effecten het uitstellen van middeling bij het berekenen van achterstandsscores heeft. Hier is gekeken naar de verdeling van jaar-op-jaar verschillen van individuele onderwijsscores, de verdeling van financiering op basis van achterstandsscores, de verdeling van jaar-op-jaar verschillen in achterstandsscores op school- en gemeenteniveau, en de variantiebijdrage aan achterstandsscores van leerlingen van wie het opleidingsniveau van één of beide ouders geïmputeerd is.

Uit de resultaten van het onderzoek blijkt dat het uitstellen van middeling van achterstandsscores leidt tot kleinere verschillen in individuele onderwijsscores tussen verschillende jaren, met name voor leerlingen van wie het opleidingsniveau van één of beide ouders onbekend is. Bij kinderen die niet bekend zijn in de BRP is dit nauwelijks het geval. Ook is de spreiding van jaar-op-jaar verschillen in zowel bruto (zonder drempel) als netto (met drempel) achterstandsscores lager wanneer middeling wordt uitgesteld. Deze vermindering is bescheiden, maar is wel groter wanneer wordt gekeken naar scholen die in beide jaren relatief veel geïmputeerde leerlingen hadden. Daarentegen neemt de spreiding van jaar-op-jaar verschillen in achterstandsscores op gemeenteniveau wel fors af wanneer middeling wordt uitgesteld.

Daarnaast leidt uitstelling van middeling tot een lagere variantiebijdrage van leerlingen van wie het opleidingsniveau van één of beide ouders geïmputeerd was doordat voor deze groepen zowel de waarde als de standaarddeviatie van parameter K lager is wanneer middeling wordt uitgesteld. Het effect hiervan is groot: het uitstellen van middeling verlaagde de grootte van K met 85-90%. Het gevolg hiervan is dat de standaardfout van achterstandsscores kleiner wordt, wat leidt tot minder variantie in achterstandsscores voor scholen met veel leerlingen die behoren tot de genoemde groepen. Dat is een positief resultaat omdat de ervaring leert dat juist scholen met relatief veel geïmputeerde leerlingen veel fluctueren in hun achterstandsscores over verschillende jaren ten gevolge van fluctuaties in geïmputeerde scores. Dat betekent dat deze scholen deels verschillen in achterstandsscores door de gebruikte methode en niet door veranderingen in variabelen onderliggend aan achterstandsscores. Het verminderen van deze variantie leidt dus tot consistentere achterstandsscores over meerdere jaren, wat ook beter aansluit bij de “echte” situatie. Dat wil zeggen, veranderingen komen in mindere mate door onzekerheid bij het imputeren van ontbrekende informatie en dus relatief in meerdere mate door veranderingen in de daadwerkelijke situatie van een school. Dit is dan ook een mogelijke verklaring voor het feit dat uitstellen van middeling leidt tot minder spreiding van jaar-op-jaar verschillen in achterstandsscores op zowel school- als gemeenteniveau.

Tenslotte is onderzocht welke effecten het uitstellen van middeling zou hebben op de daadwerkelijke verdeling van het onderwijsachterstandenbudget. Met name of dit zou leiden tot “versnippering” van het budget, waarbij veel scholen relatief weinig budget zouden ontvangen met als gevolg dat deze scholen slechts beperkt effectieve maatregelen zouden kunnen nemen om onderwijsachterstanden te bestrijden. Een ander mogelijk gevolg dat werd onderzocht was of verandering in methodiek zou leiden tot een grote verschuiving in welke scholen middelen uit het onderwijsachterstandenbudget toebedeeld zouden krijgen. In dit onderzoek is geen indicatie gevonden dat deze zaken in belangrijke mate zouden plaatsvinden wanneer besloten wordt om middeling van achterstandsscores uit te stellen.

Kortom, Het uitstellen van het middelen van achterstandsscores lijkt positieve gevolgen te hebben voor de robuustheid van individuele onderwijsscores, en achterstandsscores op school- en gemeenteniveau. Daarnaast lijken geanticipeerde nadelen niet, of in zeer beperkte mate, aanwezig.

3.1 Inleiding

Het opleidingsniveau van de ouders is een belangrijke voorspeller met betrekking tot het risico op onderwijsachterstand van een kind (CBS, 2019). Voor ouders die zijn ingeschreven in de Basisregistratie Persoonsgegevens is dit kenmerk beschikbaar uit het Opleidingsniveaubestand van het CBS. De opleidingsniveaus in dit bestand zijn deels afgeleid uit centrale opleidingsregisters en deels uit steekproefdata van de Enquête Beroepsbevolking (EBB).

Voor een aanzienlijk deel van de ouders in de BRP is geen opleidingsniveau bekend in het Opleidingsniveaubestand (Linder et al., 2011). Deels komt dit doordat centrale opleidingsregisters nog niet lang worden bijgehouden: voor het hoger onderwijs sinds het midden van de jaren 1980, voor het voortgezet onderwijs en mbo rond de eeuwwisseling en voor het primair onderwijs vanaf 2010. Mensen die hun opleiding al hadden afgerond voordat de relevante registers beschikbaar kwamen zijn daarom alleen op steekproefbasis waargenomen in de EBB. Verder ontbreekt in de registers alle informatie over opleidingen die mensen in het buitenland hebben gevolgd. Van oudere mensen en mensen die op latere leeftijd naar Nederland zijn gekomen is daarom relatief vaak geen opleidingsniveau bekend. Omdat de EBB-data elk jaar worden aangevuld met een nieuwe steekproef, neemt het percentage ontbrekende opleidingsniveaus in het bestand in de loop van de tijd af.

In het Opleidingsniveaubestand heeft elke persoon met een bekend opleidingsniveau een ophooggewicht. Dit gewicht is gelijk aan 1 als de informatie uit een register komt en ongelijk aan 1 als de informatie (alleen) uit de EBB komt. Met deze ophooggewichten kan een goede schatting worden gemaakt van de verdeling van opleidingsniveau voor de hele Nederlandse bevolking.
Binnen de groep kinderen van wie beide ouders voorkomen in de BRP onderscheiden we vier deelpopulaties:

1. het opleidingsniveau van zowel de moeder als de vader is onbekend;
2. het opleidingsniveau van de moeder is bekend, het opleidingsniveau van de vader niet;
3. het opleidingsniveau van de vader is bekend, het opleidingsniveau van de moeder niet;
4. het opleidingsniveau van zowel de moeder als de vader is bekend.

Tabel 3.1.1 geeft een indruk van de omvang van het probleem met ontbrekende waarden: hoe ouder de kinderen, hoe meer ouders er voorkomen met een onbekend opleidingsniveau. Van alle kinderen in de BRP tot en met 27 jaar heeft ongeveer 44% ten minste één ouder met een onbekend opleidingsniveau. In ruim 15% van de gevallen zijn beide opleidingsniveaus onbekend. Bij kinderen tot en met 12 jaar (primair onderwijs en jonger) komen minder ontbrekende waarden voor, doordat de ouders gemiddeld jonger zijn. Binnen deze groep heeft ongeveer 29% ten minste één ouder met een onbekend opleidingsniveau, terwijl voor slechts 8% het opleidingsniveau van beide ouders tegelijk onbekend is. Verder is te zien dat het opleidingsniveau van de vader relatief vaker ontbreekt dan het opleidingsniveau van de moeder.

Om toch het risico op onderwijsachterstand in te kunnen schatten, worden de onbekende opleidingsniveaus alsnog geschat en geïmputeerd met specifieke statistische methoden. Bij het imputeren wordt gebruikgemaakt van andere kenmerken die wel bekend zijn uit registraties en die samenhangen met het opleidingsniveau van een persoon, zoals het inkomen en (indien bekend) het opleidingsniveau van de partner. Op basis van dergelijke kenmerken wordt een schatting gemaakt van de onbekende opleidingsniveaus. Omdat deze schattingsmodellen een bepaalde mate aan variatie kennen, kunnen meerdere schattingen voor één persoon tot verschillende uitkomsten leiden. Op individueel niveau zal deze schatting daardoor niet altijd kloppen, maar gemiddeld over grotere groepen mensen geven de uitkomsten een betrouwbare schatting van de werkelijke verdeling van het opleidingsniveau. Het verbeteren van de schattingsmethode kan leiden tot een kleinere variatie in uitkomsten en dientengevolge een stabielere schatting over de tijd.

De plausibiliteitsanalyses die het CBS jaarlijks met betrekking tot de achterstandsscores publiceert, laten een aantal zaken hieromtrent zien. Op populatieniveau laten de jaar-op-jaar vergelijkingen zien dat de uitkomsten vergelijkbaar zijn met voorgaande jaren met een licht opwaartse trend van het opleidingsniveau. Tevens laten deze jaar-op-jaar vergelijkingen zien dat de onderwijsscores van jaar op jaar aanzienlijk sterker fluctueren bij kinderen van wie bij één of beide ouders het opleidingsniveaus is geïmputeerd in vergelijking tot kinderen van wie van beide ouders het opleidingsniveau bekend is⁵⁾.

Hoewel deze fluctuaties zich op populatieniveau uitmiddelen, hoeft dit niet het geval te zijn bij kleinere subpopulaties. De leerlingenpopulatie van een school is zo’n kleinere subpopulatie. Het gevolg is dat de achterstandsscore van een school waar relatief veel opleidingsniveaus worden geïmputeerd instabieler is. Verbetering van de methoden voor het imputeren van ontbrekende opleidingsniveaus van de ouders van kinderen kan leiden tot een stabielere achterstandsscore en dus een betere voorspelbaarheid van het toegekende budget door OCW. Verbetering van de imputatiemethodiek kan worden gezocht in het verbeteren van de variabelen die nu al worden gebruikt (inkomen, opleidingsniveau partner, herkomst, burgerlijke staat, inkomstenbron en mate van stedelijkheid), in het toevoegen van nieuwe variabelen en het gebruik van een andere statistische methode voor het schatten en imputeren van ontbrekende opleidingsniveaus. De huidige methodiek voor de risico-indicator maakt gebruik van ‘continuation-ratio logistische regressie’. Multinomiale logistische regressie is daarbij een logisch alternatief om te onderzoeken.

Ook de kenmerken die gebruikt worden bij het schatten van ontbrekende opleidingsniveaus bevatten soms voor een klein deel ontbrekende waarden. Deze kenmerken worden nu compleet gemaakt middels een mice-methodiek (multiple imputations with chained equations). Afhankelijk van het type variabele wordt voor een bepaalde standaardmethode gekozen. Voor numerieke data is dat predictive mean matching, logistische regressie voor binaire data en multinomiale regressie en proportional odds regressie voor respectievelijk ongeordende en geordende categorische data met meer dan twee categorieën. Door de omvang van de populatie is deze manier van imputeren zeer rekenintensief.

Dit deelonderzoek bestaat daarom zelf ook weer uit een drietal onderdelen: verbetering van de imputatie van ontbrekende waarden bij hulpvariabelen; een vergelijking van alternatieve regressiemethodieken voor de imputatie van ontbrekende opleidingsniveaus en een onderzoek naar de verbetering van de imputatie van ontbrekende opleidingsniveaus met behulp van meer en/of betere achtergrondkenmerken.

3.2 Data en methoden

3.2.1 Imputatie hulpvariabelen

Voor de imputatie van hulpvariabelen wordt er geïmputeerd met het mice-package (van Buuren en Groothuis-Oudshoorn, 2011) in R, waarbij gebruikt wordt gemaakt van multipele imputatie. In de huidige toepassing voor de risico-indicator onderwijsachterstanden worden met mice de standaard methoden gebruikt, die afhankelijk zijn van het type kenmerk dat wordt geïmputeerd. Bij een numeriek kenmerk, zoals het inkomen, wordt er gebruik gemaakt van predictive mean matching. Bij de andere categorische kenmerken wordt er gebruik gemaakt van polytome (multinomiale) regressie. Bij de methode predictive mean matching voor numerieke kenmerken wordt er voor elke persoon met ontbrekende waarden, een ‘donor’ gezocht die geen ontbrekende waarden heeft. Deze donor wordt gevonden door een regressiemodel toe te passen op de groep zonder ontbrekende waarden, met behulp van een set achtergrondkenmerken. Het regressiemodel berekent een voorspelde waarde per persoon, door de samenhang te bekijken tussen de achtergrondkenmerken en het te imputeren kenmerk. Vervolgens wordt er een donor gevonden door de persoon te koppelen aan iemand met een vergelijkbare voorspelde waarde door het regressiemodel. De methode voor categorische variabelen, polytome (multinomiale) regressie, is een verlenging van een logistisch regressiemodel, waarbij de kans op een categorie voor meer dan twee uitkomsten geschat wordt. Per categorie wordt er een logistisch regressiemodel geschat, voor de categorie in vergelijking met een referentiegroep.

Het gebruik van de verschillende standaardmethoden in mice kost veel rekentijd. Doordat er tien iteraties worden uitgevoerd én we dit toepassen op een grote dataset is de rekenintensiteit erg hoog. Bij predictive mean matching kan de rekentijd oplopen doordat het tijd kost een donor te vinden voor elke persoon met ontbrekende waarden. Daarnaast kost polytome regressie veel tijd omdat voor iedere categorie een apart logistisch regressiemodel geschat moet worden.

Daarom onderzoeken we of we de imputatie sneller kunnen maken zonder in te boeten op de kwaliteit van de imputatie. Daarnaast onderzoeken we welke imputatietechniek beter aansluit bij het gebruik van zowel continue als categorische achtergrondkenmerken. Om de imputatie van het opleidingsniveau te verbeteren, is het ook van belang om de imputatie van de andere ontbrekende registerkenmerken te verbeteren. We onderzoeken daarom ook of het imputatiemodel verbeterd kan worden door aanvullende achtergrondkenmerken te gebruiken.

Omdat de methode predictive mean matching vooral geschikt is voor continue variabelen, testen we methoden die kunnen omgaan met zowel categorische als continue variabelen. We testen hiervoor andere technieken voor donorimputatie en technieken gebaseerd op beslisbomen.

Voor de donorimputatie testen we twee technieken: 1) K-Nearest Neighbours (KNN) en 2) Hotdeck imputatie. Bij KNN wordt er een afstand berekend op basis van een set achtergrondkenmerken, met een gekozen afstandsfunctie. Vervolgens wordt de afstand berekend tussen de donoren en ontvangers, waarna een donor wordt geselecteerd uit de K dichtstbijzijnde donoren. Bij de hotdeck imputatie worden er homogene groepjes gevormd op basis van de achtergrondkenmerken, waarna een willekeurige donor wordt geselecteerd binnen het groepje. Deze technieken kunnen goed toegepast worden als er meerdere kenmerken tegelijk ontbreken. Daarnaast kunnen ze omgaan met categorische variabelen.

Daarnaast is er gekeken naar technieken die gebruikmaken van beslisbomen: 1) Classification and Regression Trees (CART) en 2) Random forest. Beide technieken zijn machine learning algoritmen voor het maken van beslisbomen. In een beslisboom wordt de data opgedeeld in subgroepen op basis van de achtergrondkenmerken die het meest onderscheidend zijn. CART kan gebruikt worden voor continue en categoriale variabelen. Een random forest gaat hierin nog verder door niet één, maar meerdere beslisbomen te schatten. Bij imputatie zal de beslisboom eerst op de groep geschat worden zonder ontbrekende waarden, waarna voor de groep met ontbrekende waarden een voorspelde waarde of categorie berekend kan worden voor de ontbrekende waarde. De imputatietechnieken zijn beoordeeld op een tweetal aspecten: stabiliteit en snelheid.

3.2.2 Regressiemethodiek opleidingsniveau

Binnen de risico-indicator onderwijsachterstanden wordt gewerkt met een indeling van opleidingsniveau in acht categorieën. Het idee achter de imputatiemethode is dat voor elke ouder in het bestand eerst een kansverdeling over de acht categorieën wordt geschat: (p_1i,…,p_8i), waarbij p_ci de kans is dat persoon i opleidingsniveau c heeft (c∈{1,…,8}). Vervolgens wordt met deze kansen een trekking gedaan om één van de categorieën te imputeren bij persoon i. Om stabielere resultaten te vinden wordt deze procedure J=10 keer herhaald, zodat uiteindelijk bij elke persoon met een onbekend opleidingsniveau tien waarden worden geïmputeerd.

In de imputatiemethode worden de kansen p_ci gemodelleerd via een variant op logistische regressie. Het bekende binaire logistische regressiemodel is bedoeld voor kenmerken met twee categorieën en kan daarom hier niet direct worden toegepast. De meest eenvoudige uitbreiding naar meer dan twee categorieën is multinomiale logistische regressie. Hierbij wordt een model van de volgende vorm gebruikt (Agresti, 2013):

$$\log\left( \frac{p_{ci}}{p_{8i}} \right) = \beta_{c0} + \beta_{c1}x_{1i} + \ldots + \beta_{cL}x_{Li},\ \ \ \ \ (c = 1,\ldots,7).$$

De laatste (achtste) categorie van opleidingsniveau is hierbij de referentiecategorie. De variabelen x_1i,…,x_Li  zijn achtergrondkenmerken in het imputatiemodel.

Voor het imputeren van opleidingsniveau binnen de huidige indicator wordt een andere variant op logistische regressie gebruikt: continuation-ratio logistische regressie. Zie Agresti (2013) of CBS (2016) voor een beschrijving van dit model. Het belangrijkste verschil met multinomiale logistische regressie is dat continuation-ratio regressie expliciet rekening houdt met het feit dat opleidingsniveau een ordinale variabele is, met een ordening in de categorieën van laag naar hoog. In theorie zou dit tot betere imputaties kunnen leiden, al verdwijnt dit voordeel als de steekproef waarop het model geschat wordt voldoende groot is. Daar staat tegenover dat multinomiale logistische regressie twee voordelen heeft ten opzichte van continuation-ratio logistische regressie:

• De imputatiemethode is eenvoudiger te implementeren omdat standaard-software beschikbaar is voor het schatten van dit model (zoals het R-pakket nnet). Dit maakt de code eenvoudiger te onderhouden dan bij continuation-ratio logistische regressie, waarvoor een eigen implementatie moest worden geschreven.
• In een eerdere toepassing bij de Volkstelling bleek dat multinomiale logistische regressie leidde tot stabielere uitkomsten dan continuation-ratio logistische regressie (Daalmans, 2021).

We hebben daarom onderzocht of multinomiale logistische regressie een geschikt alternatief is voor het imputeren van opleidingsniveau bij de onderwijsachterstandsindicator. Voor de analyse voor dit onderdeel is de dataset gebruikt waarmee ook de risico-indicator onderwijsachterstanden voor peildatum 1 februari 2022 is berekend.

3.2.3 Imputatie opleidingsniveau

Voor de huidige indicator voor onderwijsachterstanden is een methode ontwikkeld om de ontbrekende opleidingsniveaus te imputeren (CBS, 2016). Deze methode bestaat uit drie stappen:

1. Imputeer de ontbrekende opleidingsniveaus bij moeders in deelpopulatie C, gebruikmakend van de beschikbare informatie uit deelpopulatie D.
2. Imputeer de ontbrekende opleidingsniveaus bij vaders in deelpopulatie B, gebruikmakend van de beschikbare informatie uit deelpopulatie C en D.
3. Imputeer de ontbrekende opleidingsniveaus bij moeders en vaders in deelpopulatie A, gebruikmakend van de beschikbare informatie uit deelpopulatie B, C en D.

Er blijkt een relatief sterke samenhang te bestaan tussen de opleidingsniveaus van beide ouders van hetzelfde kind. In stap 1 en 2 wordt daarom gebruikgemaakt van het bekende opleidingsniveau van de ene ouder bij het imputeren van het onbekende opleidingsniveau van de andere ouder. In stap 3, bij de deelpopulatie waar beide opleidingsniveaus onbekend zijn, wordt eerst het opleidingsniveau van de moeder geïmputeerd. Vervolgens wordt het opleidingsniveau van de vader geïmputeerd, waarbij rekening wordt gehouden met het geïmputeerde opleidingsniveau van de moeder, zodat de samenhang tussen de twee kenmerken behouden blijft.

De bestaande imputatiemethode maakt gebruik van de volgende modellen voor de drie deelpopulaties C, B en A (een getal tussen haken geeft aan in hoeveel categorieën het betreffende kenmerk is ingedeeld.):

• Deelpopulatie C (moeders):
  opleidingsniveau vader [8] × (inkomen moeder [4] + herkomstgroepering moeder [8] + leeftijd moeder [5] + stedelijkheidsgraad buurt [6] + burgerlijke staat moeder [3] + sociaaleconomische categorie moeder [2])
• Deelpopulatie B (vaders):
  opleidingsniveau moeder [8] × (inkomen vader [4] + herkomstgroepering vader [8] + leeftijd vader [5] + stedelijkheidsgraad buurt [6] + burgerlijke staat vader [3] + sociaaleconomische categorie vader [2])
• Deelpopulatie A (moeders):
  inkomen moeder [4] × (herkomstgroepering moeder [8] + leeftijd moeder [5] + stedelijkheidsgraad buurt [6] + burgerlijke staat moeder [3] + sociaaleconomische categorie moeder [2])
• Deelpopulatie A (vaders):
  hetzelfde model als bij deelpopulatie B

Doel van dit onderzoek is om te bepalen of deze modellen kunnen worden verbeterd door andere kenmerken te kiezen en/of andere indelingen van de bestaande kenmerken te gebruiken. De volgende aanpak is gevolgd, waarbij gebruik is gemaakt van een populatiebestand over 2021:

• Op inhoudelijke gronden is een voorselectie gemaakt van kenmerken die mogelijk interessant zijn voor het imputeren van opleidingsniveau. Bij sommige kenmerken zijn verschillende mogelijke indelingen voorgesteld. Op basis van een stapsgewijze regressieanalyse is per kenmerk één indeling geselecteerd en zijn de geselecteerde kenmerken gerangschikt in aflopende volgorde van hun voorspelkracht voor opleidingsniveau.
• Verschillende modellen die gebruikmaken van de geselecteerde kenmerken uit de stapsgewijze regressieanalyse zijn vergeleken in een simulatiestudie. Hierbij zijn extra ontbrekende waarden aangebracht bij ouders met bekende opleidingsniveaus, zodat de kwaliteit van de imputaties kan worden geëvalueerd.
• Voor een extra validatie is gezocht naar ouders met een onbekend opleidingsniveau in het bestand van 2021 maar een bekend opleidingsniveau in het bestand van 2022. Voor deze ouders zijn de imputaties uit de modellen voor 2021 vergeleken met de waargenomen opleidingsniveaus uit 2022, onder de aanname dat het opleidingsniveau in de tussentijd niet is veranderd.

Kenmerken zijn interessant als hulpvariabele voor het imputeren van opleidingsniveau als ze (sterk) samenhangen met opleidingsniveau en/of een grote kans hebben om opgenomen te worden in het uiteindelijke analysemodel voor onderwijsachterstanden. Kenmerken die aan beide criteria tegelijk voldoen zijn daarbij het meest interessant.

Op basis van bovenstaande overweging en beschikbaarheid van data in het Stelsel van Sociaal-statistische Bestanden (SSB) bij het CBS is de volgende longlist gemaakt van kenmerken om te onderzoeken:

• opleidingsniveau andere ouder [8*]
• leeftijd ouder [5*, 8 of in jaren]
• burgerlijke staat ouder [3* of 4]
• herkomstgroepering ouder [8*]
• inkomen ouder [4*, 5, 6, 11, 21 of continu]
• welvaart huishouden [5, 6, 11 of 21]
• sociaaleconomische categorie ouder [2* of 13]
• type economische activiteit werkgever ouder [12]
• deeltijdfactor werk ouder [5, 6 of 11]
• stedelijkheidsgraad buurt [6*]
• leeftijd kind [in jaren]

Een getal tussen haken geeft aan in hoeveel categorieën het betreffende kenmerk is ingedeeld. Een asterisk * geeft aan dat de betreffende indeling is gebruikt in het huidige imputatiemodel.

Selectie van kenmerken
Vervolgens selecteren we met een combinatie van bivariate analyses en een stepwise-procedure de kenmerken die een bijdrage leveren aan het schatten van ontbrekende opleidingsniveaus. Voor moeder en vader apart wordt de bivariate relatie tussen opleidingsniveau en elk kenmerk apart geanalyseerd door een multinomiale logistische regressie te schatten voor opleidingsniveau met één kenmerk tegelijk als voorspeller, voor ouders met bekende opleidingsniveaus. Als evaluatiematen kijken we per model naar de AIC (Agresti, 2013) en naar de verwachte fractie imputaties die exact gelijk zijn aan de juiste categorie (κ₀) of daar maximaal één categorie naast zitten (κ₁):

$$\begin{align} E\left(\kappa_{0} \right) &= \sum_{l = 1}^{L}\frac{N_{l}}{N}\sum_{c = 1}^{8}p_{lc}^{2},\\ E\left( \kappa_{1} \right) &= E\left( \kappa_{0} \right) + 2\sum_{l = 1}^{L}\frac{N_{l}}{N}\sum_{c = 1}^{7}{p_{lc}}p_{l(c + 1)}. \end{align}$$

Hierbij is L het aantal categorieën van de hulpvariabele; N is het totaal aantal records in de dataset; N_l het aantal records met categorie l op de hulpvariabele; ten slotte is p_lc de fractie records met categorie l op de hulpvariabele en opleidingsniveau c, als fractie van N_l. Voor een afleiding van de formules voor E(κ₀) en E(κ₁), zie Scholtus en Pannekoek (2015). Een model past beter bij de data als de AIC lager is en leidt naar verwachting tot betere imputaties als E(κ₀) en E(κ₁) hoger zijn.

Simulatiestudie
Na de selectie van de kenmerken kunnen we met een simulatie een schatting maken van de mate waarin de modellen met de geselecteerde kenmerken ontbrekende opleidingsniveaus correct voorspellen. De opzet van de simulatiestudie is als volgt:

a. Binnen de groep kinderen voor wie het opleidingsniveau van beide ouders bekend is
verwijderen we steeds willekeurig voor (ongeveer) 5% van de ouders de
waargenomen opleidingsniveaus. (De manier waarop dit gebeurt luistert vrij nauw,
omdat de extra ontbrekende waarden min of meer dezelfde verdeling moeten hebben
als de waarden die in het oorspronkelijke bestand al ontbreken, anders werkt de
imputatiemethode voor deze extra ontbrekende waarden niet goed. Zie de toelichting
hieronder). We herhalen dit voor S=5 simulatieronden.
b. Per simulatieronde voeren we J=10 imputaties uit van alle ouders met onbekende
opleidingsniveaus (inclusief de zojuist verwijderde waarden) met elk van de
geselecteerde modellen. Ter vergelijking passen we daarnaast ook het imputatiemodel
uit de huidige indicator toe (maar wel gebruikmakend van multinomiale logistische
regressie).
c. Per simulatieronde en model berekenen we onderwijsscores [volgens de huidige
regeling zoals beschreven in CBS (2019)] op basis van de tien imputaties voor de
kinderen met ouders met verwijderde opleidingsniveaus en vergelijken deze met de
onderwijsscores die zouden zijn berekend als de opleidingsniveaus niet waren
verwijderd.

Toelichting bij stap (a): om bij het simuleren van nieuwe ontbrekende waarden aan te sluiten bij de werkelijke verdeling van ontbrekende waarden in het Opleidingsniveaubestand wordt de volgende aanpak gevolgd. Bij de moeders worden extra ontbrekende waarden gesimuleerd binnen de personen voor wie het opleidingsniveau (ook) in de EBB is waargenomen, waarbij de kans om te ontbreken per record evenredig is met het gewicht van de moeder uit het Opleidingsniveaubestand. Het achterliggende idee is dat een record met gewicht = w in feite w moeders in de echte populatie representeert, die allemaal hadden kunnen ontbreken. De ontbrekende waarden worden gesimuleerd door eerst een pseudopopulatie te genereren met van elk beschikbaar record w kopieën (afgerond op het dichtstbijzijnde gehele getal) en daaruit een enkelvoudig aselecte steekproef van 5% te trekken. Van alle moeders van wie minimaal één kopie is getrokken in de steekproef wordt het opleidingsniveau ontbrekend gemaakt. Bij de vaders werkt dit analoog. Gemakshalve worden de ontbrekende waarden bij moeders en vaders onafhankelijk van elkaar gesimuleerd.

NB: bij de ontwikkeling van het imputatiemodel voor de oorspronkelijke indicator is een soortgelijke aanpak gevolgd (CBS, 2016), alleen kon daar gebruik worden gemaakt van data uit het COOL-onderzoek, waarin het opleidingsniveau van beide ouders altijd was waargenomen (zij het volgens een andere indeling dan in het Opleidingsniveaubestand). Een simulatiestudie kon daarom worden gedaan door ontbrekende waarden aan te brengen in de COOL-data voor precies die ouders van wie het opleidingsniveau ontbrak in het Opleidingsniveaubestand. Dit leidde vanzelf tot een realistisch patroon van ontbrekende waarden.

We berekenen de volgende evaluatiematen:

1. Per simulatieronde en model berekenen we de gemiddelde geïmputeerde verdeling van opleidingsniveau bij de ouders met verwijderde opleidingsniveaus en vergelijken deze met de werkelijke verdeling voor deze ouders. Per model berekenen we het gemiddelde en de standaarddeviatie van de afwijking tussen de twee verdelingen (over simulatieronden heen) en zetten deze uit in een plot.
2. Verder berekenen we per simulatieronde en model de gerealiseerde fractie imputaties die exact gelijk zijn aan de juiste categorie of daar maximaal één categorie naast zitten (corresponderend met de maten κ₀ en κ₁, maar nu als gesimuleerde fracties in plaats van de theoretische verwachting). Per model berekenen we het gemiddelde en de standaardfout van deze gemiddelde fracties (over simulatieronden heen). Ook kijken we naar het verschil tussen deze fracties voor elk model ten opzichte van het huidige imputatiemodel, en naar de verschillen tussen opeenvolgende modellen qua complexiteit.
3. Van de berekende onderwijsscores gebaseerd op de imputaties maken we per model een plot van de verdeling van de gevonden afwijkingen ten opzichte van de scores waarbij opleidingsniveau niet is geïmputeerd.

Bij het berekenen van deze maten maken we onderscheid tussen deelpopulaties waarbij alleen de vader, alleen de moeder, of beide ouders geïmputeerde opleidingsniveaus hebben. Verder bekijken we de maten bij onderdeel 1 ook voor deelpopulaties van kinderen van verschillende leeftijden.

Het imputatiemodel dat gemiddeld de kleinste afwijkingen geeft t.o.v. de situatie zonder verwijderde waarden heeft de voorkeur. Als de resultaten van 1, 2 en 3 niet eenduidig zijn, is een betere prestatie bij 3 in principe belangrijker dan een betere prestatie bij 1 en 2.

Validatiestudie
Voor de validatiestudie maken we gebruik van de verzameling V van ouders voor wie het opleidingsniveau ontbreekt in het bestand van 2021 maar is waargenomen in het bestand van 2022. De aanname hierbij is dat het opleidingsniveau van deze ouders uit het bestand van 2022 een goede proxywaarneming is voor hun opleidingsniveau in 2021.

Dezelfde imputatiemodellen als in de simulatiestudie zijn onderzocht. Voor deze validatiestudie zijn deze modellen toegepast op het bestand van 2021 met de ontbrekende waarden die in werkelijkheid voorkomen in dat bestand. Zoals gebruikelijk worden er J=10 imputaties per persoon gemaakt. Na afloop wordt de kwaliteit van de imputaties geëvalueerd op alleen de deelverzameling V.

Een probleem met deze validatiestudie is dat de deelverzameling V geen representatieve steekproef is uit alle ouders met onbekende opleidingsniveaus in 2021. Uit een verkennende analyse bleek dat dit een selectieve groep ouders is naar een aantal achtergrondkenmerken en dat bovendien de bestaande ophooggewichten uit het Opleidingsniveaubestand van 2021 niet volledig kunnen corrigeren voor deze selectiviteit. Er is daarom, voor de drie deelpopulaties A, B en C apart, een herweging uitgevoerd via lineair wegen (Bethlehem, 2007). Na deze herweging heeft de deelverzameling V voor zowel moeders als vaders exact dezelfde (gewogen) verdeling als de hele populatie voor de volgende kenmerken:

• opleidingsniveau andere ouder [8] (alleen bij deelpopulaties B en C)
• inkomen ouder [21]
• herkomstgroepering ouder [8]
• type economische activiteit werkgever ouder [12]
• leeftijd ouder [5]

Deze kenmerken zijn gekozen omdat ze in de stepwise-analyse naar voren kwamen als de kenmerken die het sterkst samenhangen met opleidingsniveau.

We berekenen vergelijkbare evaluatiematen als bij de simulatiestudie:

1. Per model berekenen we de gemiddelde geïmputeerde verdeling van opleidingsniveau bij de ouders in deelverzameling V en vergelijken deze met de werkelijke verdeling voor deze ouders (zoals waargenomen in 2022). Hierbij wordt rekening gehouden met de gewichten na de herweging die hierboven is beschreven. Per model berekenen we het gemiddelde en de standaardfout van de afwijking tussen de twee verdelingen. Voor het bepalen van de standaardfout is er in dit geval, anders dan bij de simulatiestudie, geen herhaalde simulatie beschikbaar. In plaats daarvan berekenen we de variantieschatting \(\widehat{var}\left( {\overline{\widehat{P}}}_{imp,cJ} - {\widehat{P}}_{c} \right)\) die wordt afgeleid in Bijlage 3.
2. Verder berekenen we per model de gerealiseerde fractie imputaties die exact gelijk zijn aan de juiste categorie of daar maximaal één categorie naast zitten.
3. Van de berekende onderwijsscores gebaseerd op de imputaties maken we per model een plot van de verdeling van de gevonden afwijkingen ten opzichte van de scores waarbij opleidingsniveau niet is geïmputeerd.

Bij het berekenen van deze maten maken we wederom onderscheid tussen de subgroepen waarbij alleen de vader, alleen de moeder, of beide ouders een geïmputeerd opleidingsniveau hebben. Ook bekijken we de evaluatiematen bij onderdeel 1 wederom voor deelpopulaties van kinderen van verschillende leeftijden.

3.3 Resultaten

3.3.1 Imputatie hulpvariabelen

De resultaten lieten zien dat het gebruik van donorimputatie bij een grote dataset, met het gebruik van veel achtergrondkenmerken aanloopt tegen geheugenproblemen. Zo moet er bij een methode als KNN voor elke persoon met ontbrekende waarden, een afstandsscore worden berekend tot de andere donoren in het bestand. Dit aantal loopt al snel op bij een grote dataset, waardoor een grote hoeveelheid informatie moet worden opgeslagen in het geheugen. Dit zal ook net zoals bij de predictive mean matching invloed kunnen hebben op de snelheid. Voor de huidige toepassing zijn deze methoden daarom minder geschikt.

De beslisboomtechnieken kunnen sneller werken omdat het maar eenmalig toegepast hoeft te worden op de dataset voor de groep donoren. Hierbij bleek een random forest model de snelste methode. Omdat de random forest methode zowel inhoudelijk past bij ons imputatiedoel (het imputeren van categorische en continue variabelen) en de snelste is binnen mice, zijn we verder gegaan met dit model voor de imputatie van de achtergrondkenmerken.

De snelheid van de methoden zijn eerst getest op een willekeurige steekproef van 100.000 uit de populatie bij de moeders en vaders. De volgende stap was het toepassen van het random forest model met mice op de gehele populatie voor de moeders en vaders. De huidige imputatie met mice bestond uit tien iteraties. We hebben daarbij ook getest of tien iteraties noodzakelijk is voor de random forest of dat minder interaties ook volstaat.

Om de imputatie voor burgerlijke staat, persoonlijk inkomen en de sociaal-economische categorie met de nieuwe methode te beoordelen, maken we twee vergelijkingen:

• We bekijken de stabiliteit van de uitkomsten door telkens per ouder twee datasets te imputeren. Per kenmerk, zoals burgerlijke staat, bekijken we dan per geïmputeerde categorie, hoe deze verdeeld is in de imputaties voor de twee datasets. Op basis van het percentage wat overlapt over de twee imputatieronden, kunnen we dan de stabiliteit beoordelen. Daarnaast kunnen we zien of de categorieën die verschillen, ook inhoudelijk aan elkaar verwant zijn, of overduidelijk verkeerd zijn. Hoe hoger het percentage overlap, hoe stabieler de imputatie is. Voor het persoonlijk inkomen hebben we de imputatie ingedeeld in categorieën om eenzelfde vergelijking te kunnen maken.
• We bekijken de verschillen tussen de oude methode (mice – pmm) en de nieuwe methode (mice – rf). Dit doen we door de frequentieverdeling van de kenmerken te vergelijken voor en na imputatie. Op persoonsniveau kan de imputatie wel variëren, maar op geaggregeerd niveau zou je verwachten dat de totale verdeling over de categorieën ongeveer gelijk blijft. Daarnaast bekijken we het verschil in de frequentieverdeling voor de oude en nieuwe methode. Hierin wil je vooral een methode die het dichtst bij de verdeling in de originele data blijft. Maar je wilt ook dat de methoden onderling niet sterk afwijken, wat zou aanduiden dat de imputaties niet stabiel zijn over verschillende methoden heen. Ook maken we een vergelijking van de verdeling over de geïmputeerde categorieën tussen de oude en nieuwe methoden, om de stabiliteit te beoordelen.

De resultaten lieten zien dat de random forest methode aanzienlijk sneller is op de totale populatie dan de oude methode. Daarnaast zien we dat de frequentieverdeling stabiel blijft voor de imputatie met zowel één als tien iteraties als over twee imputatieronden heen.

Na de keuze voor het nieuwe model, hebben we het model uitgebreid door extra achtergrondkenmerken toe te voegen aan de imputatie. We bekijken daarbij eerst of we de achtergrondkenmerken van de andere ouder mee kunnen nemen. Omdat de andere ouder niet altijd bekend is, geven we het model ook een kenmerk mee wat aangeeft of de andere ouder wel of niet in de BRP zit. Op deze manier geven we toch extra informatie mee over de groep die wel bekend is en niet bekend is. De kenmerken van die andere ouder die niet bekend is, zullen dan ook ontbreken. In dat geval zal mice ook die ontbrekende waarden imputeren. Omdat de kenmerken voor een groot deel van de andere ouders wel bekend zijn, zal dit toch voldoende informatie kunnen toevoegen om een bijdrage te leveren aan het imputatiemodel.

De resultaten worden weer vergeleken op de stabiliteit en met de methode waarbij alleen de kenmerken van de ouder zelf worden meegenomen. Hierin zien we een verbetering van het percentage overlap. Daarnaast zijn de categorieën die niet overlappen nu vaker inhoudelijk aan elkaar verwant dan voorheen.

Tot slot hebben we ook nog onderzocht of we het imputatiemodel nog kunnen uitbreiden met het opleidingsniveau van de ouder en/of andere ouder. In de gevallen dat we deze informatie wel hebben, kan dit ook weer een toegevoegde bijdrage leveren aan het imputatiemodel. De ontbrekende waarden zullen ook automatisch geïmputeerd worden door mice. Ook deze resultaten lieten zien dat de stabiliteit verbeterde na het toevoegen van het opleidingsniveau.

Voor de variabele burgerlijke staat van de moeder hebben we het totale effect geïllustreerd in de figuren 3.3.1. (huidige situatie) en 3.3.2 (implementatie alle beschreven wijzigingen). In de huidige situatie wordt in 2 opvolgende imputaties ongeveer 43 procent dezelfde waarde geïmputeerd. Na het toepassen van alle verbeteringen stijgt dit tot 67 procent. Voor de variabele burgerlijke staat was de verbetering van de stabiliteit het sterkst. Bij de overige variabelen was de verbetering minder sterk. Bij geen van de variabelen trad een verslechtering op.

3.3.2 Regressiemethodiek opleidingsniveau

Beide imputatiemodellen (multinomiale en continuation-ratio logistische regressie) zijn toegepast op hetzelfde bestand, namelijk het bestand waarmee de indicator voor 2022 is geproduceerd. Er is gekeken naar de volgende uitkomstmaten:

a. gemiddelde en standaarddeviatie (over 10 imputatieronden) van de verdeling van
opleidingsniveau vader of moeder na imputatie;
b. verdeling van onderwijsscores berekend op basis van geïmputeerde data;
c. verdeling verschillen tussen onderwijsscores berekend op basis van geïmputeerde data
met verschillende methoden:
– correlatie;
– heatmap van verschillen tussen scores (naar beneden afgerond op geheel getal);
– staafdiagram van grootte van verschillen tussen scores.

De uitkomstmaten bij (b) en (c) zijn zowel berekend op alle data als op alleen de data van kinderen bij wie het opleidingsniveau van ten minste één ouder wordt geïmputeerd. Verder is, ter vergelijking, de huidige methode (op basis van continuation-ratio logistische regressie) twee keer onafhankelijk toegepast.
Bij alle uitkomstmaten was de conclusie steeds dat de verschillen die we zien tussen de twee verschillende modellen van een vergelijkbare omvang zijn als die bij herhaalde toepassing van het huidige model. Dat wil zeggen: veranderen van imputatiemethode leidt tot verschillen in de geïmputeerde waarden die niet groter zijn dan wat men zou zien als de huidige imputatiemethode twee keer onafhankelijk wordt uitgevoerd. In dit opzicht zou het overstappen op multinomiale logistische regressie een kleine impact hebben op de resultaten: de verschillen vallen binnen de ‘normale imputatieruis’ van de bestaande methode.

Verder was te zien dat de verdelingen na imputatie bij multinomiale logistische regressie niet systematisch afwijken van de verdeling bij continuation-ratio logistische regressie. Met name bij de moeders was te zien dat de relatief grootste afwijkingen voorkomen bij de hoogste opleidingsniveaus. Vanwege de manier waarop het continuation-ratio-model geschat wordt, is het aannemelijk dat de imputaties voor hogere opleidingsniveaus bij dit model minder nauwkeurig zijn dan de imputaties voor lagere opleidingsniveaus. Dat de verschillen tussen de methoden relatief groot waren bij de hoogste opleidingsniveaus is plausibel in het licht van deze aanname. Dit zou bovendien een aanwijzing kunnen zijn dat de imputaties bij multinomiale logistische regressie voor de hoogste opleidingsniveaus nauwkeuriger zijn dan bij de huidige methode.

3.3.3 Imputatie opleidingsniveau

Selectie van achtergrondkenmerken
Deze analyse is eenmaal uitgevoerd voor alle vaders of moeders met bekende opleidingsniveaus en eenmaal voor alleen de ouderparen met beide opleidingsniveaus bekend. Het kenmerk ‘opleidingsniveau andere ouder’ is alleen meegenomen bij deze tweede groep. Deze tweede analyse is relevant voor het imputeren van onbekende waarden als het opleidingsniveau van de andere ouder beschikbaar is, de eerste analyse is relevant voor het imputeren als beide opleidingsniveaus onbekend zijn. De uiteindelijk gekozen imputatiemodellen mogen voor beide situaties verschillen.

Tabel 3.3.3 en 3.3.4 tonen de uitkomsten van de analyses voor de eerste groep, tabel 3.3.5 en 3.3.6 voor de tweede groep. Kenmerken/indelingen die gemarkeerd zijn, zijn behouden voor het vervolg (de stepwise-analyse). De niet-gekozen indelingen leidden niet tot een duidelijke verbetering ten opzichte van de gekozen indelingen. Het enige kenmerk dat in deze fase geheel is afgevallen is de leeftijd van het kind, aangezien dit kenmerk geen meerwaarde bleek te hebben boven de leeftijd van de ouder zelf.

Vervolgens is, voor moeder en vader apart, een forward stepwise-analyse uitgevoerd, wederom op basis van alleen de ouders met bekende opleidingsniveaus, met de geselecteerde kenmerken (een S in de kolom ‘selectie’) uit tabel 3.3.3 tot en met 3.3.6 als mogelijke hulpvariabelen om uit te kiezen. Tijdens deze analyse worden multinomiale logistische regressiemodellen geschat. In elke ronde wordt steeds het kenmerk toegevoegd dat leidt tot de grootste verbetering van de AIC-waarde, totdat er geen verbetering in AIC-waarde meer optreedt. Om de rekentijd te beperken zijn in deze analyse alleen de ouders meegenomen voor wie het opleidingsniveau in de EBB is waargenomen, terwijl bij het schatten van de modellen rekening is gehouden met de ophooggewichten uit het Opleidingsniveaubestand.

Ook deze analyse is tweemaal uitgevoerd: eenmaal voor alle vaders of moeders met bekende opleidingsniveaus en eenmaal voor alleen de ouderparen met beide opleidingsniveaus bekend, waarbij voor die laatste groep ook het kenmerk ‘opleidingsniveau andere ouder’ is meegenomen. Tabel 3.3.7 en 3.3.8 tonen de uitkomsten voor de eerste groep, tabel 3.3.9 en 3.3.10 voor de tweede groep.

De resultaten in tabellen 3.3.9 en 3.3.10 bevestigen dat het opleidingsniveau van de andere ouder, indien beschikbaar, het beste kenmerk is om opleidingsniveau te modelleren (zoals was aangenomen in de huidige imputatiemethode). Het inkomen van de ouder zelf is het kenmerk dat daarna de meeste voorspelkracht heeft.

Op basis van de uitkomsten van de stepwise-analyses is besloten om de volgende modellen te testen in een verdere simulatie- en validatiestudie. Per deelpopulatie worden hieronder het kleinste en grootste model weergegeven dat is getest. Alle tussenliggende modellen waarbij steeds één extra term wordt toegevoegd, in de volgorde uit de stepwise-analyse, zijn ook getest.

• Deelpopulatie C (moeders):
• KLEINSTE MODEL:
  opleidingsniveau vader [8] × (inkomen moeder [21])
• GROOTSTE MODEL:
  opleidingsniveau moeder [8] × (inkomen vader [21] + type economische activiteit werkgever vader [12] + herkomstgroepering vader [8] + leeftijd vader [5] + sociaaleconomische categorie vader [13] + stedelijkheidsgraad buurt [6] + welvaart huishouden [21] + deeltijdfactor werk vader [11] + burgerlijke staat vader [4] + deeltijdfactor werk vader [5])
• Deelpopulatie B (vaders):
• KLEINSTE MODEL:
  opleidingsniveau moeder [8] × (inkomen vader [21])
• GROOTSTE MODEL:
  opleidingsniveau moeder [8] × (inkomen vader [21] + type economische activiteit werkgever vader [12] + herkomstgroepering vader [8] + leeftijd vader [5] + sociaaleconomische categorie vader [13] + stedelijkheidsgraad buurt [6] + welvaart huishouden [21] + deeltijdfactor werk vader [11] + burgerlijke staat vader [4] + deeltijdfactor werk vader [5])
• Deelpopulatie A (moeders):
• KLEINSTE MODEL:
  inkomen moeder [21] × (herkomstgroepering moeder [8])
• GROOTSTE MODEL:
  inkomen moeder [21] × (herkomstgroepering moeder [8] + type economische activiteit werkgever moeder [12] + welvaart huishouden [21] + leeftijd moeder [5] + sociaaleconomische categorie moeder [13] + deeltijdfactor werk moeder [11] + stedelijkheidsgraad buurt [6] + burgerlijke staat moeder [4] + deeltijdfactor werk moeder [5])
• Deelpopulatie A (vaders):
  dezelfde modellen als bij deelpopulatie B

Simulatiestudie
De figuren 3.3.11 en 3.3.12 tonen het verschil tussen de geïmputeerde verdeling en echte verdeling van het opleidingsniveau van de moeder. In de kolommen is onderscheid gemaakt tussen de situatie waarbij alleen opleidingsniveau van de moeder wordt geïmputeerd (3.3.11) en waarbij opleidingsniveau van beide ouders wordt geïmputeerd (3.3.12). Elk punt vertegenwoordigt een imputatiemodel, waarbij model 1 het meest eenvoudige model is en model 10 het meest uitgebreide model. De foutenbalk rond een punt is gebaseerd op de spreiding over de simulatieronden heen. Dat de spreiding groter is bij de groep met beide opleidingsniveaus onbekend komt vooral doordat de steekproefomvang bij deze groep relatief klein is, vanwege de manier waarop de aanvullende ontbrekende waarden zijn gesimuleerd.

De geschatte verdelingen op basis van de verschillende imputatiemodellen liggen niet ver uit elkaar. Specifiek voor de uitsplitsing naar leeftijd van het kind is een duidelijke verbetering te zien op het moment dat de leeftijd van de moeder wordt opgenomen in het model (model 4 versus model 3). Daarna blijven de uitkomsten redelijk stabiel. De figuren 3.3.13 en 3.3.14 tonen vergelijkbare uitkomsten voor het imputeren van het opleidingsniveau van de vader.

Tabel 3.3.15 tot en met 3.3.18 tonen uitkomsten met betrekking tot de gerealiseerde fractie imputaties die exact gelijk zijn aan de juiste categorie of daar maximaal één categorie naast zitten (κ₀ en κ₁). Tabel 3.3.15 gaat over de maat κ₀ voor imputaties bij moeders. De derde kolom toont de gemiddelde waarde van κ₀ over simulatieronden heen. De vierde kolom toont het verschil tussen de gemiddelde κ₀ bij een bepaald model en het huidige model; de zesde kolom toont het verschil tussen de gemiddelde κ₀ bij een bepaald model en het direct voorafgaande model qua complexiteit. In de kolommen vijf en zeven zijn waarden met een ‘S’gemarkeerd als zij positief zijn en minimaal twee keer zo groot als de bijbehorende standaardfout over simulatieronden heen. Dat wil zeggen: een gemakeerde waarde in de vierde of zesde kolom geeft aan dat een bepaald model een significante verbetering geeft ten opzichte van het huidige model of het voorafgaande model qua complexiteit. De tabellen 3.3.16, 3.3.17 en 3.3.18 zijn op dezelfde manier opgebouwd. Te zien is dat alle voldoende complexe modellen een significante verbetering in κ₀ en κ₁ laten zien ten opzichte van het huidige model, zowel bij moeders als bij vaders. De meest complexe modellen geven echter geen significante verbetering meer ten opzichte van de voorafgaande, iets minder complexe modellen.

Afgaand op dit laatste criterium lijkt bij moeders model 7 een goed compromis te zijn tussen complexiteit van het model en nauwkeurigheid van de imputaties als het opleidingsniveau van beide ouders onbekend is. Als het opleidingsniveau van de vader wel bekend is scoren model 8 en 9 nog iets beter met betrekking tot maat κ₀ (wel significant) en maat κ₁ (niet significant). Bij vaders zijn de resultaten minder eenduidig. Hier lijkt model 8 een redelijk compromis als het opleidingsniveau van de moeder wel bekend is. Als het opleidingsniveau van de moeder niet bekend is, treedt nog wel een duidelijke verbetering op tot en met model 7, al is deze verbetering niet altijd statistisch significant.

Tabel 3.3.19 toont per model en per deelpopulatie de vertekening en de wortel van de gemiddelde kwadratische afwijking (RMSE) van de onderwijsscores op basis van geïmputeerde opleidingsniveaus. Hierbij is de vertekening gedefinieerd als het gemiddelde verschil tussen de scores op basis van imputaties en op basis van echte waarden, en de RMSE als de standaarddeviatie van dit verschil tussen scores. Een imputatiemodel werkt beter naarmate de vertekening en RMSE dichter bij 0 liggen. Te zien is dat voor alle drie de deelpopulaties de meest complexe modellen leidden tot de kleinste (absolute) vertekening en ook de kleinste RMSE. De uitkomsten voor modellen 7 t/m 10 liggen steeds dicht bij elkaar.

Validatiestudie
Figuren 3.3.20 tot en met 3.3.23 tonen de verschillen tussen de geschatte verdeling van opleidingsniveau voor moeders en vaders op basis van de geïmputeerde waarden en de waargenomen waarden uit 2022 (als proxy voor de echte waarden in 2021). De opbouw van deze figuren is hetzelfde als bij de figuren 3.3.11 tot en met 3.3.14, alleen is de foutenbalk nu gebaseerd op de variantiebenadering uit Bijlage 3.

In vergelijking met de simulatiestudie zijn nu iets grotere afwijkingen te zien. Net als in de simulatiestudie, zijn de uitkomsten van de verschillende imputatiemodellen redelijk vergelijkbaar, in elk geval vanaf het moment dat de leeftijd van de ouder is opgenomen in het model (model 4).

Tabel 3.3.24 en 3.3.25 laten uitkomsten zien over κ₀ en κ₁, de gerealiseerde fractie imputaties die exact gelijk zijn aan de juiste categorie of daar maximaal één categorie naast zitten, voor moeders (tabel 3.3.24) en vaders (tabel 3.3.25). Bij de meest complexe modellen is een kleine verbetering in κ₀ en κ₁ te zien ten opzichte van het huidige imputatiemodel. De verschillen tussen de meest complexe modellen onderling zijn echter klein en het meest complexe model scoort niet per se het beste. De ‘beste’ modellen die bij de resultaten van de simulatiestudie zijn voorgesteld als compromis lijken ook op basis van de resultaten in de tabellen 3.3.24 en 3.3.25 een redelijke keuze.

Tabel 3.3.26 toont de vertekening en RMSE, op dezelfde manier als eerder in tabel 3.3.19. Ook hier zijn de conclusies hetzelfde als bij de simulatiestudie. De uitkomsten voor modellen 7 t/m 10 liggen steeds dicht bij elkaar.

3.4 Conclusies

Imputatie hulpvariabelen

Voor de imputatie van de achtergrondkenmerken, die uiteindelijk gebruikt zullen worden voor de imputatie van het opleidingsniveau, stellen we een nieuwe methode voor. Ten eerste zullen we de methode versnellen en beter passend maken bij de kenmerken door een random forest model te gebruiken met het mice package. Ten tweede breiden we de kenmerken uit door ook de kenmerken van de andere ouder mee te nemen. Tot slot voegen we ook nog kenmerken toe met betrekking tot het opleidingsniveau van de ouders waar deze wel bekend is. De aanpassingen laten zien dat de imputaties stabieler worden en in totaal een frequentieverdeling hebben voor de kenmerken die aansluit bij de originele dataset met ontbrekende waarden.

Regressiemethodiek opleidingsniveau

De uitkomsten van de analyse hebben laten zien dat de verschillen vallen binnen de ‘normale imputatieruis’ van de bestaande methode. Omdat bij multinomiale logistische regressie minder maatwerk nodig is in de programmatuur en meer gebruik kan worden gemaakt van standaard beschikbare programmatuur is het aan te bevelen om in de toekomst multinomiale logistische regressie te gebruiken voor het imputeren van opleidingsniveaus voor gebruik bij de risico-indicator onderwijsachterstanden.

Imputatie opleidingsniveau

Afgaand op de simulatiestudie en validatiestudie lijken de imputatiemodellen 7 t/m 10 voor moeders en vaders de beste resultaten te geven, waarbij de resultaten voor deze modellen onderling van vergelijkbare kwaliteit zijn. Met name op basis van de conclusies die zijn getrokken uit tabellen 3.3.15 t/m 3.3.18 stellen we voor om de volgende modellen te kiezen:

• Deelpopulatie C (moeders) – model 9:
  opleidingsniveau vader [8] × (inkomen moeder [21] + herkomstgroepering moeder [8] + type economische activiteit werkgever moeder [12] + leeftijd moeder [5] + welvaart huishouden [21] + deeltijdfactor werk moeder [11] + sociaaleconomische categorie moeder [13] + stedelijkheidsgraad buurt [6] + burgerlijke staat moeder [4])
• Deelpopulatie B (vaders) – model 8:
  opleidingsniveau moeder [8] × (inkomen vader [21] + type economische activiteit werkgever vader [12] + herkomstgroepering vader [8] + leeftijd vader [5] + sociaaleconomische categorie vader [13] + stedelijkheidsgraad buurt [6] + welvaart huishouden [21] + deeltijdfactor werk vader [11])
• Deelpopulatie A (moeders) – model 7:
  inkomen moeder [21] × (herkomstgroepering moeder [8] + type economische activiteit werkgever moeder [12] + welvaart huishouden [21] + leeftijd moeder [5] + sociaaleconomische categorie moeder [13] + deeltijdfactor werk moeder [11] + stedelijkheidsgraad buurt [6])
• Deelpopulatie A (vaders):
  hetzelfde model als bij deelpopulatie B

(NB: voor vaders in deelpopulatie A is het eerder geïmputeerde opleidingsniveau van de moeder beschikbaar als kenmerk voor het imputatiemodel. Daarom kan voor de vaders in deelpopulatie A hetzelfde imputatiemodel worden gebruikt als in deelpopulatie B).

4.1 Inleiding

Binnen de systematiek van de huidige risico-indicator onderwijsachterstanden kan voor een klein deel van de kinderen geen risico op onderwijsachterstand worden berekend omdat er belangrijke achtergrondgegevens ontbreken. Meestal gaat dit om kinderen van wie we niet beschikken over informatie van één of beide ouders (ongeveer 5 procent van alle peuters van 2,5 tot 4 jaar en alle basisschoolleerlingen). Uit de plausibiliteitsanalyses van de achterstandsscores voor scholen en gemeenten die het CBS jaarlijks publiceert blijkt dat de (geïmputeerde) onderwijsscores van deze leerlingen jaar-op-jaar sterk kunnen fluctueren. Dit kan leiden tot sterke fluctuaties van de achterstandsscores (en dus het toegekende budget) van scholen waarbij voor een groot aandeel van de leerlingen de onderwijsscore wordt geïmputeerd. Het verbeteren van de imputatiemethode van onderwijsscores kan leiden tot kleinere verschillen in onderwijsscores jaar-op-jaar en mogelijk een stabielere toekenning van de verdeling van het onderwijsachterstandenbudget. Voor de herijking van het imputatiemodel onderzoeken we welke additionele achtergrondkenmerken kunnen worden meegenomen om onderwijsscores preciezer te kunnen schatten. Daarnaast onderzoeken we of de imputatiemethode verbeterd kan worden door het model op te splitsen naar subgroepen en te kijken naar verschillende voorspelmethodes om te zorgen voor meer stabiliteit in geïmputeerde scores op individueel niveau, schoolniveau en gemeenteniveau over de tijd.

4.2 Data en methoden

In dit onderzoek maken we gebruik van de data van de risico-indicator onderwijsachterstanden basisonderwijs. Dit bestand bevat de gegevens van alle kinderen van 2,5 tot 4 jaar en basisschoolleerlingen op 1 februari in de jaren 2022 en 2023. Omdat er voor een klein deel van de kinderen geen risico op onderwijsachterstand kan worden berekend, wordt de onderwijsscore geïmputeerd. Welke imputatiemethode wordt gebruikt is afhankelijk van welke informatie er wél beschikbaar is:

• Een kind staat wel ingeschreven in de BRP, maar één of beide ouders niet.
• Een kind staat niet ingeschreven in de BRP.
• Een kind staat geregistreerd als asielzoeker en/of heeft een verblijfsvergunning gekregen.

Voor het verbeteren van de imputatie van onderwijsscores richtten we ons op de grootste groep van de kinderen waarvoor geïmputeerd moet worden: de kinderen die zelf wel staan ingeschreven in de BRP maar van wie één of beide ouders niet bekend zijn in de registers van het CBS.

Met behulp van predictive mean matching wordt er voor deze kinderen een onderwijsscore geïmputeerd. Dit imputatieproces bestaat uit 3 stappen. In de eerste stap wordt er op basis van een groep kinderen voor wie de onderwijsscore direct is bepaald (de donorgroep) een voorspelmodel geschat om onderwijsscores te kunnen voorspellen. In de tweede stap wordt dit voorspelmodel gebruikt om een onderwijsscore te schatten voor zowel de kinderen van wie geen onderwijsscore kon worden berekend (de te imputeren groep) als voor de kinderen uit de donorgroep. In de laatste stap wordt er voor de kinderen uit de te imputeren groep een donor geselecteerd van wie de voorspelde score dichtbij de voorspelde score van te imputeren score ligt. Vervolgens wordt dan de daadwerkelijke score van de donor overgenomen voor het kind uit de te imputeren groep. De uiteindelijke selectie van de donor is iets ingewikkelder en vindt tevens plaats in verschillende stappen; een uitgebreide beschrijving van de imputatiemethode is te vinden in het vierde methodologische rapport van de vorige herijking.

Om de huidige imputatiemethode van onderwijsscores te verbeteren richtten we ons in dit onderzoek op het optimaliseren van het voorspelmodel. De verbetering van het imputatiemodel delen we op in verschillende stappen, zoals weergegeven in figuur 4.2.1.

4.2.1 Stappen in analyse

Gedurende deze stappen willen we de volgende onderzoeksvragen beantwoorden:

• Hoe kunnen we het huidige imputatiemodel opsplitsen naar imputatiecategorie om zo de voorspelling van onderwijsscores te optimaliseren (stap 1)?
• Welke (combinatie van) achtergrondkenmerken kan het best worden gebruikt om met een lineair-regressiemodel de onderwijsscore te schatten (stap 2)?
• In hoeverre resulteert de aangepaste imputatiemethode in meer stabiliteit in onderwijsscores (individueel niveau) en achterstandsscores (schoolniveau en gemeenteniveau) ten opzichte van de huidige imputatiemethode (stap 3)?

Het imputatiemodel schatten we op een subset van de data met peildatum 1 februari 2023 (schooljaar 2022/’23) waarin enkel kinderen voorkomen van wie de onderwijsscore direct is bepaald en het opleidingsniveau van tenminste één van de ouders bekend is. Om de variabele selectie te valideren worden daarnaast de data met peildatum 1 februari 2022 (schooljaar 2021/’22) gebruikt.

Stap 1: Differentiëren imputatiemodel

De eerste stap betreft een meer gedifferentieerde aanpak van de imputatie van onderwijsscores met predictive mean matching. Het huidige voorspelmodel is uniform voor de drie te imputeren categorieën (vader onbekend, moeder onbekend, of beide ouders onbekend). Dit betekent dat een beperkt aantal achtergrondkenmerken kan worden gebruikt om de onderwijsscores te voorspellen, waardoor niet alle relevante informatie kan worden benut voor elke categorie. Deze aanpak kan resulteren in suboptimale voorspellingen van onderwijsscores, omdat het model gedwongen wordt om dezelfde set variabelen te gebruiken voor de drie categorieën, zelfs wanneer er mogelijk meer informatie beschikbaar is. We zouden bijvoorbeeld in de groep waarbij informatie van de moeder ontbreekt gegevens van de vader kunnen gebruiken om onderwijsscores beter te voorspellen. Het opsplitsen van het voorspelmodel voor de drie imputatiecategorieën en het aanpassen van de voorspellende variabelen aan de specifieke imputatiecategorie kan leiden tot meer accurate voorspellingen.

Door het voorspelmodel op te splitsen in drie verschillende modellen, kan er in stap 2 worden gekeken welke achtergrondkenmerken het best meegenomen kunnen worden voor de drie verschillende imputatiecategorieën.

Stap 2: Stepwise regressieanalyse

Om onderwijsscores zo nauwkeurig mogelijk te kunnen schatten wordt er onderzocht welke achtergrondkenmerken van het kind en de ouders het best kunnen worden toegevoegd aan het voorspelmodel. Hierbij wordt in eerste instantie enkel gekeken naar variabelen die al aanwezig zijn in de onderzoeksbestanden van de risico-indicator onderwijsachterstanden. Het huidige voorspelmodel bestaat uit de volgende achtergrondkenmerken:

• Herkomst van het kind;
• Verblijfsduur van moeder (wanneer bekend);
• Huishoudinkomen (inkomen vader + moeder opgeteld, wanneer bekend);
• Ouders wel/niet in schuldhulpverlening;
• Nederlands onderwijs anderstaligen (NOAT).

Dit model willen we iets aanpassen en uitbreiden met een aantal achtergrondkenmerken van het kind en van de ouders (wanneer bekend én beschikbaar in de onderzoeksbestanden). Het NOAT kenmerk wordt niet meer meegenomen omdat dit kenmerk in de nabije toekomst niet meer beschikbaar is.

Kindkenmerken
De achtergrondkenmerken van het kind zijn bekend voor alle kinderen die staan ingeschreven in de BRP en kunnen dus voor alle drie de imputatiecategorieën worden toegevoegd aan het voorspelmodel. De volgende achtergrondkenmerken zullen worden toegevoegd aan de stepwise regressieanalyse: 

• Leeftijd kind;
• Leeftijd waarop het kind naar Nederland kwam (leeftijd van het kind minus de verblijfsduur van het kind);
• Stedelijkheid van de buurt waarin het kind woont.

Ouderkenmerken
Voor de twee imputatiecategorieën waarvan tenminste één van beide ouders bekend is kunnen we een aantal achtergrondkenmerken toevoegen van de andere ouder om de onderwijsscore nauwkeuriger te kunnen schatten. De volgende achtergrondkenmerken zullen worden toegevoegd aan de stepwise regressieanalyse:

• Opleidingsniveau vader/moeder;
• Leeftijd vader/moeder;
• Sociaal-economische categorie vader/moeder;
• Burgerlijke staat vader/moeder;
• Inkomen vader/moeder (hiervoor toetsen we juridisch inkomen opgesplitst in 10 en 20 percentielen);
• Verblijfsduur vader/moeder (hiervoor toetsen we zowel een categorische variabele als een continue variabele).

Wat het inkomen van ouders betreft was het initiële plan om inkomen als continue variabele mee te nemen in het voorspelmodel. Op deze manier zou zoveel mogelijk informatie kunnen worden gebruikt om onderwijsscores van leerlingen te voorspellen. Bij het inspecteren van de verschillende variabelen bleek echter dat er voor juridisch inkomen uitzonderlijke uitschieters aanwezig waren. Omdat dit kan resulteren in een schending van assumpties hebben we besloten om de variabele juridisch inkomen aan te passen naar percentielen om zo uitschieters te voorkomen.

Stepwise regressieanalyse
Door het uitvoeren van een stepwise regressieanalyse kunnen de belangrijkste achtergrondkenmerken worden geselecteerd. Met behulp van een forward search wordt gezocht naar het best passende model voor onze data:

• Start met een leeg regressiemodel (bevat enkel een constante term).
• Het regressiemodel wordt stap voor stap opgebouwd door steeds één kenmerk toe te voegen. Bij elke stap wordt het kenmerk geselecteerd dat leidt tot de grootste verbetering in het Bayesiaanse Informatie Criterium (BIC).
• Dit proces wordt herhaald totdat het toevoegen van extra kenmerken niet langer resulteert in een significante verbetering van de BIC-waarde.

Met behulp van deze methode kunnen we een voorspelmodel ontwikkelen voor de drie imputatiecategorieën waarbij er een goede balans is tussen de complexiteit van het model en de nauwkeurigheid van de voorspellingen van onderwijsscores. De resultaten van de forward search geven een bepaalde volgorde van de achtergrondkenmerken, waarbij de kenmerken die het belangrijkst zijn voor het schatten van de onderwijsscores als eerste worden toegevoegd.

Daarnaast voeren we ter vergelijking ook een backward search uit:

• Start met een volledig regressiemodel (bevat alle achtergrondkenmerken).
• Het regressiemodel wordt stap voor stap afgebouwd door steeds één kenmerk weg te laten. Bij elke stap wordt het kenmerk geselecteerd dat leidt tot de grootste verbetering in het Bayesiaanse Informatie Criterium (BIC).
• Dit proces wordt herhaald totdat het verwijderen van kenmerken niet langer resulteert in een significante verbetering van de BIC-waarde.

Tot slot is er onderzocht of de selectie van de achtergrondkenmerken hetzelfde is bij het uitvoeren van een gecombineerde forward en backward search. Hierbij worden beide methodes achter elkaar uitgevoerd, bij een forward-backward search kunnen de toegevoegde kenmerken later weer worden verwijderd, en bij een backward-forward search juist andersom. De stepwise analyses worden in eerste instantie uitgevoerd op de data met peildatum 1 februari 2023, maar worden herhaald op de data met peildatum 1 februari 2022 om te zien in hoeverre de selectie en volgorde van achtergrondkenmerken overeenkomt voor beide peildata.

Definitief voorspelmodel
In het huidige imputatiemodel wordt er een eenvoudig lineair regressiemodel geschat voor de verwachte onderwijsscore. Een lineair regressiemodel kan worden gebruikt om de relatie tussen twee (of in dit geval meerdere) variabelen te onderzoeken en kwantificeren. Het voordeel van een lineair regressiemodel is dat dit eenvoudig te begrijpen is en de coëfficiënten van de achtergrondkenmerken makkelijk te interpreteren zijn. Daarnaast zijn lineaire modellen snel te trainen en werken ze efficiënt voor grote datasets. Een nadeel is echter dat het model lineaire samenhang tussen variabelen veronderstelt, wat beperkend kan zijn voor de nauwkeurigheid van schattingen voor onderwijsscores als de relatie tussen de achtergrondkenmerken en onderwijsscores in de realiteit complexer blijkt te zijn. Daarom is het van belang dat voor geselecteerde achtergrondkenmerken de lineariteit van het verband met de uitkomstvariabele in het voorspelmodel, de onderwijsscore, beoordeeld wordt.

Daarnaast is het van belang dat er wordt gekeken of sommige achtergrondkenmerken mogelijk sterk aan elkaar gerelateerd zijn (multicollineariteit). Dit kan als gevolg hebben dat de effectgroottes per kenmerk niet goed meetbaar zijn. Om te toetsen of er sprake is van multicollineariteit berekenen we de Variance Inflation Factor (VIF) per kenmerk. Een VIF waarde hoger dan 5 wordt vaak als problematisch gezien. Ten slotte toetsen we ook nog de normaliteit en heteroscedasticiteit van de 3 voorspelmodellen.

Stap 3: Evaluatie van nieuwe imputatiemethode

Om de werking van de nieuwe imputatiemethode ten opzichte van de huidige methode te kunnen toetsen zal er worden gekeken of de nieuwe methode zorgt voor meer stabiliteit in geïmputeerde scores over de tijd. Deze toetsing zal plaatsvinden op drie niveaus, namelijk op individueel-, school-, en gemeenteniveau.

Op individueel niveau zullen de verschillen in onderwijsscores van 2023 ten opzichte van 2022 vergeleken worden voor de huidige en de nieuwe imputatiemethode. Er wordt dan gekeken naar de leerlingen van wie de onderwijsscore direct is geïmputeerd omdat A) moeder onbekend is, B) vader onbekend is, en C) beide ouders onbekend zijn. De verwachting is dat door het uitbreiden van het voorspelmodel met name voor groep A en B de onderwijsscores preciezer worden voorspeld en daardoor stabieler over de jaren heen.

Omdat het CBS gebruik maakt van registerdata is het bijvoorbeeld mogelijk dat informatie over de vader van leerling A in 2022 ontbreekt, terwijl in 2023 de vader van leerling A wel staat geregistreerd. Dat betekent dat de onderwijsscore van leerling A in 2022 moest worden geïmputeerd, terwijl in 2023 de onderwijsscore wel berekend kon worden. Van het totaal aantal leerlingen (N = 146979) uit de drie imputatiecategorieën is 33,5% gewisseld tussen de jaren 2022 en 2023. Dit gaat over een wisseling binnen de drie imputatiecategorieën (bijvoorbeeld van beide ouders onbekend naar vader onbekend), of een wisseling van wel of geen imputatie van onderwijsscore. Voor een correcte vergelijking van de huidige en nieuwe imputatiemethodes van onderwijsscores op individueel niveau is het belangrijk om enkel te kijken naar leerlingen die in 2022 en 2023 niet gewisseld zijn van imputatiecategorie (N = 97694).

In lijn met de individuele scores verwachten we ook voor de geaggregeerde achterstandsscores per school meer stabiliteit over de jaren heen. Om dit te onderzoeken zullen de verschillen in achterstandsscores van 2023 ten opzichte van 2022 worden vergeleken voor de huidige en de nieuwe imputatiemethode. Dit wordt gedaan voor alle scholen in Nederland, voor scholen waarvan minstens tien procent van de onderwijsscores direct is geïmputeerd, en scholen waarvan minstens 25 procent van de onderwijsscores direct is geïmputeerd.

Het CBS telt per school de scores op van de leerlingen die landelijk gezien tot de vijftien procent laagst scorende leerlingen behoren: de bruto achterstandsscore. Om versnippering van het budget tegen te gaan wordt er een drempelwaarde in mindering gebracht op deze achterstandsscore: de netto achterstandsscore. Hierdoor ontvangen alleen scholen met een relatief hoge achterstandsscore middelen. De drempelwaarde hangt af van het totaal aantal leerlingen op een school: hoe meer leerlingen, des te hoger de drempelwaarde.

Voor de evaluatie van de imputatiemethode kijken we naar de stabiliteit van achterstandsscores van jaar op jaar. In dat geval is het zinvoller om te kijken naar de verschillen in bruto achterstandsscores, omdat het hanteren van een drempelwaarde deze verschillen licht kan vervormen. Als voorbeeld: school A behaalde in 2022 een bruto achterstandsscore van 850 punten, maar na toepassing van de drempelwaarde werd de netto achterstandsscore 0 vanwege het grote aantal leerlingen. In 2023 steeg de bruto achterstandsscore naar 950 punten. Omdat het aantal leerlingen iets afnam, daalde ook de drempelwaarde, waardoor de netto achterstandsscore voor 2023 op 250 uitkwam. Bij gebruik van de netto achterstandsscore lijkt het verschil tussen de jaren 250 punten te zijn, terwijl het feitelijke verschil in bruto achterstandsscore slechts 150 punten bedraagt.
Echter, voor het ministerie van OCW is het ook informatief om te weten wat de nieuwe imputatiemethode voor gevolgen heeft voor de stabiliteit in uiteindelijke netto-achterstandsscores op basis waarvan de middelen worden verdeeld. Daarom zullen voor de totale populatie scholen in Nederland zowel de bruto als netto achterstandsscores worden vergeleken. Om de meest extreme vertekening van verschilscores van de netto achterstandsscores te beperken worden voor deze analyse enkel scholen meegenomen waarvoor de achterstandsscore in géén van de jaren teruggezet is op 0. In andere woorden, er zijn in deze subset enkel scholen meegenomen die in beide jaren een achterstandsscore boven de drempel hadden en dus middelen ontvingen van het ministerie van OCW. Voor de specifieke subgroepen van scholen waarvan minstens 10% van de onderwijsscores direct is geïmputeerd, en scholen waarvan minstens 25% van de onderwijsscores direct is geïmputeerd zullen enkel de bruto-achterstandsscores worden vergeleken.

De verwachting is dat de spreiding van de verschilscores jaar-op-jaar kleiner zal zijn voor de nieuwe imputatiemethode, en dan met name voor de scholen met veel leerlingen waarvoor de onderwijsscore direct moet worden geïmputeerd. Ten slotte zullen ook de verschillen in bruto en netto achterstandsscores van de gemeenten tussen 2023 en 2022 worden vergeleken. Ook hier wordt meer stabiliteit in achterstandsscores verwacht, wat betekent dat de spreiding van verschilscores voor de nieuwe imputatiemethode kleiner zal zijn dan de huidige imputatiemethode.

4.3 Resultaten

Stap 1: Differentiëren imputatiemodel

Om de onderwijsscores voor de groep kinderen van wie minstens één van beide ouders ontbreekt in de BRP nauwkeuriger te kunnen voorspellen, zoals beschreven in paragraaf 4.1, is het imputatiemodel opgesplitst in drie rondes (voor de drie imputatiecategorieën). De onderwijsscores worden in stappen geïmputeerd: in de eerste ronde voor de kinderen van wie de moeder onbekend is, in de tweede ronde voor de kinderen van wie de vader onbekend is, en in de derde ronde voor de kinderen van wie beide ouders onbekend zijn. Dit betekent dat er drie verschillende voorspelmodellen kunnen worden toegepast, waarbij de meegenomen achtergrondvariabelen afhankelijk zijn van de imputatiecategorie. De achtergrondkenmerken die mogelijk meegenomen kunnen worden zijn weergegeven in tabel 4.3.1. Welke kenmerken daadwerkelijk geselecteerd worden, wordt duidelijk uit de stepwise regressieanalyse. De stepwise regressieanalyse werd uitgevoerd voor model 1 en model 2, waarbij variabelen met achtergrondkenmerken van zowel het kind als de ouders werden geëvalueerd. Voor model 3, waarbij informatie over beide ouders ontbreekt, is geen afzonderlijke analyse uitgevoerd; in plaats daarvan zijn op basis van de resultaten van de stepwise regressieanalyse van model 1 en 2 alleen de beschikbare variabelen (achtergrondkenmerken van het kind) geselecteerd.

Stap 2: Stepwise regressieanalyse

Na de differentiatie van het huidige imputatiemodel in drie voorspelmodellen en de voorselectie van mogelijke kenmerken is er een stepwise regressieanalyse toegepast. Dit is gedaan om de kenmerken te selecteren die samen de beste voorspelmodellen vormen. Voor zowel model 1 (moeder onbekend) als model 2 (vader onbekend) is er een forward en backward search uitgevoerd en een combinatie van beide. Het doel is om een zo compact mogelijk model over te houden met de belangrijkste achtergrondkenmerken. Voor de verschillende methodes (forward, backward, en combinatie van beide) zijn de modelverbeteringen stapsgewijs vergeleken op basis van de BIC-waarde. De drie methodes leverden elk dezelfde selectie van achtergrondkenmerken voor de individuele voorspelmodellen. Voor het presenteren van de resultaten van de stepwise regressieanalyse zijn de modelkenmerken van de forward selectie als uitgangspunt gebruikt.

Voor de lineaire voorspelmodellen was enkel de volgorde van achtergrondkenmerken van belang bij het selecteren van verschillende vormen van dezelfde variabele, namelijk de variabelen inkomen ouder en verblijfsduur ouder. Voor de variabele inkomen ouder hebben we twee opties toegevoegd, namelijk inkomen in 10 en inkomen in 20 percentielen. Voor verblijfsduur van ouder hebben we ook twee verschillende opties onderzocht, namelijk verblijfsduur ouder in jaren en verblijfsduur ouder in drie categorieën (0-5 jaar, 5-10 jaar en meer dan 10 jaar). Wanneer beide opties voor deze variabelen werden geselecteerd door de stepwise procedure werd enkel de eerst geselecteerde optie gekozen voor het definitieve model.

De volgorde van de geselecteerde kenmerken voor model 1 en model 2 is terug te zien in tabel 4.3.2. De stepwise procedure voor model 1 (moeder onbekend) stopte na de selectie van het twaalfde kenmerk, omdat er volgens het model geen extra verklaringskracht werd toegevoegd. De stepwise procedure voor model 2 (vader onbekend) selecteerde alle toegevoegde kenmerken. Voor zowel model 1 als model 2 werd van inkomen ouder de variabele in 20 percentielen als eerste geselecteerd. Met betrekking tot verblijfsduur werd de categorische variabele als eerste gekozen.

Bovenstaande stepwise regressieanalyse is uitgevoerd op data met peildatum 1 februari 2023. Om de stabiliteit van de twee voorspelmodellen te onderzoeken is de forward stepwise procedure tevens toegepast op data van een jaar eerder, namelijk peildatum 1 februari 2022. De selectie en volgorde van de achtergrondkenmerken van model 1 kwamen voor beide jaren exact overeen. Voor model 2 was er een klein verschil, kenmerk 4 en 5 zijn omgedraaid, en de tweede optie van de variabele inkomen ouder (in 10 percentielen) werd niet geselecteerd, zie tabel 4.3.3.

De conclusies van de selectie van achtergrondkenmerken zijn daarom onveranderd en resulteren in de volgende selectie van kenmerken voor model 1 en 2 (waarbij één van de ouders ontbreekt):

• Opleidingsniveau ouder;
• Herkomst kind;
• Ouders wel/niet in schuldsanering;
• Inkomen ouder (in 20 percentielen);
• Verblijfsduur ouder (categorisch);
• Leeftijd ouder;
• Leeftijd kind;
• Sociaal economische categorie ouder;
• Burgerlijke staat ouder;
• Leeftijd kind naar Nederland;
• Verblijfsduur ouder (in jaren);
• Stedelijkheid van de buurt.

Voor model 3, waarbij beide ouders ontbreken, ontbreekt voor een groot aantal van bovenstaande achtergrondkenmerken informatie. Voor dit voorspelmodel blijft een selectie van de volgende achtergrondkenmerken over:

• Herkomst kind;
• Leeftijd kind;
• Leeftijd kind naar Nederland;
• Stedelijkheid van de buurt.

De forward stepwise procedure voegt telkens één achtergrondkenmerk toe aan het voorspelmodel. Bij elke stap wordt het kenmerk geselecteerd dat leidt tot de grootste verbetering in BIC, waarbij een lagere BIC-waarde een betere modelkwaliteit betekent, zie figuur 4.3.4. In de figuur is te zien dat hoe meer kenmerken er worden opgenomen in het model, hoe lager de BIC waarde is en des te beter het voorspelmodel de onderwijsscore van een leerling kan schatten. De BIC neemt voor zowel model 1 als 2 het sterkst af na het toevoegen van het opleidingsniveau van de ouder. Ook na het toevoegen van het tweede achtergrondkenmerk, herkomst van het kind, neemt de BIC nog zichtbaar sterk af. Voor beide modellen geldt dat het toevoegen van het twaalfde kenmerk nog steeds voor een sterke daling zorgt (model 1: -784 en model 2: -378). In model twee wordt inkomen van de moeder (in 10 percentielen) als laatste kenmerk toegevoegd, maar de modelkwaliteit neemt hierbij nog nauwelijks toe (BIC daalt met 43 punten).

Om de betrouwbaarheid van de lineaire regressie voor bovenstaand model te controleren zijn er controles gedaan op een aantal assumpties, waaronder:

• Lineariteit
• Normaliteit
• Heteroscedasticiteit
• Multicollineariteit
• Uitschieters

De assumpties worden gecontroleerd zodat we betrouwbare parameterschattingen krijgen en de resultaten te generaliseren zijn naar de populatie. De assumpties van lineariteit, normaliteit en heteroscedasticiteit zijn visueel gecontroleerd, de multicollineariteit is beoordeeld aan de hand van de Variance Inflation Factor (VIF), en uitschieters zijn visueel geïnspecteerd aan de hand van Cook’s D maat.

In de controles zagen we een schending van de assumpties lineariteit, normaliteit en heteroscedasticiteit, specifiek voor het model waar beide ouders ontbreken. Dit model is beperkter in omvang vanwege minder beschikbare voorspellers door het ontbreken van beide ouders. Dit kan resulteren in meer variatie in de residuen (het verschil tussen de werkelijke en voorspelde score). Omdat we in dit onderzoek met een grote dataset werken en vooral kijken naar de regressiecoëfficiënten en niet direct naar de significantiewaarden van de resultaten, zal de schending van deze assumpties waarschijnlijk niet direct invloed hebben op de interpretatie van de resultaten. Voor de overige twee modellen, waarbij enkel vader of moeder ontbreekt, wees de visuele inspectie niet op een schending van assumpties van lineariteit, normaliteit of heteroscedasticiteit. Ook de controles op multicollineariteit wezen niet op collineariteit in ons voorspelmodel. Doorgaans worden de volgende rule-of-thumb grenswaarden gebruikt: VIF > 20 onbruikbaar, > 10 hoge mate van collineariteit, > 5 enige mate van collineariteit. De VIF-waarden waren voor alle drie de modellen kleiner dan 3. In de subset die gebruik werd voor het schatten van het lineaire voorspelmodel zijn twee records met een onwaarschijnlijk hoge leeftijd (35 en 32 jaar) geëxcludeerd. Deze leeftijden wijzen mogelijk op een registratiefout en zijn om vertekeningen in het voorspelmodel te voorkomen verwijderd voor onze analyses.

Na de selectie van variabelen in de stepwise regressieanalyse en het beoordelen van de assumpties zijn de fitindices van de drie afzonderlijke voorspelmodellen bepaald, zie tabel 4.3.5. De verklaarde variantie (R²) van voorspelmodel 1 en 2 zijn redelijk hoog, waarbij de hogere R² van model 2 (vader ontbreekt) er op lijkt te wijzen dat de achtergrondkenmerken van moeder de variabiliteit iets sterker lijken te voorspellen in model 2 dan de achtergrondkenmerken van vader in model 1. Echter zijn de verschillen tussen deze modellen niet getoetst, waardoor er geen uitspraken gedaan kunnen worden over of deze verschillen daadwerkelijk statistisch significant zijn. Model 3, waarbij informatie over beide ouders ontbreekt, presteert een stuk minder goed dan de modellen waarbij informatie van één van beide ouders wordt gebruikt. Dit is terug te zien in de lagere verklaarde variantie (R²) en hogere gemiddelde standaardfouten (MSE en RMSE). Het gebruik van beschikbare achtergrondkenmerken van ouders zorgt dus voor meer nauwkeurige voorspellingen van onderwijsscores voor de groepen leerlingen waar één van beide ouders ontbreekt.

Stap 3: Evaluatie van nieuwe imputatiemethode

De werking van de nieuwe imputatiemethode ten opzichte van de huidige imputatiemethode is geëvalueerd aan de hand van de stabiliteit van onderwijsscores en achterstandsscores jaar-op-jaar. Verwacht werd dat de nieuwe uitgebreide voorspelmodellen zorgen voor meer stabiliteit in scores over de jaren heen voor zowel individuele onderwijsscores, achterstandsscores van scholen, en achterstandsscores van gemeenten.

Verschillen in individuele onderwijsscores
Zoals besproken in paragraaf 4.1 zijn enkel de onderwijsscores van kinderen vergeleken die in de jaren 2022 en 2023 niet zijn gewisseld van imputatiecategorie. De verdeling van de verschillen in onderwijsscores van 2023 ten opzichte van 2022 berekend aan de hand van zowel de huidige als de nieuwe imputatiemethode is weergegeven met behulp van een dichtheidsplot, zie figuur 4.3.6. Voor de imputatiegroepen vader onbekend en moeder onbekend is te zien dat bij de nieuwe imputatiemethode de verdeling van de dichtheid van verschilscores iets smaller is. Dit impliceert dat de verschilscores bij gebruik van de nieuwe imputatiemethode minder variabiliteit vertonen jaar-op-jaar, wat kan betekenen dat de nieuwe methode voor meer stabiliteit in geïmputeerde onderwijsscores jaar-op-jaar. Bovendien is te zien dat de piek van de verdeling voor de nieuwe methode met name voor de groep vader onbekend, en in iets mindere mate voor de groepen moeder onbekend en beide ouders onbekend, hoger is dan de piek voor de huidige methode. Dit suggereert dat de gemiddelde verschilscore bij de nieuwe methode dichter bij 0 ligt in vergelijking tot de gemiddelde verschilscore van de huidige methode. Kortom, de nieuwe imputatiemethode lijkt met name voor de groepen vader onbekend en moeder onbekend te zorgen voor minder extreme verschillen tussen geïmputeerde scores jaar-op-jaar. Voor de groep beide ouders onbekend lijkt de nieuwe methode niet voor veel meer stabiliteit in scores jaar-op-jaar te zorgen. Dit is niet geheel onverwacht, aangezien dit voorspelmodel het minst is uitgebreid ten opzichte van de voorspelmodellen voor vader/moeder onbekend.

Het uitbreiden van de voorspelmodellen leidt in de groepen waar één van de ouders ontbreekt inderdaad tot een kleinere variantie in verschilscores. In tabel 4.3.7 zijn de eigenschappen van de verdeling van verschillen tussen onderwijsscores van 2023 en 2022 samengevat voor de huidige en nieuwe imputatiemethode. Voor de groepen uit model 1 en 2 zien we dat de nieuwe methode zorgt voor een kleinere range van verschilscores; de minimum en maximum verschilscores liggen namelijk dichter bij elkaar. Ook de standaarddeviatie daalt voor deze twee groepen, voor de groep moeder ontbreekt daalt deze met 1,61 punt, en voor de groep vader ontbreekt met 0.89 punt. Echter, voor de groep waarbij beide ouders ontbreken treedt er geen verbetering op; de minimum en maximum verschilscores liggen zelfs iets verder uit elkaar en de standaarddeviatie stijgt met 0,34 punt.

Verschillen in achterstandsscores van scholen
Om te onderzoeken of de nieuwe methode ook zorgt voor meer stabiliteit in achterstandsscores van scholen over de jaren heen zijn de achterstandsscores van 2023 ten opzichte van 2022 vergeleken voor de huidige en nieuwe imputatiemethode. Dit is gedaan voor alle scholen binnen het primair basisonderwijs (met en zonder toepassing van de drempelwaarde), een subset van scholen waarvan minstens 10% van de onderwijsscores direct is geïmputeerd, en een subset van scholen waarvan minstens 25% van de onderwijsscores direct is geïmputeerd. 
In tabel 4.3.8 zijn de kenmerken van de verschillen in bruto achterstandsscores (zonder drempel) voor scholen van 2023 ten opzichte van 2022 samengevat. Wanneer we de huidige en nieuwe methode vergelijken zien we een verschuiving van de ondergrens en bovengrens waarbij de range in verschilscores iets kleiner is geworden. Voor de nieuwe methode geldt dat de ondergrens van de verschilscores iets extremer werd, wat betekent dat één of meerdere scholen iets sterker dalen in achterstandsscores. Daarentegen werd de bovengrens van de verschilscores minder extreem, wat impliceert dat met gebruik van de nieuwe methode de meest stijgende school (of scholen) minder stegen in achterstandsscores. Het gemiddelde verschil in achterstandsscores is minimaal. De standaarddeviatie van de verschilscores is bij de nieuwe methode iets lager vergeleken met de huidige methode.

Wanneer de netto achterstandsscores voor scholen van 2023 ten opzichte van 2022 worden vergeleken is een vergelijkbaar patroon te zien, zie tabel 4.3.9. Voor deze analyse zijn enkel scholen meegenomen die in beide jaren een achterstandsscore boven de drempel hadden om grote vertekening in verschilscores ten gevolge van het toepassen van drempelwaarde te voorkomen. Het gemiddelde verschil in achterstandsscores stijgt voor deze scholen, maar in vergelijking met de huidige methode is dit wederom een minimale stijging. De standaarddeviatie van de verschilscores is bij de nieuwe methode wederom lager. Wel is te zien dat de ondergrens en bovengrens van de verschillen in netto achterstandsscores iets anders verschuiven dan bij het vergelijken van de verschillen in bruto achterstandsscores. Zowel de ondergrens als de bovengrens van de verschilscores met de nieuwe methode zijn iets extremer geworden ten opzichte van de huidige methode. Over het algemeen kan er geconcludeerd worden dat het toepassen van de nieuwe methode zorgt voor iets minder variatie in netto achterstandsscores voor scholen jaar-op-jaar.

De aanpassingen van de imputatiemethode hebben enkel invloed op de onderwijsscores van leerlingen waarvoor er direct moest worden geïmputeerd, en dan specifiek enkel voor de groep kinderen die zelf wel staan ingeschreven in de BRP maar van wie één of beide ouders niet bekend zijn in de registers van het CBS. Om de huidige en nieuwe imputatiemethode goed te vergelijken zijn daarom de verschillen in achterstandsscores voor scholen waarvan minstens 10% en minstens 25% van de onderwijsscores is geïmputeerd samengevat in tabel 4.3.10 en tabel 4.3.11. Voor deze subsets geldt dat de geselecteerde scholen in beide jaren minstens 10% of minstens 25% van de onderwijsscores moet zijn geïmputeerd. 

Voorgaande jaren werd ongeveer zeven procent van de onderwijsscores geïmputeerd. In 2023 is dit iets toegenomen naar ongeveer acht procent van de onderwijsscores. Dit heeft onder andere te maken met een verschuiving van peildata van registerbestanden die nodig zijn om de koppeling te kunnen maken tussen de leerling en de ouder . Dit heeft tot gevolg dat er grotere verschillen dan gebruikelijk zijn in het aandeel directe imputaties van onderwijsscores op scholen. Om verschillen in het aantal directe imputaties van onderwijsscores jaar-op-jaar zo constant mogelijk te houden voor de vergelijking van de huidige en nieuwe imputatiemethode is er daarom nog een extra subset onderzocht. Voor deze subset zijn enkel scholen geselecteerd die maximaal vijf procent verschillen in het aantal directe imputaties van onderwijsscores in 2022 en 2023.

Voor scholen waarbij een hoog aandeel van de onderwijsscores direct wordt geïmputeerd lijkt de nieuwe imputatiemethode voor meer stabiliteit in achterstandsscores over de jaren heen te zorgen. Voor deze scholen is het gemiddelde verschil in achterstandsscores tussen 2023 en 2022 ongeveer gehalveerd. Daarnaast is ook de standaarddeviatie van de verschilscores gedaald voor zowel scholen met minstens 10% direct geïmputeerde onderwijsscores als voor scholen met minstens 25% direct geïmputeerde onderwijsscores. Wanneer er enkel gekeken wordt naar de subsets van scholen die in 2022 en 2023 maximaal 5% verschillen in het aandeel directe imputaties is de daling van de standaarddeviatie iets kleiner.

Verschillen in achterstandsscores van gemeenten
Er is ook gekeken of de achterstandsscores van de gemeenten over de jaren heen stabieler werden bij het toepassen van de nieuwe imputatiemethode. Hiervoor zijn de verschillen in netto en bruto achterstandsscores van de gemeenten tussen 2023 en 2022 vergeleken, zie tabel 4.3.12.

Vergeleken met de huidige methode is de range tussen de ondergrens en bovengrens van de verschilscores kleiner geworden bij gebruik van de nieuwe methode, dit geldt voor zowel de netto achterstandsscores (met drempel) als de bruto achterstandsscores (zonder drempel). Ook is de standaarddeviatie van de verschilscores bij gebruik van de nieuwe methode gedaald ten opzichte van de huidige methode. Opvallend is dat het gemiddelde verschil juist iets is gestegen, maar deze stijging is relatief klein ten opzichte van de standaarddeviatie. Wanneer de verdeling van de verschilscores voor beide methodes wordt gevisualiseerd, is te zien dat deze stijging in gemiddelde verschilscore waarschijnlijk het resultaat is van het verdwijnen van twee sterke, negatieve, uitschieters bij het toepassen van de nieuwe methode ten opzichte van de huidige methode (zie figuur 4.3.14).

4.4 Conclusies

Dit hoofdstuk betreft de resultaten van de optimalisatie van het voorspelmodel dat gebruikt wordt voor het direct imputeren van onderwijsscores voor leerlingen voor wie er geen onderwijsscore kan worden berekend. Dit onderzoek richt zich op de grootste groep kinderen voor wie de onderwijsscore geïmputeerd moet worden: de kinderen die zelf wel staan ingeschreven in de BRP maar van wie één of beide ouders niet bekend zijn in de BRP. In de eerste stap werd onderzocht of het huidige imputatiemodel opgesplitst kon worden om zo het voorspelmodel voor elke specifieke imputatiegroep te kunnen optimaliseren. Door het voorspelmodel op te splitsen in drie voorspelmodellen voor de drie te imputeren categorieën (vader onbekend, moeder onbekend, en beide ouders onbekend) kunnen er meer achtergrondkenmerken worden meegenomen, wat mogelijk leidt tot meer accurate voorspellingen.

Voor de tweede stap is er voor deze drie imputatiecategorieën onderzocht welke combinatie van achtergrondkenmerken het best gebruikt kan worden om onderwijsscores voor individuele leerlingen te voorspellen. Op basis van de variabelen die al aanwezig zijn in de onderzoeksbestanden van de risico-indicator onderwijsachterstanden is er een lijst met mogelijke verklarende variabelen van onderwijsscores opgesteld. Met behulp van een stepwise-selectie procedure is er onderzocht welke variabelen voldoende verklaringskracht toevoegen om het voorspelmodel te verbeteren. Deze analyses resulteren in de volgende selectie van achtergrondkenmerken voor de groepen leerlingen waarbij één van de ouders ontbreekt:

• Opleidingsniveau ouder
• Ouders wel/niet in schuldsanering
• Inkomen ouder (in 20 percentielen)
• Verblijfsduur ouder (categorisch)
• Leeftijd ouder
• Sociaal economische categorie ouder
• Burgerlijke staat ouder
• Verblijfsduur ouder (in jaren)
• Herkomst kind
• Leeftijd kind
• Leeftijd kind naar Nederland
• Stedelijkheid van de buurt

Voor de leerlingen van wie beide ouders onbekend zijn blijven enkel de laatste vier schuingedrukte achtergrondkenmerken over.

Om de stabiliteit van de selectie van kenmerken voor de voorspelmodellen te onderzoeken is de stepwise-selectie procedure tevens toegepast op data van een eerder cohort. In beide procedures werden dezelfde achtergrondkenmerken geselecteerd, wat de stabiliteit van de selectie van variabelen voor het voorspelmodel lijkt te bevestigen.

In de derde stap is er onderzocht in hoeverre de aangepaste imputatiemethode daadwerkelijk resulteert in meer stabiliteit in onderwijsscores op individueel niveau en achterstandsscores op school- en gemeenteniveau. De nieuwe imputatiemethode zorgt op individueel niveau met name bij de imputatiegroepen ‘vader onbekend’ en ‘moeder onbekend’ voor meer stabiliteit in geïmputeerde onderwijsscores jaar-op-jaar. Voor de groep leerlingen van wie beide ouders onbekend zijn is er geen verbetering te zien wat betreft de stabiliteit in onderwijsscores. Dit is niet verrassend, aangezien het voorspelmodel voor deze groep niet is uitgebreid ten opzichte van de huidige imputatiemethode.

Op schoolniveau is de stabiliteit in achterstandsscores over de jaren heen onderzocht door verschillen in achterstandsscores van 2023 ten opzichte van 2022 te vergelijken voor de huidige en de nieuwe imputatiemethode. Dit is gedaan voor de totale populatie van scholen binnen het primair basisonderwijs, maar ook voor subsets van scholen met een hoog percentage leerlingen voor wie de onderwijsscore direct moest worden geïmputeerd. Voor elke (sub)populatie van scholen is te zien dat de standaarddeviatie van de verschilscores jaar-op-jaar bij gebruik van de nieuwe imputatiemethode lager ligt vergeleken met de huidige methode. De daling in standaarddeviatie van de nieuwe methode ten opzichte van de oude methode varieert, afhankelijk van de specifieke (sub)populatie waar naar gekeken wordt. De daling in de standaarddeviatie lijkt er op te wijzen dat de nieuwe imputatiemethode zorgt voor meer stabiliteit in achterstandsscores, met name voor scholen waar een hoog aandeel van de onderwijsscores van leerlingen moet worden geïmputeerd. Veranderingen in de range en het gemiddelde van de verschilscores waren minder uniform over de verschillende subgroepen heen.

Wanneer er wordt gekeken naar de verschilscores in achterstandsscores voor gemeenten is wederom een verbetering te zien wat betreft de stabiliteit in achterstandsscores. Voor zowel de bruto als netto achterstandsscores zien we dat de range in verschilscores kleiner is geworden. De nieuwe imputatiemethode lijkt ervoor te zorgen dat gemeente-achterstandsscores jaar-op-jaar minder extreem verschillen. Verder impliceert met name de sterke daling van de standaarddeviatie voor zowel de netto als de bruto achterstandsscores dat de nieuwe methode ook voor gemeenten zorgt voor meer stabiliteit in achterstandsscores over de jaren heen.

Tot slot geven we een korte vooruitblik op de tweede fase van dit onderzoekstraject. In deze fase zal de risico-indicator onderwijsachterstanden grootschalig worden herijkt. Ook specifiek voor het direct imputeren van onderwijsscores zal er onderzocht worden hoe de nieuwe methode gepresenteerd in het huidige rapport nog verder kan worden ontwikkeld en verbeterd. Ten eerste zal er worden onderzocht in hoeverre het voorspelmodel nog verder kan worden uitgebreid met achtergrondkenmerken, en dan met name de kenmerken die zijn behandeld in hoofdstuk 3 voor het imputeren van het opleidingsniveau van ouders. Bovendien zal er onderzocht worden of er interacties tussen verschillende kenmerken moeten worden meegenomen in het voorspelmodel. Verder is het voor de volgende fase belangrijk om naar achtergrondkenmerken te kijken die beschikbaar zijn voor de groep leerlingen bij wie informatie over beide ouders ontbreekt, zoals buurtkenmerken. Tevens zullen er alternatieven worden onderzocht voor het imputeren van onderwijsscores van gevallen waar individuele voorspellingen lastig zijn vanwege een gebrek aan achtergrondinformatie. Ook kan er worden gekeken of aanpassingen in de donorselectie voor Predictive Mean Matching kunnen leiden tot verbeteringen in de nauwkeurigheid van imputaties. 
Daarnaast kan het verkennen van andere voorspel- en imputatiemethodes, zoals beslisbomen, nieuwe inzichten bieden op het verbeteren van imputaties van onderwijsscores.

Tot slot kan het gebruik van een simulatiestudie waarbij onderwijsscores worden voorspeld voor leerlingen van wie deze berekend kan worden een waardevolle aanvulling zijn, omdat dan niet alleen de stabiliteit van onderwijsscores jaar-op-jaar wordt beoordeeld, maar ook de nauwkeurigheid van de voorspellingen en imputaties van verschillende methodes vergeleken kan worden.

5.1 Inleiding

Bij de oorspronkelijke ontwikkeling van de risico-indicator onderwijsachterstanden is gekeken – gegeven een bepaalde intelligentie – welke sociaaleconomische achtergrondkenmerken van kinderen een nadelige invloed hebben op de onderwijsprestaties. Omdat destijds het aandeel van de centrale eindtoets van Cito nog op ongeveer 85 procent lag, is er voor gekozen om alleen de kinderen die aan de toets van Cito hadden deelgenomen mee te nemen in de ontwikkeling van het model. Inmiddels is het aandeel van de centrale eindtoets van Cito fors afgenomen en kunnen scholen die een andere eindtoets gebruiken niet worden genegeerd om een aantal redenen. Zo kan het uitsluiten van deze scholen leiden tot selectiebias en het leidt hoe dan ook tot een aanzienlijke beperking van de onderzoekspopulatie. 

Voor het onderzoek voor de herijking van het model voor de risico-indicator onderwijsachterstanden is het wenselijk om gebruik te kunnen maken van een uniforme maatstaf voor onderwijsprestaties. Het probleem is echter dat iedere eindtoetsaanbieder een eigen schaal voor de eindtoetsscore hanteert. Omdat het CBS alleen de eindtoetsscores heeft en er geen extra informatie beschikbaar is over hoe de verschillende schalen tot stand zijn gekomen, werken we in dit hoofdstuk verschillende methoden uit om de eindtoetsscores te uniformeren.

5.2 Data en methoden

Voor het toepassen van de verschillende methoden voor uniformering maken we gebruik van een dataset met de populatie leerlingen die in 2021 een eindtoets hebben gemaakt. Daarbij zijn er vijf soorten eindtoetsen: AMN, CET, Dia, Iep en Route 8. Per eindtoetsaanbieder wordt er jaarlijks door de Expertgroep Toetsen PO bepaald wat het bereik aan eindtoetsscores is behorende tot een bepaald toetsadvies, met de volgende mogelijke toetsadviezen: pro/vmbo-b, vmbo-b/k, vmbo-k/gt, vmbo-gt/havo, havo/vwo en vwo. Deze gegevens ontvangt het CBS jaarlijks van DUO met de nieuwe indeling. Hierbij moet opgemerkt worden dat het bereik van de toetsscores behorende tot een toetsadvies verschilt tussen de toetsaanbieders. Daarnaast is de lengte van het bereik van de toetsscores behorende tot een toetsaanbieder verschillend per toetsadvies. In tabel 5.2.1 wordt per toetsaanbieder weergegeven welke eindtoetsscore bij welk toetsadvies hoort, voor de eindtoetsen in 2021.

Gegeven dat we maar beperkte data tot onze beschikking hebben en de toetsen onderling niet kunnen vergelijken op een gedetailleerder niveau dan in bovenstaande tabel met toetsadviezen, onderzoeken we drie methoden voor om de eindtoetsscores te uniformeren: 

Methode 1: Z-scores 

Ten eerste kunnen we z-scores berekenen per toetsaanbieder, zodat de scores per toetsaanbieder allemaal een standaard normale verdeling krijgen, met een gemiddelde van 0 en standaarddeviatie van 1. Bij deze berekening houden we geen rekening met de toetsadviezen. 

Deze aanpak past het beste als de onderliggende scores per toetsaanbieder ongeveer normaal verdeeld zijn. We zien echter in de data dat dit niet het geval is, zie figuren 5.2.2 tot en met 5.2.6.