4. Imputatie onderwijsscores

4.1 Inleiding

Binnen de systematiek van de huidige risico-indicator onderwijsachterstanden kan voor een klein deel van de kinderen geen risico op onderwijsachterstand worden berekend omdat er belangrijke achtergrondgegevens ontbreken. Meestal gaat dit om kinderen van wie we niet beschikken over informatie van één of beide ouders (ongeveer 5 procent van alle peuters van 2,5 tot 4 jaar en alle basisschoolleerlingen). Uit de plausibiliteitsanalyses van de achterstandsscores voor scholen en gemeenten die het CBS jaarlijks publiceert blijkt dat de (geïmputeerde) onderwijsscores van deze leerlingen jaar-op-jaar sterk kunnen fluctueren. Dit kan leiden tot sterke fluctuaties van de achterstandsscores (en dus het toegekende budget) van scholen waarbij voor een groot aandeel van de leerlingen de onderwijsscore wordt geïmputeerd. Het verbeteren van de imputatiemethode van onderwijsscores kan leiden tot kleinere verschillen in onderwijsscores jaar-op-jaar en mogelijk een stabielere toekenning van de verdeling van het onderwijsachterstandenbudget. Voor de herijking van het imputatiemodel onderzoeken we welke additionele achtergrondkenmerken kunnen worden meegenomen om onderwijsscores preciezer te kunnen schatten. Daarnaast onderzoeken we of de imputatiemethode verbeterd kan worden door het model op te splitsen naar subgroepen en te kijken naar verschillende voorspelmethodes om te zorgen voor meer stabiliteit in geïmputeerde scores op individueel niveau, schoolniveau en gemeenteniveau over de tijd.

4.2 Data en methoden

In dit onderzoek maken we gebruik van de data van de risico-indicator onderwijsachterstanden basisonderwijs. Dit bestand bevat de gegevens van alle kinderen van 2,5 tot 4 jaar en basisschoolleerlingen op 1 februari in de jaren 2022 en 2023. Omdat er voor een klein deel van de kinderen geen risico op onderwijsachterstand kan worden berekend, wordt de onderwijsscore geïmputeerd. Welke imputatiemethode wordt gebruikt is afhankelijk van welke informatie er wél beschikbaar is:

• Een kind staat wel ingeschreven in de BRP, maar één of beide ouders niet.
• Een kind staat niet ingeschreven in de BRP.
• Een kind staat geregistreerd als asielzoeker en/of heeft een verblijfsvergunning gekregen.

Voor het verbeteren van de imputatie van onderwijsscores richtten we ons op de grootste groep van de kinderen waarvoor geïmputeerd moet worden: de kinderen die zelf wel staan ingeschreven in de BRP maar van wie één of beide ouders niet bekend zijn in de registers van het CBS.

Met behulp van predictive mean matching wordt er voor deze kinderen een onderwijsscore geïmputeerd. Dit imputatieproces bestaat uit 3 stappen. In de eerste stap wordt er op basis van een groep kinderen voor wie de onderwijsscore direct is bepaald (de donorgroep) een voorspelmodel geschat om onderwijsscores te kunnen voorspellen. In de tweede stap wordt dit voorspelmodel gebruikt om een onderwijsscore te schatten voor zowel de kinderen van wie geen onderwijsscore kon worden berekend (de te imputeren groep) als voor de kinderen uit de donorgroep. In de laatste stap wordt er voor de kinderen uit de te imputeren groep een donor geselecteerd van wie de voorspelde score dichtbij de voorspelde score van te imputeren score ligt. Vervolgens wordt dan de daadwerkelijke score van de donor overgenomen voor het kind uit de te imputeren groep. De uiteindelijke selectie van de donor is iets ingewikkelder en vindt tevens plaats in verschillende stappen; een uitgebreide beschrijving van de imputatiemethode is te vinden in het vierde methodologische rapport van de vorige herijking.

Om de huidige imputatiemethode van onderwijsscores te verbeteren richtten we ons in dit onderzoek op het optimaliseren van het voorspelmodel. De verbetering van het imputatiemodel delen we op in verschillende stappen, zoals weergegeven in figuur 4.2.1.

4.2.1 Stappen in analyse

Gedurende deze stappen willen we de volgende onderzoeksvragen beantwoorden:

• Hoe kunnen we het huidige imputatiemodel opsplitsen naar imputatiecategorie om zo de voorspelling van onderwijsscores te optimaliseren (stap 1)?
• Welke (combinatie van) achtergrondkenmerken kan het best worden gebruikt om met een lineair-regressiemodel de onderwijsscore te schatten (stap 2)?
• In hoeverre resulteert de aangepaste imputatiemethode in meer stabiliteit in onderwijsscores (individueel niveau) en achterstandsscores (schoolniveau en gemeenteniveau) ten opzichte van de huidige imputatiemethode (stap 3)?

Het imputatiemodel schatten we op een subset van de data met peildatum 1 februari 2023 (schooljaar 2022/’23) waarin enkel kinderen voorkomen van wie de onderwijsscore direct is bepaald en het opleidingsniveau van tenminste één van de ouders bekend is. Om de variabele selectie te valideren worden daarnaast de data met peildatum 1 februari 2022 (schooljaar 2021/’22) gebruikt.

Stap 1: Differentiëren imputatiemodel

De eerste stap betreft een meer gedifferentieerde aanpak van de imputatie van onderwijsscores met predictive mean matching. Het huidige voorspelmodel is uniform voor de drie te imputeren categorieën (vader onbekend, moeder onbekend, of beide ouders onbekend). Dit betekent dat een beperkt aantal achtergrondkenmerken kan worden gebruikt om de onderwijsscores te voorspellen, waardoor niet alle relevante informatie kan worden benut voor elke categorie. Deze aanpak kan resulteren in suboptimale voorspellingen van onderwijsscores, omdat het model gedwongen wordt om dezelfde set variabelen te gebruiken voor de drie categorieën, zelfs wanneer er mogelijk meer informatie beschikbaar is. We zouden bijvoorbeeld in de groep waarbij informatie van de moeder ontbreekt gegevens van de vader kunnen gebruiken om onderwijsscores beter te voorspellen. Het opsplitsen van het voorspelmodel voor de drie imputatiecategorieën en het aanpassen van de voorspellende variabelen aan de specifieke imputatiecategorie kan leiden tot meer accurate voorspellingen.

Door het voorspelmodel op te splitsen in drie verschillende modellen, kan er in stap 2 worden gekeken welke achtergrondkenmerken het best meegenomen kunnen worden voor de drie verschillende imputatiecategorieën.

Stap 2: Stepwise regressieanalyse

Om onderwijsscores zo nauwkeurig mogelijk te kunnen schatten wordt er onderzocht welke achtergrondkenmerken van het kind en de ouders het best kunnen worden toegevoegd aan het voorspelmodel. Hierbij wordt in eerste instantie enkel gekeken naar variabelen die al aanwezig zijn in de onderzoeksbestanden van de risico-indicator onderwijsachterstanden. Het huidige voorspelmodel bestaat uit de volgende achtergrondkenmerken:

• Herkomst van het kind;
• Verblijfsduur van moeder (wanneer bekend);
• Huishoudinkomen (inkomen vader + moeder opgeteld, wanneer bekend);
• Ouders wel/niet in schuldhulpverlening;
• Nederlands onderwijs anderstaligen (NOAT).

Dit model willen we iets aanpassen en uitbreiden met een aantal achtergrondkenmerken van het kind en van de ouders (wanneer bekend én beschikbaar in de onderzoeksbestanden). Het NOAT kenmerk wordt niet meer meegenomen omdat dit kenmerk in de nabije toekomst niet meer beschikbaar is.

Kindkenmerken
De achtergrondkenmerken van het kind zijn bekend voor alle kinderen die staan ingeschreven in de BRP en kunnen dus voor alle drie de imputatiecategorieën worden toegevoegd aan het voorspelmodel. De volgende achtergrondkenmerken zullen worden toegevoegd aan de stepwise regressieanalyse: 

• Leeftijd kind;
• Leeftijd waarop het kind naar Nederland kwam (leeftijd van het kind minus de verblijfsduur van het kind);
• Stedelijkheid van de buurt waarin het kind woont.

Ouderkenmerken
Voor de twee imputatiecategorieën waarvan tenminste één van beide ouders bekend is kunnen we een aantal achtergrondkenmerken toevoegen van de andere ouder om de onderwijsscore nauwkeuriger te kunnen schatten. De volgende achtergrondkenmerken zullen worden toegevoegd aan de stepwise regressieanalyse:

• Opleidingsniveau vader/moeder;
• Leeftijd vader/moeder;
• Sociaal-economische categorie vader/moeder;
• Burgerlijke staat vader/moeder;
• Inkomen vader/moeder (hiervoor toetsen we juridisch inkomen opgesplitst in 10 en 20 percentielen);
• Verblijfsduur vader/moeder (hiervoor toetsen we zowel een categorische variabele als een continue variabele).

Wat het inkomen van ouders betreft was het initiële plan om inkomen als continue variabele mee te nemen in het voorspelmodel. Op deze manier zou zoveel mogelijk informatie kunnen worden gebruikt om onderwijsscores van leerlingen te voorspellen. Bij het inspecteren van de verschillende variabelen bleek echter dat er voor juridisch inkomen uitzonderlijke uitschieters aanwezig waren. Omdat dit kan resulteren in een schending van assumpties hebben we besloten om de variabele juridisch inkomen aan te passen naar percentielen om zo uitschieters te voorkomen.

Stepwise regressieanalyse
Door het uitvoeren van een stepwise regressieanalyse kunnen de belangrijkste achtergrondkenmerken worden geselecteerd. Met behulp van een forward search wordt gezocht naar het best passende model voor onze data:

• Start met een leeg regressiemodel (bevat enkel een constante term).
• Het regressiemodel wordt stap voor stap opgebouwd door steeds één kenmerk toe te voegen. Bij elke stap wordt het kenmerk geselecteerd dat leidt tot de grootste verbetering in het Bayesiaanse Informatie Criterium (BIC).
• Dit proces wordt herhaald totdat het toevoegen van extra kenmerken niet langer resulteert in een significante verbetering van de BIC-waarde.

Met behulp van deze methode kunnen we een voorspelmodel ontwikkelen voor de drie imputatiecategorieën waarbij er een goede balans is tussen de complexiteit van het model en de nauwkeurigheid van de voorspellingen van onderwijsscores. De resultaten van de forward search geven een bepaalde volgorde van de achtergrondkenmerken, waarbij de kenmerken die het belangrijkst zijn voor het schatten van de onderwijsscores als eerste worden toegevoegd.

Daarnaast voeren we ter vergelijking ook een backward search uit:

• Start met een volledig regressiemodel (bevat alle achtergrondkenmerken).
• Het regressiemodel wordt stap voor stap afgebouwd door steeds één kenmerk weg te laten. Bij elke stap wordt het kenmerk geselecteerd dat leidt tot de grootste verbetering in het Bayesiaanse Informatie Criterium (BIC).
• Dit proces wordt herhaald totdat het verwijderen van kenmerken niet langer resulteert in een significante verbetering van de BIC-waarde.

Tot slot is er onderzocht of de selectie van de achtergrondkenmerken hetzelfde is bij het uitvoeren van een gecombineerde forward en backward search. Hierbij worden beide methodes achter elkaar uitgevoerd, bij een forward-backward search kunnen de toegevoegde kenmerken later weer worden verwijderd, en bij een backward-forward search juist andersom. De stepwise analyses worden in eerste instantie uitgevoerd op de data met peildatum 1 februari 2023, maar worden herhaald op de data met peildatum 1 februari 2022 om te zien in hoeverre de selectie en volgorde van achtergrondkenmerken overeenkomt voor beide peildata.

Definitief voorspelmodel
In het huidige imputatiemodel wordt er een eenvoudig lineair regressiemodel geschat voor de verwachte onderwijsscore. Een lineair regressiemodel kan worden gebruikt om de relatie tussen twee (of in dit geval meerdere) variabelen te onderzoeken en kwantificeren. Het voordeel van een lineair regressiemodel is dat dit eenvoudig te begrijpen is en de coëfficiënten van de achtergrondkenmerken makkelijk te interpreteren zijn. Daarnaast zijn lineaire modellen snel te trainen en werken ze efficiënt voor grote datasets. Een nadeel is echter dat het model lineaire samenhang tussen variabelen veronderstelt, wat beperkend kan zijn voor de nauwkeurigheid van schattingen voor onderwijsscores als de relatie tussen de achtergrondkenmerken en onderwijsscores in de realiteit complexer blijkt te zijn. Daarom is het van belang dat voor geselecteerde achtergrondkenmerken de lineariteit van het verband met de uitkomstvariabele in het voorspelmodel, de onderwijsscore, beoordeeld wordt.

Daarnaast is het van belang dat er wordt gekeken of sommige achtergrondkenmerken mogelijk sterk aan elkaar gerelateerd zijn (multicollineariteit). Dit kan als gevolg hebben dat de effectgroottes per kenmerk niet goed meetbaar zijn. Om te toetsen of er sprake is van multicollineariteit berekenen we de Variance Inflation Factor (VIF) per kenmerk. Een VIF waarde hoger dan 5 wordt vaak als problematisch gezien. Ten slotte toetsen we ook nog de normaliteit en heteroscedasticiteit van de 3 voorspelmodellen.

Stap 3: Evaluatie van nieuwe imputatiemethode

Om de werking van de nieuwe imputatiemethode ten opzichte van de huidige methode te kunnen toetsen zal er worden gekeken of de nieuwe methode zorgt voor meer stabiliteit in geïmputeerde scores over de tijd. Deze toetsing zal plaatsvinden op drie niveaus, namelijk op individueel-, school-, en gemeenteniveau.

Op individueel niveau zullen de verschillen in onderwijsscores van 2023 ten opzichte van 2022 vergeleken worden voor de huidige en de nieuwe imputatiemethode. Er wordt dan gekeken naar de leerlingen van wie de onderwijsscore direct is geïmputeerd omdat A) moeder onbekend is, B) vader onbekend is, en C) beide ouders onbekend zijn. De verwachting is dat door het uitbreiden van het voorspelmodel met name voor groep A en B de onderwijsscores preciezer worden voorspeld en daardoor stabieler over de jaren heen.

Omdat het CBS gebruik maakt van registerdata is het bijvoorbeeld mogelijk dat informatie over de vader van leerling A in 2022 ontbreekt, terwijl in 2023 de vader van leerling A wel staat geregistreerd. Dat betekent dat de onderwijsscore van leerling A in 2022 moest worden geïmputeerd, terwijl in 2023 de onderwijsscore wel berekend kon worden. Van het totaal aantal leerlingen (N = 146979) uit de drie imputatiecategorieën is 33,5% gewisseld tussen de jaren 2022 en 2023. Dit gaat over een wisseling binnen de drie imputatiecategorieën (bijvoorbeeld van beide ouders onbekend naar vader onbekend), of een wisseling van wel of geen imputatie van onderwijsscore. Voor een correcte vergelijking van de huidige en nieuwe imputatiemethodes van onderwijsscores op individueel niveau is het belangrijk om enkel te kijken naar leerlingen die in 2022 en 2023 niet gewisseld zijn van imputatiecategorie (N = 97694).

In lijn met de individuele scores verwachten we ook voor de geaggregeerde achterstandsscores per school meer stabiliteit over de jaren heen. Om dit te onderzoeken zullen de verschillen in achterstandsscores van 2023 ten opzichte van 2022 worden vergeleken voor de huidige en de nieuwe imputatiemethode. Dit wordt gedaan voor alle scholen in Nederland, voor scholen waarvan minstens tien procent van de onderwijsscores direct is geïmputeerd, en scholen waarvan minstens 25 procent van de onderwijsscores direct is geïmputeerd.

Het CBS telt per school de scores op van de leerlingen die landelijk gezien tot de vijftien procent laagst scorende leerlingen behoren: de bruto achterstandsscore. Om versnippering van het budget tegen te gaan wordt er een drempelwaarde in mindering gebracht op deze achterstandsscore: de netto achterstandsscore. Hierdoor ontvangen alleen scholen met een relatief hoge achterstandsscore middelen. De drempelwaarde hangt af van het totaal aantal leerlingen op een school: hoe meer leerlingen, des te hoger de drempelwaarde.

Voor de evaluatie van de imputatiemethode kijken we naar de stabiliteit van achterstandsscores van jaar op jaar. In dat geval is het zinvoller om te kijken naar de verschillen in bruto achterstandsscores, omdat het hanteren van een drempelwaarde deze verschillen licht kan vervormen. Als voorbeeld: school A behaalde in 2022 een bruto achterstandsscore van 850 punten, maar na toepassing van de drempelwaarde werd de netto achterstandsscore 0 vanwege het grote aantal leerlingen. In 2023 steeg de bruto achterstandsscore naar 950 punten. Omdat het aantal leerlingen iets afnam, daalde ook de drempelwaarde, waardoor de netto achterstandsscore voor 2023 op 250 uitkwam. Bij gebruik van de netto achterstandsscore lijkt het verschil tussen de jaren 250 punten te zijn, terwijl het feitelijke verschil in bruto achterstandsscore slechts 150 punten bedraagt.
Echter, voor het ministerie van OCW is het ook informatief om te weten wat de nieuwe imputatiemethode voor gevolgen heeft voor de stabiliteit in uiteindelijke netto-achterstandsscores op basis waarvan de middelen worden verdeeld. Daarom zullen voor de totale populatie scholen in Nederland zowel de bruto als netto achterstandsscores worden vergeleken. Om de meest extreme vertekening van verschilscores van de netto achterstandsscores te beperken worden voor deze analyse enkel scholen meegenomen waarvoor de achterstandsscore in géén van de jaren teruggezet is op 0. In andere woorden, er zijn in deze subset enkel scholen meegenomen die in beide jaren een achterstandsscore boven de drempel hadden en dus middelen ontvingen van het ministerie van OCW. Voor de specifieke subgroepen van scholen waarvan minstens 10% van de onderwijsscores direct is geïmputeerd, en scholen waarvan minstens 25% van de onderwijsscores direct is geïmputeerd zullen enkel de bruto-achterstandsscores worden vergeleken.

De verwachting is dat de spreiding van de verschilscores jaar-op-jaar kleiner zal zijn voor de nieuwe imputatiemethode, en dan met name voor de scholen met veel leerlingen waarvoor de onderwijsscore direct moet worden geïmputeerd. Ten slotte zullen ook de verschillen in bruto en netto achterstandsscores van de gemeenten tussen 2023 en 2022 worden vergeleken. Ook hier wordt meer stabiliteit in achterstandsscores verwacht, wat betekent dat de spreiding van verschilscores voor de nieuwe imputatiemethode kleiner zal zijn dan de huidige imputatiemethode.

4.3 Resultaten

Stap 1: Differentiëren imputatiemodel

Om de onderwijsscores voor de groep kinderen van wie minstens één van beide ouders ontbreekt in de BRP nauwkeuriger te kunnen voorspellen, zoals beschreven in paragraaf 4.1, is het imputatiemodel opgesplitst in drie rondes (voor de drie imputatiecategorieën). De onderwijsscores worden in stappen geïmputeerd: in de eerste ronde voor de kinderen van wie de moeder onbekend is, in de tweede ronde voor de kinderen van wie de vader onbekend is, en in de derde ronde voor de kinderen van wie beide ouders onbekend zijn. Dit betekent dat er drie verschillende voorspelmodellen kunnen worden toegepast, waarbij de meegenomen achtergrondvariabelen afhankelijk zijn van de imputatiecategorie. De achtergrondkenmerken die mogelijk meegenomen kunnen worden zijn weergegeven in tabel 4.3.1. Welke kenmerken daadwerkelijk geselecteerd worden, wordt duidelijk uit de stepwise regressieanalyse. De stepwise regressieanalyse werd uitgevoerd voor model 1 en model 2, waarbij variabelen met achtergrondkenmerken van zowel het kind als de ouders werden geëvalueerd. Voor model 3, waarbij informatie over beide ouders ontbreekt, is geen afzonderlijke analyse uitgevoerd; in plaats daarvan zijn op basis van de resultaten van de stepwise regressieanalyse van model 1 en 2 alleen de beschikbare variabelen (achtergrondkenmerken van het kind) geselecteerd.

Stap 2: Stepwise regressieanalyse

Na de differentiatie van het huidige imputatiemodel in drie voorspelmodellen en de voorselectie van mogelijke kenmerken is er een stepwise regressieanalyse toegepast. Dit is gedaan om de kenmerken te selecteren die samen de beste voorspelmodellen vormen. Voor zowel model 1 (moeder onbekend) als model 2 (vader onbekend) is er een forward en backward search uitgevoerd en een combinatie van beide. Het doel is om een zo compact mogelijk model over te houden met de belangrijkste achtergrondkenmerken. Voor de verschillende methodes (forward, backward, en combinatie van beide) zijn de modelverbeteringen stapsgewijs vergeleken op basis van de BIC-waarde. De drie methodes leverden elk dezelfde selectie van achtergrondkenmerken voor de individuele voorspelmodellen. Voor het presenteren van de resultaten van de stepwise regressieanalyse zijn de modelkenmerken van de forward selectie als uitgangspunt gebruikt.

Voor de lineaire voorspelmodellen was enkel de volgorde van achtergrondkenmerken van belang bij het selecteren van verschillende vormen van dezelfde variabele, namelijk de variabelen inkomen ouder en verblijfsduur ouder. Voor de variabele inkomen ouder hebben we twee opties toegevoegd, namelijk inkomen in 10 en inkomen in 20 percentielen. Voor verblijfsduur van ouder hebben we ook twee verschillende opties onderzocht, namelijk verblijfsduur ouder in jaren en verblijfsduur ouder in drie categorieën (0-5 jaar, 5-10 jaar en meer dan 10 jaar). Wanneer beide opties voor deze variabelen werden geselecteerd door de stepwise procedure werd enkel de eerst geselecteerde optie gekozen voor het definitieve model.

De volgorde van de geselecteerde kenmerken voor model 1 en model 2 is terug te zien in tabel 4.3.2. De stepwise procedure voor model 1 (moeder onbekend) stopte na de selectie van het twaalfde kenmerk, omdat er volgens het model geen extra verklaringskracht werd toegevoegd. De stepwise procedure voor model 2 (vader onbekend) selecteerde alle toegevoegde kenmerken. Voor zowel model 1 als model 2 werd van inkomen ouder de variabele in 20 percentielen als eerste geselecteerd. Met betrekking tot verblijfsduur werd de categorische variabele als eerste gekozen.

Bovenstaande stepwise regressieanalyse is uitgevoerd op data met peildatum 1 februari 2023. Om de stabiliteit van de twee voorspelmodellen te onderzoeken is de forward stepwise procedure tevens toegepast op data van een jaar eerder, namelijk peildatum 1 februari 2022. De selectie en volgorde van de achtergrondkenmerken van model 1 kwamen voor beide jaren exact overeen. Voor model 2 was er een klein verschil, kenmerk 4 en 5 zijn omgedraaid, en de tweede optie van de variabele inkomen ouder (in 10 percentielen) werd niet geselecteerd, zie tabel 4.3.3.

De conclusies van de selectie van achtergrondkenmerken zijn daarom onveranderd en resulteren in de volgende selectie van kenmerken voor model 1 en 2 (waarbij één van de ouders ontbreekt):

• Opleidingsniveau ouder;
• Herkomst kind;
• Ouders wel/niet in schuldsanering;
• Inkomen ouder (in 20 percentielen);
• Verblijfsduur ouder (categorisch);
• Leeftijd ouder;
• Leeftijd kind;
• Sociaal economische categorie ouder;
• Burgerlijke staat ouder;
• Leeftijd kind naar Nederland;
• Verblijfsduur ouder (in jaren);
• Stedelijkheid van de buurt.

Voor model 3, waarbij beide ouders ontbreken, ontbreekt voor een groot aantal van bovenstaande achtergrondkenmerken informatie. Voor dit voorspelmodel blijft een selectie van de volgende achtergrondkenmerken over:

• Herkomst kind;
• Leeftijd kind;
• Leeftijd kind naar Nederland;
• Stedelijkheid van de buurt.

De forward stepwise procedure voegt telkens één achtergrondkenmerk toe aan het voorspelmodel. Bij elke stap wordt het kenmerk geselecteerd dat leidt tot de grootste verbetering in BIC, waarbij een lagere BIC-waarde een betere modelkwaliteit betekent, zie figuur 4.3.4. In de figuur is te zien dat hoe meer kenmerken er worden opgenomen in het model, hoe lager de BIC waarde is en des te beter het voorspelmodel de onderwijsscore van een leerling kan schatten. De BIC neemt voor zowel model 1 als 2 het sterkst af na het toevoegen van het opleidingsniveau van de ouder. Ook na het toevoegen van het tweede achtergrondkenmerk, herkomst van het kind, neemt de BIC nog zichtbaar sterk af. Voor beide modellen geldt dat het toevoegen van het twaalfde kenmerk nog steeds voor een sterke daling zorgt (model 1: -784 en model 2: -378). In model twee wordt inkomen van de moeder (in 10 percentielen) als laatste kenmerk toegevoegd, maar de modelkwaliteit neemt hierbij nog nauwelijks toe (BIC daalt met 43 punten).

Om de betrouwbaarheid van de lineaire regressie voor bovenstaand model te controleren zijn er controles gedaan op een aantal assumpties, waaronder:

• Lineariteit
• Normaliteit
• Heteroscedasticiteit
• Multicollineariteit
• Uitschieters

De assumpties worden gecontroleerd zodat we betrouwbare parameterschattingen krijgen en de resultaten te generaliseren zijn naar de populatie. De assumpties van lineariteit, normaliteit en heteroscedasticiteit zijn visueel gecontroleerd, de multicollineariteit is beoordeeld aan de hand van de Variance Inflation Factor (VIF), en uitschieters zijn visueel geïnspecteerd aan de hand van Cook’s D maat.

In de controles zagen we een schending van de assumpties lineariteit, normaliteit en heteroscedasticiteit, specifiek voor het model waar beide ouders ontbreken. Dit model is beperkter in omvang vanwege minder beschikbare voorspellers door het ontbreken van beide ouders. Dit kan resulteren in meer variatie in de residuen (het verschil tussen de werkelijke en voorspelde score). Omdat we in dit onderzoek met een grote dataset werken en vooral kijken naar de regressiecoëfficiënten en niet direct naar de significantiewaarden van de resultaten, zal de schending van deze assumpties waarschijnlijk niet direct invloed hebben op de interpretatie van de resultaten. Voor de overige twee modellen, waarbij enkel vader of moeder ontbreekt, wees de visuele inspectie niet op een schending van assumpties van lineariteit, normaliteit of heteroscedasticiteit. Ook de controles op multicollineariteit wezen niet op collineariteit in ons voorspelmodel. Doorgaans worden de volgende rule-of-thumb grenswaarden gebruikt: VIF > 20 onbruikbaar, > 10 hoge mate van collineariteit, > 5 enige mate van collineariteit. De VIF-waarden waren voor alle drie de modellen kleiner dan 3. In de subset die gebruik werd voor het schatten van het lineaire voorspelmodel zijn twee records met een onwaarschijnlijk hoge leeftijd (35 en 32 jaar) geëxcludeerd. Deze leeftijden wijzen mogelijk op een registratiefout en zijn om vertekeningen in het voorspelmodel te voorkomen verwijderd voor onze analyses.

Na de selectie van variabelen in de stepwise regressieanalyse en het beoordelen van de assumpties zijn de fitindices van de drie afzonderlijke voorspelmodellen bepaald, zie tabel 4.3.5. De verklaarde variantie (R²) van voorspelmodel 1 en 2 zijn redelijk hoog, waarbij de hogere R² van model 2 (vader ontbreekt) er op lijkt te wijzen dat de achtergrondkenmerken van moeder de variabiliteit iets sterker lijken te voorspellen in model 2 dan de achtergrondkenmerken van vader in model 1. Echter zijn de verschillen tussen deze modellen niet getoetst, waardoor er geen uitspraken gedaan kunnen worden over of deze verschillen daadwerkelijk statistisch significant zijn. Model 3, waarbij informatie over beide ouders ontbreekt, presteert een stuk minder goed dan de modellen waarbij informatie van één van beide ouders wordt gebruikt. Dit is terug te zien in de lagere verklaarde variantie (R²) en hogere gemiddelde standaardfouten (MSE en RMSE). Het gebruik van beschikbare achtergrondkenmerken van ouders zorgt dus voor meer nauwkeurige voorspellingen van onderwijsscores voor de groepen leerlingen waar één van beide ouders ontbreekt.

Stap 3: Evaluatie van nieuwe imputatiemethode

De werking van de nieuwe imputatiemethode ten opzichte van de huidige imputatiemethode is geëvalueerd aan de hand van de stabiliteit van onderwijsscores en achterstandsscores jaar-op-jaar. Verwacht werd dat de nieuwe uitgebreide voorspelmodellen zorgen voor meer stabiliteit in scores over de jaren heen voor zowel individuele onderwijsscores, achterstandsscores van scholen, en achterstandsscores van gemeenten.

Verschillen in individuele onderwijsscores
Zoals besproken in paragraaf 4.1 zijn enkel de onderwijsscores van kinderen vergeleken die in de jaren 2022 en 2023 niet zijn gewisseld van imputatiecategorie. De verdeling van de verschillen in onderwijsscores van 2023 ten opzichte van 2022 berekend aan de hand van zowel de huidige als de nieuwe imputatiemethode is weergegeven met behulp van een dichtheidsplot, zie figuur 4.3.6. Voor de imputatiegroepen vader onbekend en moeder onbekend is te zien dat bij de nieuwe imputatiemethode de verdeling van de dichtheid van verschilscores iets smaller is. Dit impliceert dat de verschilscores bij gebruik van de nieuwe imputatiemethode minder variabiliteit vertonen jaar-op-jaar, wat kan betekenen dat de nieuwe methode voor meer stabiliteit in geïmputeerde onderwijsscores jaar-op-jaar. Bovendien is te zien dat de piek van de verdeling voor de nieuwe methode met name voor de groep vader onbekend, en in iets mindere mate voor de groepen moeder onbekend en beide ouders onbekend, hoger is dan de piek voor de huidige methode. Dit suggereert dat de gemiddelde verschilscore bij de nieuwe methode dichter bij 0 ligt in vergelijking tot de gemiddelde verschilscore van de huidige methode. Kortom, de nieuwe imputatiemethode lijkt met name voor de groepen vader onbekend en moeder onbekend te zorgen voor minder extreme verschillen tussen geïmputeerde scores jaar-op-jaar. Voor de groep beide ouders onbekend lijkt de nieuwe methode niet voor veel meer stabiliteit in scores jaar-op-jaar te zorgen. Dit is niet geheel onverwacht, aangezien dit voorspelmodel het minst is uitgebreid ten opzichte van de voorspelmodellen voor vader/moeder onbekend.

Het uitbreiden van de voorspelmodellen leidt in de groepen waar één van de ouders ontbreekt inderdaad tot een kleinere variantie in verschilscores. In tabel 4.3.7 zijn de eigenschappen van de verdeling van verschillen tussen onderwijsscores van 2023 en 2022 samengevat voor de huidige en nieuwe imputatiemethode. Voor de groepen uit model 1 en 2 zien we dat de nieuwe methode zorgt voor een kleinere range van verschilscores; de minimum en maximum verschilscores liggen namelijk dichter bij elkaar. Ook de standaarddeviatie daalt voor deze twee groepen, voor de groep moeder ontbreekt daalt deze met 1,61 punt, en voor de groep vader ontbreekt met 0.89 punt. Echter, voor de groep waarbij beide ouders ontbreken treedt er geen verbetering op; de minimum en maximum verschilscores liggen zelfs iets verder uit elkaar en de standaarddeviatie stijgt met 0,34 punt.

Verschillen in achterstandsscores van scholen
Om te onderzoeken of de nieuwe methode ook zorgt voor meer stabiliteit in achterstandsscores van scholen over de jaren heen zijn de achterstandsscores van 2023 ten opzichte van 2022 vergeleken voor de huidige en nieuwe imputatiemethode. Dit is gedaan voor alle scholen binnen het primair basisonderwijs (met en zonder toepassing van de drempelwaarde), een subset van scholen waarvan minstens 10% van de onderwijsscores direct is geïmputeerd, en een subset van scholen waarvan minstens 25% van de onderwijsscores direct is geïmputeerd. 
In tabel 4.3.8 zijn de kenmerken van de verschillen in bruto achterstandsscores (zonder drempel) voor scholen van 2023 ten opzichte van 2022 samengevat. Wanneer we de huidige en nieuwe methode vergelijken zien we een verschuiving van de ondergrens en bovengrens waarbij de range in verschilscores iets kleiner is geworden. Voor de nieuwe methode geldt dat de ondergrens van de verschilscores iets extremer werd, wat betekent dat één of meerdere scholen iets sterker dalen in achterstandsscores. Daarentegen werd de bovengrens van de verschilscores minder extreem, wat impliceert dat met gebruik van de nieuwe methode de meest stijgende school (of scholen) minder stegen in achterstandsscores. Het gemiddelde verschil in achterstandsscores is minimaal. De standaarddeviatie van de verschilscores is bij de nieuwe methode iets lager vergeleken met de huidige methode.

Wanneer de netto achterstandsscores voor scholen van 2023 ten opzichte van 2022 worden vergeleken is een vergelijkbaar patroon te zien, zie tabel 4.3.9. Voor deze analyse zijn enkel scholen meegenomen die in beide jaren een achterstandsscore boven de drempel hadden om grote vertekening in verschilscores ten gevolge van het toepassen van drempelwaarde te voorkomen. Het gemiddelde verschil in achterstandsscores stijgt voor deze scholen, maar in vergelijking met de huidige methode is dit wederom een minimale stijging. De standaarddeviatie van de verschilscores is bij de nieuwe methode wederom lager. Wel is te zien dat de ondergrens en bovengrens van de verschillen in netto achterstandsscores iets anders verschuiven dan bij het vergelijken van de verschillen in bruto achterstandsscores. Zowel de ondergrens als de bovengrens van de verschilscores met de nieuwe methode zijn iets extremer geworden ten opzichte van de huidige methode. Over het algemeen kan er geconcludeerd worden dat het toepassen van de nieuwe methode zorgt voor iets minder variatie in netto achterstandsscores voor scholen jaar-op-jaar.

De aanpassingen van de imputatiemethode hebben enkel invloed op de onderwijsscores van leerlingen waarvoor er direct moest worden geïmputeerd, en dan specifiek enkel voor de groep kinderen die zelf wel staan ingeschreven in de BRP maar van wie één of beide ouders niet bekend zijn in de registers van het CBS. Om de huidige en nieuwe imputatiemethode goed te vergelijken zijn daarom de verschillen in achterstandsscores voor scholen waarvan minstens 10% en minstens 25% van de onderwijsscores is geïmputeerd samengevat in tabel 4.3.10 en tabel 4.3.11. Voor deze subsets geldt dat de geselecteerde scholen in beide jaren minstens 10% of minstens 25% van de onderwijsscores moet zijn geïmputeerd. 

Voorgaande jaren werd ongeveer zeven procent van de onderwijsscores geïmputeerd. In 2023 is dit iets toegenomen naar ongeveer acht procent van de onderwijsscores. Dit heeft onder andere te maken met een verschuiving van peildata van registerbestanden die nodig zijn om de koppeling te kunnen maken tussen de leerling en de ouder . Dit heeft tot gevolg dat er grotere verschillen dan gebruikelijk zijn in het aandeel directe imputaties van onderwijsscores op scholen. Om verschillen in het aantal directe imputaties van onderwijsscores jaar-op-jaar zo constant mogelijk te houden voor de vergelijking van de huidige en nieuwe imputatiemethode is er daarom nog een extra subset onderzocht. Voor deze subset zijn enkel scholen geselecteerd die maximaal vijf procent verschillen in het aantal directe imputaties van onderwijsscores in 2022 en 2023.

Voor scholen waarbij een hoog aandeel van de onderwijsscores direct wordt geïmputeerd lijkt de nieuwe imputatiemethode voor meer stabiliteit in achterstandsscores over de jaren heen te zorgen. Voor deze scholen is het gemiddelde verschil in achterstandsscores tussen 2023 en 2022 ongeveer gehalveerd. Daarnaast is ook de standaarddeviatie van de verschilscores gedaald voor zowel scholen met minstens 10% direct geïmputeerde onderwijsscores als voor scholen met minstens 25% direct geïmputeerde onderwijsscores. Wanneer er enkel gekeken wordt naar de subsets van scholen die in 2022 en 2023 maximaal 5% verschillen in het aandeel directe imputaties is de daling van de standaarddeviatie iets kleiner.

Verschillen in achterstandsscores van gemeenten
Er is ook gekeken of de achterstandsscores van de gemeenten over de jaren heen stabieler werden bij het toepassen van de nieuwe imputatiemethode. Hiervoor zijn de verschillen in netto en bruto achterstandsscores van de gemeenten tussen 2023 en 2022 vergeleken, zie tabel 4.3.12.

Vergeleken met de huidige methode is de range tussen de ondergrens en bovengrens van de verschilscores kleiner geworden bij gebruik van de nieuwe methode, dit geldt voor zowel de netto achterstandsscores (met drempel) als de bruto achterstandsscores (zonder drempel). Ook is de standaarddeviatie van de verschilscores bij gebruik van de nieuwe methode gedaald ten opzichte van de huidige methode. Opvallend is dat het gemiddelde verschil juist iets is gestegen, maar deze stijging is relatief klein ten opzichte van de standaarddeviatie. Wanneer de verdeling van de verschilscores voor beide methodes wordt gevisualiseerd, is te zien dat deze stijging in gemiddelde verschilscore waarschijnlijk het resultaat is van het verdwijnen van twee sterke, negatieve, uitschieters bij het toepassen van de nieuwe methode ten opzichte van de huidige methode (zie figuur 4.3.14).

4.4 Conclusies

Dit hoofdstuk betreft de resultaten van de optimalisatie van het voorspelmodel dat gebruikt wordt voor het direct imputeren van onderwijsscores voor leerlingen voor wie er geen onderwijsscore kan worden berekend. Dit onderzoek richt zich op de grootste groep kinderen voor wie de onderwijsscore geïmputeerd moet worden: de kinderen die zelf wel staan ingeschreven in de BRP maar van wie één of beide ouders niet bekend zijn in de BRP. In de eerste stap werd onderzocht of het huidige imputatiemodel opgesplitst kon worden om zo het voorspelmodel voor elke specifieke imputatiegroep te kunnen optimaliseren. Door het voorspelmodel op te splitsen in drie voorspelmodellen voor de drie te imputeren categorieën (vader onbekend, moeder onbekend, en beide ouders onbekend) kunnen er meer achtergrondkenmerken worden meegenomen, wat mogelijk leidt tot meer accurate voorspellingen.

Voor de tweede stap is er voor deze drie imputatiecategorieën onderzocht welke combinatie van achtergrondkenmerken het best gebruikt kan worden om onderwijsscores voor individuele leerlingen te voorspellen. Op basis van de variabelen die al aanwezig zijn in de onderzoeksbestanden van de risico-indicator onderwijsachterstanden is er een lijst met mogelijke verklarende variabelen van onderwijsscores opgesteld. Met behulp van een stepwise-selectie procedure is er onderzocht welke variabelen voldoende verklaringskracht toevoegen om het voorspelmodel te verbeteren. Deze analyses resulteren in de volgende selectie van achtergrondkenmerken voor de groepen leerlingen waarbij één van de ouders ontbreekt:

• Opleidingsniveau ouder
• Ouders wel/niet in schuldsanering
• Inkomen ouder (in 20 percentielen)
• Verblijfsduur ouder (categorisch)
• Leeftijd ouder
• Sociaal economische categorie ouder
• Burgerlijke staat ouder
• Verblijfsduur ouder (in jaren)
• Herkomst kind
• Leeftijd kind
• Leeftijd kind naar Nederland
• Stedelijkheid van de buurt

Voor de leerlingen van wie beide ouders onbekend zijn blijven enkel de laatste vier schuingedrukte achtergrondkenmerken over.

Om de stabiliteit van de selectie van kenmerken voor de voorspelmodellen te onderzoeken is de stepwise-selectie procedure tevens toegepast op data van een eerder cohort. In beide procedures werden dezelfde achtergrondkenmerken geselecteerd, wat de stabiliteit van de selectie van variabelen voor het voorspelmodel lijkt te bevestigen.

In de derde stap is er onderzocht in hoeverre de aangepaste imputatiemethode daadwerkelijk resulteert in meer stabiliteit in onderwijsscores op individueel niveau en achterstandsscores op school- en gemeenteniveau. De nieuwe imputatiemethode zorgt op individueel niveau met name bij de imputatiegroepen ‘vader onbekend’ en ‘moeder onbekend’ voor meer stabiliteit in geïmputeerde onderwijsscores jaar-op-jaar. Voor de groep leerlingen van wie beide ouders onbekend zijn is er geen verbetering te zien wat betreft de stabiliteit in onderwijsscores. Dit is niet verrassend, aangezien het voorspelmodel voor deze groep niet is uitgebreid ten opzichte van de huidige imputatiemethode.

Op schoolniveau is de stabiliteit in achterstandsscores over de jaren heen onderzocht door verschillen in achterstandsscores van 2023 ten opzichte van 2022 te vergelijken voor de huidige en de nieuwe imputatiemethode. Dit is gedaan voor de totale populatie van scholen binnen het primair basisonderwijs, maar ook voor subsets van scholen met een hoog percentage leerlingen voor wie de onderwijsscore direct moest worden geïmputeerd. Voor elke (sub)populatie van scholen is te zien dat de standaarddeviatie van de verschilscores jaar-op-jaar bij gebruik van de nieuwe imputatiemethode lager ligt vergeleken met de huidige methode. De daling in standaarddeviatie van de nieuwe methode ten opzichte van de oude methode varieert, afhankelijk van de specifieke (sub)populatie waar naar gekeken wordt. De daling in de standaarddeviatie lijkt er op te wijzen dat de nieuwe imputatiemethode zorgt voor meer stabiliteit in achterstandsscores, met name voor scholen waar een hoog aandeel van de onderwijsscores van leerlingen moet worden geïmputeerd. Veranderingen in de range en het gemiddelde van de verschilscores waren minder uniform over de verschillende subgroepen heen.

Wanneer er wordt gekeken naar de verschilscores in achterstandsscores voor gemeenten is wederom een verbetering te zien wat betreft de stabiliteit in achterstandsscores. Voor zowel de bruto als netto achterstandsscores zien we dat de range in verschilscores kleiner is geworden. De nieuwe imputatiemethode lijkt ervoor te zorgen dat gemeente-achterstandsscores jaar-op-jaar minder extreem verschillen. Verder impliceert met name de sterke daling van de standaarddeviatie voor zowel de netto als de bruto achterstandsscores dat de nieuwe methode ook voor gemeenten zorgt voor meer stabiliteit in achterstandsscores over de jaren heen.

Tot slot geven we een korte vooruitblik op de tweede fase van dit onderzoekstraject. In deze fase zal de risico-indicator onderwijsachterstanden grootschalig worden herijkt. Ook specifiek voor het direct imputeren van onderwijsscores zal er onderzocht worden hoe de nieuwe methode gepresenteerd in het huidige rapport nog verder kan worden ontwikkeld en verbeterd. Ten eerste zal er worden onderzocht in hoeverre het voorspelmodel nog verder kan worden uitgebreid met achtergrondkenmerken, en dan met name de kenmerken die zijn behandeld in hoofdstuk 3 voor het imputeren van het opleidingsniveau van ouders. Bovendien zal er onderzocht worden of er interacties tussen verschillende kenmerken moeten worden meegenomen in het voorspelmodel. Verder is het voor de volgende fase belangrijk om naar achtergrondkenmerken te kijken die beschikbaar zijn voor de groep leerlingen bij wie informatie over beide ouders ontbreekt, zoals buurtkenmerken. Tevens zullen er alternatieven worden onderzocht voor het imputeren van onderwijsscores van gevallen waar individuele voorspellingen lastig zijn vanwege een gebrek aan achtergrondinformatie. Ook kan er worden gekeken of aanpassingen in de donorselectie voor Predictive Mean Matching kunnen leiden tot verbeteringen in de nauwkeurigheid van imputaties. 
Daarnaast kan het verkennen van andere voorspel- en imputatiemethodes, zoals beslisbomen, nieuwe inzichten bieden op het verbeteren van imputaties van onderwijsscores.

Tot slot kan het gebruik van een simulatiestudie waarbij onderwijsscores worden voorspeld voor leerlingen van wie deze berekend kan worden een waardevolle aanvulling zijn, omdat dan niet alleen de stabiliteit van onderwijsscores jaar-op-jaar wordt beoordeeld, maar ook de nauwkeurigheid van de voorspellingen en imputaties van verschillende methodes vergeleken kan worden.