2. Uitstellen middeling onderwijsscores

2.1 Inleiding

In de huidige methodiek van de risico-indicator onderwijsachterstanden wordt het opleidingsniveau van ouders waar dit niet bekend is tien keer geïmputeerd. Vervolgens wordt voor iedere imputatieronde een onderwijsscore berekend voor alle peuters en basisschoolleerlingen van wie beide ouders bekend zijn in de Basis Registratie Personen (BRP). Direct hierna wordt er een gemiddelde onderwijsscore berekend van deze tien losse berekeningen. Dit gemiddelde wordt vervolgens in het vervolg gebruikt. Voor kinderen van wie van één of beide ouders het opleidingsniveau ontbreekt zal de gemiddelde score over tien imputatieronden vaak boven de doelgroepgrens van 15% uitkomen, ook als enkele van de tien afzonderlijke scores daar wél onder liggen. Deze kinderen wegen door deze middeling dan helemaal niet mee in de achterstandsscore op schoolniveau, terwijl de spreiding in de imputaties in feite laat zien dat ze met een bepaalde kans wel behoren bij de groep kinderen met een verwachte achterstand. Dit verschijnsel werkt ook door als deze kinderen vervolgens als donor worden gebruikt voor het imputeren van scores voor kinderen met onbekende ouders. Dit kan worden voorkomen door de scores uit de tien imputatieronden zo lang mogelijk afzonderlijk te behandelen en pas te middelen nadat de scores zijn geaggregeerd naar school- of gemeenteniveau. In dit deelonderzoek zullen de effecten van deze aanpassing op de achterstandsscores van scholen en gemeenten daarom geïsoleerd worden bekeken.

2.2 Data en methoden

Voor dit onderzoek hebben we gebruik gemaakt van de microdatabestanden van de risico-indicator onderwijsachterstanden voor de jaren 2019, 2020 en 2021. Met behulp van deze data vergelijken we de huidige methode met een methode waarbij de middeling pas aan het einde van het proces wordt toegepast. Vanaf het berekenen van de onderwijsscores verloopt het huidige proces globaal als volgt:

• Voor elk kind worden 10 onderwijsscores berekend.
• Vervolgens wordt het gemiddelde over deze 10 scores berekend.
• Daarna worden ontbrekende waardes voor dit gemiddelde geïmputeerd.
• Tenslotte wordt er per school of gemeente één achterstandsscore berekend over deze gemiddelde score.

Door de middeling zo laat mogelijk toe te passen verandert het proces als volgt:

• Voor elk kind worden 10 onderwijsscores berekend.
• Vervolgens worden voor elk van deze 10 scores ontbrekende waardes geïmputeerd.
• Daarna worden er 10 achterstandsscores berekend op basis van de 10 onderwijsscores.
• Tenslotte worden deze achterstandsscores gemiddeld per school of gemeente.

Zoals te lezen in het vierde methoderapport, was de verwachting dat het uitstellen van de middeling zou leiden tot een verbetering van de scores doordat bij het imputeren per kind en per ronde een andere imputatiedonor gekozen kan worden. Dit zou moeten leiden tot een robuustere schatting van de onderwijsscore, en als resultaat ook de achterstandsscore, met name voor kinderen van wie het opleidingsniveau van beide ouders onbekend is. Dit is ook de verwachting omdat de spreiding van achterstandsscores bij deze groep relatief groot is, waardoor het relatief vaak voor kan komen dat het gemiddelde van 10 imputatierondes boven de grenswaarde van 15% ligt terwijl deze voor een deel van de individuele scores eronder ligt. Dit betekent in feite dat er een kans is dat ze bij de groep met een verwachte achterstand horen. Bij de oude methode wegen deze kinderen helemaal niet mee in het berekenen van achterstandsscores op schoolniveaus. Wanneer middeling wordt uitgesteld, wegen deze leerlingen wel mee in rondes waarin hun scores onder de grenswaarde liggen. Zo wordt de kans dat ze onder de grenswaarde liggen toch meegenomen in de uiteindelijke berekening van de achterstandsscores. De methodes werden met elkaar vergeleken voor drie jaren: 2019, 2020 en 2021. Ze zijn vergeleken op verschillende aspecten.

Stabiliteit. Als verschillen in onderwijsscores jaar op jaar kleiner zijn, dan is dat een indicatie dat er minder ruis in de berekening zit. Immers is de aanname dat “ware” onderwijsscores relatief stabiel zouden moeten zijn over de tijd heen. Een deel van de verschillen tussen jaren komt door de methode die gebruikt wordt. Bijvoorbeeld door verschillen in geïmputeerde onderwijsscores. In principe is het wenselijk om dat effect te minimaliseren. Om de methodes te vergelijken op hun stabiliteit is een analyse uitgevoerd die ook bij plausibiliteitscontroles van de risico-indicator onderwijsachterstanden wordt uitgevoerd. Hierbij zijn de verschillen in onderwijsscores tussen de jaren 2020 en 2021 op persoonsniveau uitgerekend per imputatiegroep. Dit is gedaan voor zowel de huidige als de nieuwe methode.

Versnippering en herverdeeleffecten. Door de verandering van de methode kan het voorkomen dat scholen die bij de huidige methode niet in aanmerking komen voor aanvullende financiering uit het onderwijsachterstandenbudget bij de nieuwe methode – uitstellen van middeling – wel in aanmerking komen voor extra middelen. Andersom – eerst wel extra middelen, daarna niet – kan ook voorkomen. Tevens kijken we of het aantal scholen dat in aanmerking komt voor extra middelen wijzigt. Dit is gedaan om in kaart te brengen in welke mate het aanpassen van de methode zou leiden tot “versnippering” van het budget. Dat wil zeggen dat veel scholen slechts een klein aandeel van het budget zouden krijgen.

Betrouwbaarheid. Voor het jaar 2021 zijn de varianties en betrouwbaarheidsmarges van de twee methodes met elkaar vergeleken. Bij deze vergelijking werd drie keer de achterstandsscore uitgerekend, waarna de variantie van de score werd bepaald. Deze vergelijking wordt gedaan aan de hand van de parameter K. K_g is een parameter die de bijdrage van een achterstandsleerling in stratum g aan de variantie van de achterstandsscore van de school waarop zij zitten uitdrukt bij twee verschillende (onafhankelijke) berekeningen van achterstandsscores. K_g is een aggregaat van de gemiddelde waarde van de bijdrage en de variantie daaromheen, gewogen naar de kans dat een willekeurige leerling uit stratum g een onderwijsscore heeft die bij minimaal één van de berekeningen onder de grenswaarde van 15% valt. Meer informatie over de berekening en afleiding van K_g is te vinden in Bijlage 2.

K_g is in dit rapport geschat door voor de populatie van 2021 het volledige bijschattingsproces drie keer onafhankelijk uit te voeren. Dit geeft drie mogelijke paarsgewijze vergelijkingen tussen onderwijsscores: (y_i1,y_i2), (y_i1,y_i3) en (y_i2,y_i3) met elk een schatting van K_g. Deze zijn vervolgens gemiddeld. Ook rapporteren we de standaarddeviaties gebaseerd op de spreiding in uitkomsten over deze drie paarsgewijze vergelijkingen. K is vergeleken voor uitgestelde en niet-uitgestelde middeling. Verder zijn in dit onderzoek drie strata onderzocht: drie verschillende subgroepen waarvoor de onderwijsscore wordt geïmputeerd.

2.3 Resultaten

2.3.1 Verschillen in onderwijsscores

De verschillen in individuele onderwijsscores tussen de jaren 2020 en 2021 zijn te zien in figuur 2.3.1 tot 2.3.4. De verwachting was dat het uitstellen van de middeling van onderwijsscores de verschillen tussen onderwijsscores uit opeenvolgende jaren kleiner zou maken. Dit bleek ook het geval: met name voor groepen van wie één of beide ouders onbekend zijn kwamen extreme verschillen (lager dan -2.5 of 2.5 of meer) tussen de jaren minder vaak voor, en minder extreme verschillen juist vaker. Over het geheel genomen namen de verschillen in onderwijsscores van personen tussen opeenvolgende jaren dus af. Dit verschil was het grootste bij kinderen van wie de score was geïmputeerd omdat de vader onbekend is. Bij kinderen die niet staan ingeschreven in de BRP (figuur 2.3.4) zijn wel wat verschuivingen te zien, maar er kan geen duidelijke conclusie getrokken worden dat uitstellen van de middeling een verbetering is.

2.3.2 Kenmerken van verschillen in achterstandsscores van scholen

In de volgende analyses worden voor verschillende (sub)groepen scholen beschrijvende kenmerken van de jaar-op-jaar verschillen in achterstandsscores getoond. Hierbij is met name de standaarddeviatie een belangrijk kenmerk, omdat deze de mate van spreiding van de jaar-op-jaar verschillen voor de gehele verdeling van een gegeven groep beschrijft. Minima en maxima worden ook getoond, maar deze zijn minder informatief omdat dit slechts de hoogste positieve of negatieve jaar-op-jaar verandering betreft, zonder informatie over de hoeveelheid scholen die in de buurt van die waarde zitten. De minima en maxima betreffen dus vrijwel altijd uitbijters. Wel zouden ze eventueel informatie kunnen verschaffen over of een methode voor een selecte groep scholen beter of slechter werkt. Tenslotte wordt het gemiddelde verschil getoond. Deze gemiddelden moeten rond de 0 zitten en niet teveel verschillen tussen de gebruikte methodes.

In tabel 2.3.5 staan de kenmerken van verschillen in bruto achterstandsscore, dat wil zeggen zonder het toepassen van de drempel, van alle scholen beschreven. In deze tabel staat dus in principe de verdeling van jaar-op-jaar verschillen van achterstandsscores van alle scholen. Wanneer middeling wordt uitgesteld, verandert de verdeling van de jaar-op-jaar verschillen iets ten opzichte van de huidige methode. De grootste verschillen nemen iets toe, te zien in de toename van de onder- en bovengrens, terwijl de algehele spreiding, te zien in de standaarddeviatie, juist afneemt (-2%). Met name dat laatste ligt in de lijn der verwachting: doordat de middeling later in het proces plaatsvindt, wordt het uitrekenen van de achterstandsscore tien keer herhaald, wat in theorie zou moeten leiden tot robuustere uitkomsten en dus minder spreiding (kleinere verschillen) tussen jaren. Het gemiddelde verschil is nagenoeg hetzelfde voor beide methodes.

Tabel 2.3.6 beschrijft de kenmerken van verschillen in netto achterstandsscores van scholen, dat wil zeggen met het toepassen van de drempel, die in zowel 2020 als 2021 middelen kregen toebedeeld uit het onderwijsachterstandenbudget. Wanneer middeling wordt uitgesteld, nemen de grootste verschillen wederom toe vergeleken met de huidige methode. Echter neemt zowel het gemiddelde verschil als de standaarddeviatie van het verschil af. Dit betekent dat, hoewel voor enkele scholen de verschillen groter worden wanneer middeling wordt uitgesteld, de algehele spreiding van verschillen in achterstandsscores van scholen die middelen uit het achterstandenbudget krijgen kleiner wordt. De afname van de standaarddeviatie is ook sterker (-5%) dan bij de verschillen in bruto achterstandsscores van alle scholen. Dit kan suggereren dat het uitstellen van de middeling van achterstandsscores een positiever effect heeft voor scholen die in beide jaren middelen krijgen uit het onderwijsachterstandenbudget. Eén van de mogelijke oorzaken hiervan is dat het uitstellen van middeling de imputatie van onderwijsscores robuuster maakt, zoals te lezen in paragraaf 2.3.1. Dat zou betekenen dat scholen waarvan bij relatief veel leerlingen de onderwijsscore is geïmputeerd, meer baat hebben bij het uitstellen van middeling. Om dit te onderzoeken is ook specifiek gekeken naar scholen waarvan een relatief groot deel van de leerlingen geïmputeerd is. Er is voor gekozen om naar scholen te kijken waarvan bij 10% of meer van de leerlingen de onderwijsscore is geïmputeerd, en scholen waarvan bij 25% of meer van de leerlingen de onderwijsscore is geïmputeerd.

Bij scholen waarvan bij 10% van de leerlingen de onderwijsscore is geïmputeerd, neemt de standaarddeviatie, net als bij de gehele populatie scholen, af (-2,5%) wanneer middeling wordt uitgesteld ten opzichte van de huidige methode. Deze afname is wel minder sterk dan bij alle scholen die in beide jaren middelen krijgen uit het onderwijsachterstandenbudget. Het gemiddelde verschil neemt ook een beetje af, net als het maximale negatieve verschil. Het maximale positieve verschil wordt juist groter. Om te onderzoeken in welke mate deze verschillen te maken hebben met jaar-op-jaar verschillen in het aantal imputaties op een school, is ook gekeken naar scholen met 10% of meer leerlingen met geïmputeerde onderwijsscores, waarvan het jaar-op-jaar verschil in percentage leerlingen met geïmputeerde onderwijsscores niet hoger was dan ± 5% (tabel 2.3.8).

Bij scholen waarvan bij minimaal 10% van de leerlingen de onderwijsscore is geïmputeerd was en waarbij er geen grote jaar-op-jaar verschillen waren in het percentage imputaties, nemen zowel het gemiddelde verschil als de standaard deviatie (-5%) af wanneer middeling wordt uitgesteld ten opzichte van de huidige methode. Het maximale negatieve verschil neemt juist toe. Ook hier kan geconcludeerd worden dat individuele scholen misschien grotere verschillen vertonen jaar op jaar, maar de algehele spreiding van verschillen voor alle scholen in deze subset verkleint.

Bij scholen waarvan bij minimaal 25% van de leerlingen de onderwijsscore is geïmputeerd, neemt de standaarddeviatie wederom af; zie tabel 2.3.9. Deze afname is wel relatief klein. Net als in voorgaande vergelijkingen neemt het maximale positieve verschil toe. Anders dan bij andere vergelijkingen neemt het gemiddelde verschil iets toe wanneer middeling wordt uitgesteld. Dat verschil is echter niet groot. Ook voor deze subgroep is verder gekeken naar scholen die kleine jaar-op-jaar verschillen hadden in het aantal imputaties, te zien in tabel 2.3.10.

Bij deze scholen neemt de standaarddeviatie af wanneer middeling wordt uitgesteld. Dit effect is iets sterker dan in de gehele groep scholen met meer dan 25% imputaties. Anders dan in tabel 2.3.8 is te zien, nemen ook het gemiddelde verschil en het maximale positieve verschil iets af ten opzichte van de huidige methode.

2.3.3 Kenmerken van jaar-op-jaar verschillen in bruto en netto achterstandsscores op gemeenteniveau

Tabel 2.3.11 toont jaar-op-jaar verschillen in bruto achterstandsscores voor gemeentes, uitgesplitst naar methode. Hieruit is op te maken dat wanneer middeling wordt uitgesteld, alle kenmerken lager uitvallen ten opzichte van de huidige methode. In het bijzonder neemt de standaarddeviatie af met 27%. Dat is een aanzienlijk verschil, en veel groter dan de verschillen die te zien waren op schoolniveau.

Tabel 2.3.12 toont jaar-op-jaar verschillen in netto achterstandsscores voor alle gemeentes, uitgesplitst naar methode. Net als bij de bruto achterstandsscores nemen alle kenmerken af wanneer middeling wordt uitgesteld ten opzichte van de huidige methode. In het bijzonder neemt de standaarddeviatie af met 31%.

2.3.4 Verschillen in verdeling van het onderwijsachterstandenbudget wanneer middeling zou worden uitgesteld.

In tabel 2.3.13 wordt per jaar getoond hoeveel extra scholen middelen zouden krijgen wanneer middeling zou worden uitgesteld ten opzichte van de huidige methode. Dat aantal varieert van 159 (2021) tot 281 (2019). Daarnaast is te zien hoeveel procent van het onderwijsachterstandenbudget naar deze scholen zou gaan per jaar. Dit varieert van 0,410% (2021) tot 0,728% (2019). Dit zijn relatief lage percentages, waardoor geconcludeerd kan worden dat het uitstellen van middeling van achterstandsscores niet leidt tot versnippering van het budget.

Tenslotte is ook onderzocht hoeveel scholen volgens de huidige methode wel middelen krijgen uit het onderwijsachterstandenbudget, maar wanneer middeling wordt uitgesteld niet meer. In 2019 zouden dit 49 scholen zijn; in 2020 62 scholen, en in 2021 67 scholen. Er zijn dus maar weinig scholen die volgens de huidige methode wel middelen toebedeeld krijgen en dat niet meer zouden krijgen wanneer middeling wordt uitgesteld.

2.3.5 Vergelijking van parameter K met en zonder uitstellen van middeling

Zoals genoemd in de methodesectie is de parameter K uitgerekend voor achterstandsscores waarbij middeling is uitgesteld en scores waarbij dat niet het geval was. In tabel 2.3.14 zijn de parameterwaarden te zien voor de verschillende strata. Zoals genoemd zijn hier alleen de strata geanalyseerd waarin de opleidingsniveaus van de moeder, de vader of beide ouders onbekend zijn, omdat het uitstellen van de middeling in principe alleen op deze leerlingen effect heeft. Daarnaast zijn dit ook de strata die het meeste invloed hebben op de variantie van de achterstandsscores (en de hoogste K waarde hebben). In principe is een lage waarde voor K wenselijk, omdat dit een lagere variantie in achterstandsscores tot gevolg heeft.

Zowel de waarde van K als de standaarddeviatie van K zijn aanzienlijk lager voor alle strata wanneer middeling wordt uitgesteld dan wanneer dit niet wordt gedaan. Dit betekent dat wanneer de middeling van achterstandsscores wordt uitgesteld, leerlingen van wie het opleidingsniveau van minimaal één ouder wordt geïmputeerd aanzienlijk minder bijdragen aan de variantie in achterstandsscore van de school waarop zij zitten. Dit leidt vervolgens tot significant minder variantie in achterstandsscores van scholen of gemeentes in het algemeen, maar in het bijzonder van die scholen of gemeentes waarin veel leerlingen aanwezig zijn van wie één of beide ouders onbekend zijn.

2.4 Conclusies

In dit onderzoek werd onderzocht welke effecten het uitstellen van middeling bij het berekenen van achterstandsscores heeft. Hier is gekeken naar de verdeling van jaar-op-jaar verschillen van individuele onderwijsscores, de verdeling van financiering op basis van achterstandsscores, de verdeling van jaar-op-jaar verschillen in achterstandsscores op school- en gemeenteniveau, en de variantiebijdrage aan achterstandsscores van leerlingen van wie het opleidingsniveau van één of beide ouders geïmputeerd is.

Uit de resultaten van het onderzoek blijkt dat het uitstellen van middeling van achterstandsscores leidt tot kleinere verschillen in individuele onderwijsscores tussen verschillende jaren, met name voor leerlingen van wie het opleidingsniveau van één of beide ouders onbekend is. Bij kinderen die niet bekend zijn in de BRP is dit nauwelijks het geval. Ook is de spreiding van jaar-op-jaar verschillen in zowel bruto (zonder drempel) als netto (met drempel) achterstandsscores lager wanneer middeling wordt uitgesteld. Deze vermindering is bescheiden, maar is wel groter wanneer wordt gekeken naar scholen die in beide jaren relatief veel geïmputeerde leerlingen hadden. Daarentegen neemt de spreiding van jaar-op-jaar verschillen in achterstandsscores op gemeenteniveau wel fors af wanneer middeling wordt uitgesteld.

Daarnaast leidt uitstelling van middeling tot een lagere variantiebijdrage van leerlingen van wie het opleidingsniveau van één of beide ouders geïmputeerd was doordat voor deze groepen zowel de waarde als de standaarddeviatie van parameter K lager is wanneer middeling wordt uitgesteld. Het effect hiervan is groot: het uitstellen van middeling verlaagde de grootte van K met 85-90%. Het gevolg hiervan is dat de standaardfout van achterstandsscores kleiner wordt, wat leidt tot minder variantie in achterstandsscores voor scholen met veel leerlingen die behoren tot de genoemde groepen. Dat is een positief resultaat omdat de ervaring leert dat juist scholen met relatief veel geïmputeerde leerlingen veel fluctueren in hun achterstandsscores over verschillende jaren ten gevolge van fluctuaties in geïmputeerde scores. Dat betekent dat deze scholen deels verschillen in achterstandsscores door de gebruikte methode en niet door veranderingen in variabelen onderliggend aan achterstandsscores. Het verminderen van deze variantie leidt dus tot consistentere achterstandsscores over meerdere jaren, wat ook beter aansluit bij de “echte” situatie. Dat wil zeggen, veranderingen komen in mindere mate door onzekerheid bij het imputeren van ontbrekende informatie en dus relatief in meerdere mate door veranderingen in de daadwerkelijke situatie van een school. Dit is dan ook een mogelijke verklaring voor het feit dat uitstellen van middeling leidt tot minder spreiding van jaar-op-jaar verschillen in achterstandsscores op zowel school- als gemeenteniveau.

Tenslotte is onderzocht welke effecten het uitstellen van middeling zou hebben op de daadwerkelijke verdeling van het onderwijsachterstandenbudget. Met name of dit zou leiden tot “versnippering” van het budget, waarbij veel scholen relatief weinig budget zouden ontvangen met als gevolg dat deze scholen slechts beperkt effectieve maatregelen zouden kunnen nemen om onderwijsachterstanden te bestrijden. Een ander mogelijk gevolg dat werd onderzocht was of verandering in methodiek zou leiden tot een grote verschuiving in welke scholen middelen uit het onderwijsachterstandenbudget toebedeeld zouden krijgen. In dit onderzoek is geen indicatie gevonden dat deze zaken in belangrijke mate zouden plaatsvinden wanneer besloten wordt om middeling van achterstandsscores uit te stellen.

Kortom, Het uitstellen van het middelen van achterstandsscores lijkt positieve gevolgen te hebben voor de robuustheid van individuele onderwijsscores, en achterstandsscores op school- en gemeenteniveau. Daarnaast lijken geanticipeerde nadelen niet, of in zeer beperkte mate, aanwezig.