2. Data

2.1 Doel

Het doel van de herijking is te bepalen in welke mate de omgevingskenmerken uit de po-indicator ermee samenhangen dat leerlingen in het vo beter of slechter presteren dan verwacht gezien hun intelligentie. Hierbij worden in principe dezelfde omgevingskenmerken behouden uit de po-indicator, maar het relatieve belang van de diverse kenmerken wordt opnieuw geschat. Op deze manier vinden we een herijkte onderwijsachterstandsindicator voor het vo. In het vervolg van dit rapport zullen we daaraan refereren als de “vo-indicator”, met de kanttekening dat de keuze aan OCW is of de herijkte indicator daadwerkelijk op deze manier zal worden ingezet.

De oorspronkelijke po-indicator is bepaald door een model te schatten voor schoolprestaties van leerlingen in het po, gemeten door de Cito-eindtoetsscore in groep 8. Om deze indicator te herijken is een maat nodig voor schoolprestaties in het vo. Anders dan bij het po is in het vo geen universele toets beschikbaar die schoolprestaties voor alle leerlingen op dezelfde manier meet. Bij de herijking die beschreven is in het eerdere leerplus-rapport is daarom alleen het onderwijsniveau dat een leerling in het vo volgt gebruikt als maat voor schoolprestaties. In het huidige onderzoek willen we dit uitbreiden met eindexamencijfers.

2.2 Data voor de herijking

Het model dat gebruikt is voor de nieuwe herijking wordt beschreven in hoofdstuk 3. Om dit model te kunnen schatten is per leerling de volgende informatie nodig:

• een intelligentiemeting;
• de omgevingskenmerken uit de po-indicator;
• vo-eindexamencijfers en het onderwijsniveau waarop de leerling examen doet.

Wat de eerste twee punten betreft maken we gebruik van dezelfde databronnen als bij het onderzoek waarin de po-indicator is bepaald. Voor de intelligentiemeting gebruiken we data uit het Cohortonderzoek Onderwijsloopbanen^5-18 (hierna: COOL-onderzoek) uit de schooljaren 2007/’08, 2010/’11 en 2013/’14. In dit onderzoek is bij een steekproef van leerlingen uit groep 5 van het po een proxy voor intelligentie gemeten met de zogenaamde niet-schoolse cognitieve capaciteitentest (nscct). De andere omgevingskenmerken zijn op het CBS beschikbaar uit registers. Net als bij de po-indicator zijn deze kenmerken gemeten op een peildatum in de buurt van 1 september in het schooljaar waarin de leerling in groep 8 zit.

Voor het kenmerk gemiddeld opleidingsniveau van moeders per (po-)school is een aanpassing nodig ten opzichte van de po-indicator. De betekenis van dit kenmerk verandert nu we kijken naar onderwijsachterstanden in het vo, aangezien de po-school waarop een leerling eerder heeft gezeten hooguit nog indirect invloed kan hebben op schoolprestaties in het vo. Vanuit een praktisch oogpunt zou het bovendien omslachtig zijn om dit kenmerk bij te houden voor leerlingen in het vo bij het berekenen van de indicator. We hebben dit kenmerk bij het herijken daarom in eerste instantie vervangen door het gemiddelde opleidingsniveau van moeders voor de vo-school waarop een leerling zit.

Eindexamencijfers zijn op het CBS integraal beschikbaar in een register. We hebben deze cijfers aangekoppeld voor alle schooljaren van 2013/’14 tot en met 2019/’20, het meest recente afgesloten schooljaar op het moment dat dit onderzoek plaatsvond. De oudste leerlingen voor wie in dit onderzoek een intelligentiemeting beschikbaar is zaten in 2007/’08 in groep 5, de jongste zaten in 2013/’14 in groep 5. Het is daarom vrijwel uitgesloten dat de oudste leerlingen vóór 2013/’14 eindexamen vo hebben gedaan. Anderzijds zullen de meeste leerlingen uit het jongste cohort ten tijde van dit onderzoek nog geen eindexamen hebben gedaan; deze kunnen daarom niet worden meegenomen bij het herijken van de indicator. Leerlingen uit het middelste cohort (in 2010/’11 in groep 5) die een vwo-opleiding volgen doen, bij een nominale looptijd vanaf groep 5, eindexamen in 2019/’20. Om een dataset te verkrijgen die voldoende dekking heeft over de volledige breedte van het vo is het daarom essentieel om ook het schooljaar 2019/’20 mee te nemen. In het bijzonder was het huidige onderzoek daarom niet goed mogelijk geweest ten tijde van de eerdere, verkennende herijking, toen de gegevens uit 2018/’19 en 2019/’20 nog niet beschikbaar waren.

Merk op: bij het jongste cohort ontbreken nog de examencijfers van (met name vwo-)leerlingen die langer dan zes jaar in het vo zitten voordat zij voor de eerste keer examen doen; bij de oudere cohorten zijn deze cijfers wel beschikbaar. Onder de oudere vwo-leerlingen voor wie in onze dataset wel examencijfers beschikbaar zijn heeft ongeveer 17% een vertraging opgelopen van minimaal een jaar. In het model in hoofdstuk 3 wordt rekening gehouden met de mogelijke invloed van een langere vo-tijd op de examencijfers.

Vanwege de maatregelen in verband met de COVID 19-pandemie zijn in het schooljaar 2019/’20 geen centrale eindexamens afgenomen, alleen schoolexamens. Om de beschikbare informatie voor alle jaren vergelijkbaar te houden hebben we ervoor gekozen om uit alle jaren alleen de schoolexamencijfers te gebruiken. Voor elke leerling is het gemiddelde cijfer berekend van alle schoolexamens die meetellen voor het diploma en waarvoor een geldig cijfer (tussen 1,0 en 10,0) beschikbaar is. Het maakt hierbij niet uit of de leerling geslaagd of gezakt is. Als een leerling in de onderzochte periode meer dan één keer eindexamen heeft gedaan, zijn we uitgegaan van het gemiddelde cijfer bij het eerste examen.

Uit een verkennende analyse blijkt dat de gemiddelde schoolexamencijfers in ons bestand in 2019/’20 gemiddeld 0,15 punt hoger liggen dan in 2018/’19. Deze verschuiving is echter niet selectief naar de kenmerken die in een rol spelen in de achterstandsindicator. In het bijzonder vinden we een vergelijkbare verschuiving van het gemiddelde cijfer tussen 2018/’19 en 2019/’20 bij alle herkomstgroeperingen. Voor het uitvoeren van de herijking is dit daarom geen bezwaar. Voor een uitgebreidere analyse van de schoolexamencijfers van 2019/’20 verwijzen we naar een rapportage door DUO.

Er zijn examencijfers beschikbaar voor 37 760 leerlingen uit het COOL-onderzoek. Daarnaast zijn er 3 385 leerlingen uit het COOL-onderzoek die praktijkonderwijs volgen in het vo en daarom geen eindexamen doen; ook deze leerlingen worden meegenomen bij het herijken van het model (zie paragraaf 2.3). Binnen deze selectie is een nscct-score bekend voor 13 493 leerlingen. Het model voor herijking wordt uiteindelijk geschat op deze steekproef. Ter vergelijking: voor het bepalen van de oorspronkelijke po-indicator was een steekproef van 13 466 leerlingen beschikbaar. De twee steekproeven hebben een vergelijkbare grootte maar overlappen slechts gedeeltelijk, omdat bij het bepalen van de po-indicator geen eindexamencijfers nodig waren maar juist wel Cito-eindtoetsscores in groep 8.

Uit een verkennende analyse blijkt dat de steekproef van 13 493 leerlingen voldoende representatief verdeeld is over de verschillende schoolniveaus in het vo. Ten opzichte van de populatieverdeling zijn vmbo-leerlingen licht oververtegenwoordigd en havo- en vwo-leerlingen licht ondervertegenwoordigd.

2.3 Schoolprestaties als combinatie van onderwijsniveau en examencijfer

Voor de nieuwe herijking willen we schoolprestaties in het vo meten door een combinatie van het gemiddelde examencijfer dat een leerling haalt en het niveau waarop hij/zij eindexamen doet. Met de gegevens die beschikbaar zijn kunnen zes onderwijsniveaus worden onderscheiden:
1. Praktijkonderwijs
2. Vmbo-basisberoeps
3. Vmbo-kaderberoeps
4. Vmbo-gemengd/theoretisch
5. Havo
6. Vwo

Bij de eerdere herijking werden 12 onderwijsniveaus onderscheiden in het vo. Niet al deze niveaus komen echter voor in eindexamenjaren; denk bijvoorbeeld aan gemengde brugklassen.

Het niveau Praktijkonderwijs wordt niet verder uitgesplitst omdat hiervoor geen examengegevens beschikbaar zijn. De andere vijf niveaus kunnen worden gedetailleerd op basis van het gemiddelde examencijfer dat een leerling haalt. Om de examencijfers te combineren met de bovengenoemde onderwijsniveaus, delen we deze cijfers in een beperkt aantal categorieën in op basis van kwantielen. Deze kwantielen worden bepaald op de bovengenoemde grotere steekproef van 37 760 leerlingen, inclusief de leerlingen uit het COOL-onderzoek voor wie geen nscct-score beschikbaar is. We hebben een aantal meer en minder gedetailleerde indelingen onderzocht, om te toetsen hoe gevoelig de uitkomsten van de herijking zijn voor de keuze van deze indeling. Tabel 2.3.1 tot en met Tabel 2.3.3 tonen alle indelingen die zijn onderzocht. (N.B. Voor het 0%- en 100%-kwantiel is hier steeds het theoretische minimum en maximum ingevuld, niet de laagste en hoogste waarde die toevallig voorkwam in de steekproef.)

De schoolprestatie van een leerling wordt nu gemeten door een variabele met als categorieën: het onderwijsniveau waarop de leerling examen doet gecombineerd met het kwantiel waarin het gemiddelde eindexamencijfer valt (behalve als het niveau Praktijkonderwijs is). Bij een indeling in drie, vier of vijf kwantielen heeft deze doelvariabele, respectievelijk, 16, 21 of 26 categorieën. Een natuurlijke vraag hierbij is of het behalen van een van de hoogste examencijfers op een bepaald niveau (zeg havo) op deze schaal moet worden gezien als een lagere of een hogere prestatie dan het behalen van een van de laagste examencijfers op het eerstvolgende niveau (in dit voorbeeld: vwo). In de analyses in hoofdstuk 3 worden beide varianten onderzocht, om na te gaan of deze keuze veel invloed heeft op de resulterende indicator.