4. Conclusies en aanbevelingen

4.1 Conclusies

In dit slothoofdstuk worden de conclusies op basis van de pilot weergegeven en aanbevelingen gedaan voor de verdere ontwikkeling van een landelijke monitor Laaggeletterdheid. 
In de pilot stonden drie vragen centraal, namelijk: 

1. welke gegevens over deelnemers zijn beschikbaar bij gemeenten en aanbieders van cursussen en zijn die onderlinge vergelijkbaar?
2. welke beperkingen ondervinden gemeenten en aanbieders bij het aanleveren van de gegevens?
3. wat moet er ingericht worden om de gegevenslevering zo goed mogelijk aan te laten sluiten bij de praktijk van gemeenten en aanbieders?

In reactie op de eerste vraag kan geconcludeerd worden dat het (nog) niet alle gemeenten en aanbieders is gelukt om de basisset met gegevens aan te leveren. Deze informatie was niet beschikbaar of kon niet zo snel worden geleverd. Diverse factoren kunnen hierbij een rol gespeeld hebben, bijvoorbeeld dat gegevens vanuit verschillende registratiesystemen of van verschillende aanbieders opgehaald moesten worden, of dat gemeenten voor een andere monitor gewend zijn net iets andere gegevens te leveren. Zo zijn er bijvoorbeeld gemeenten en aanbieders die geen onderscheid hebben gemaakt naar geslacht of naar leeftijd. Dit sluit aan bij de eerdere bevindingen van ICTU. 

Over het algemeen geldt dat de gegevens goed bruikbaar zijn van degenen die het sjabloon hebben gevolgd en die op recordniveau hebben aangeleverd. Het zijn veelal de aanbieders die op recordniveau hebben aangeleverd terwijl de meeste gemeenten hebben gekozen voor het (deels) geaggregeerd aanleveren. 

Als de gegevens goed bruikbaar zijn, wil dit niet per definitie zeggen dat ze onderling ook goed vergelijkbaar zijn. Ook dan kunnen nog steeds verschillen in interpretatie bestaan. Uit de voor deelnemers georganiseerde bijeenkomsten bleek ook dat er discussie is over definities en dat de geformuleerde toelichting niet altijd aansloot bij de manier waarop in de praktijk wordt gehandeld. Indruk is desondanks dat de op recordniveau aangeleverde gegevens redelijk goed vergelijkbaar zijn en in ieder geval een goede basis bieden voor doorontwikkeling. Voor de geaggregeerd aangeleverde data is dit minder het geval. 

In reactie op de tweede vraag kan geconcludeerd worden dat gemeenten en aanbieders verschillende beperkingen hebben ervaren. 

• Het voor deze pilot gemaakt Excel format bleek niet voor alle gemeenten en aanbieders goed werkbaar. Kolomnamen zijn aangepast en ook zijn andere categorieën opgeleverd dan gevraagd. De variabele woongemeente bleek niet voldoende duidelijk, in plaats van gemeente is door meerdere gemeenten en aanbieders woonplaats opgeleverd. En ook de notatie van geboortedatum leverde meerdere varianten op. Om de aangeleverde gegevens geautomatiseerd te kunnen verwerken, is het van belang om exact het format te volgen. Omdat dit de eerste keer was dat deze uitvraag op deze manier is gedaan, is de verwachting dat er ook gewenning zal zijn en dat een deel van de ervaren beperkingen bij een volgende aanlevering al minder zullen spelen. 
• Van de 16 deelnemers (gemeenten) aan de pilot zijn er 13 geweest die ook daadwerkelijk hebben kunnen leveren. 
• Het tijdpad bleek met name voor gemeenten ietwat krap. Meerdere keren is door gemeenten aangegeven dat zij nog volop bezig zijn met het opzetten van het monitoring van laaggeletterdheid en dat de verzameling van de benodigde gegevens nog in de opstartfase is. Een aantal gemeenten gaf ook aan dat ze gedurende de looptijd van de pilot te maken hadden met meerdere uitvragen van gegevens. Deze factoren kunnen van invloed zijn geweest op de gegevenslevering binnen de pilot.
• Voor elke deelnemer aan de pilot is een uploadkanaal ingericht zodat gegevens op een veilige manier naar het CBS verstuurd konden worden. Een aantal deelnemers heeft de datalevering via e-mail gedaan. Reden daarvoor was dat de contactpersoon was gewijzigd waardoor de inloggegevens niet meer klopten en het op dat moment ook niet meer mogelijk was om nieuwe inloggegevens toe te sturen. Dit laatste had te maken met de duur van de pilot, verwachting is dat dit geen probleem is bij een reguliere levering van de data. 

In reactie op de derde vraag kan geconcludeerd worden dat met name gemeenten moeite leken te hebben met het aanleveren van de gegevens. Eerste indruk is dat dit vooral komt omdat dit de eerste keer is dat een dergelijke uitvraag is gedaan. Dit zou ook moeten blijken uit het vervolgonderzoek van ICTU. In dat onderzoek wordt nagegaan wat de ervaringen en aandachtspunten zijn, zowel organisatorisch als technisch, rondom gegevensaanlevering binnen de pilot. Doel hiervan is om de datalevering te versoepelen en de datakwaliteit te bevorderen. Ook is de indruk dat de uitvraag voor een aantal gemeenten net iets te vroeg kwam doordat ze nog niet zo ver waren dat ze de eigen verzameling van de beoogde gegevens, al dan niet met hulp van een externe partij, (volledig) hadden ingericht. 

Voor het CBS is het van groot belang dat voor de doorontwikkeling van een landelijke output monitor gegevens daadwerkelijk geautomatiseerd verwerkt kunnen worden. Deze pilot leert dat het op recordniveau aanleveren van de gegevens exact volgens het format daar een goede basis voor biedt. Wat betreft dat format, voor vrijwel alle deelnemers lijkt het format niet voldoende duidelijk als het gaat om deelnemers die aan meerdere cursussen hebben deelgenomen. Hiervoor zou in het format nog een aanpassing gedaan moeten worden. 

Tot slot is het de vraag of voor alle gemeenten even duidelijk was wat het verschil is tussen de outcome resultaten die in lokale/regionale monitors worden opgenomen en de output die beoogd is in de landelijke monitor Laaggeletterdheid. Idee is dat de landelijke monitor en de regionale monitors elkaar gaan aanvullen en versterken. Beeld was echter dat sprake is van overlap en dubbel werk. 

4.2 Aanbevelingen

Op basis van bovenstaande conclusies kunnen voor de doorontwikkeling van een landelijke output monitor Laaggeletterdheid de volgende aanbevelingen worden gedaan. Deze aanbevelingen zijn onderverdeeld in een aantal categorieën.  

Format

• Lever gegevens aan op recordniveau, en idealiter met persoonsidentificerende informatie. Dit is informatie die over iemand gaat of naar deze persoon te herleiden is, bijvoorbeeld een burgerservicenummer. Op die manier kunnen unieke personen worden geteld en dubbelingen voorkomen. Op termijn zou een koppeling kunnen worden gemaakt met andere bronnen en daarmee aangesloten kunnen worden bij de aanbevelingen die door de OESO zijn gedaan, zoals het in kaart brengen van een aanvullende set variabelen (bijvoorbeeld onderwijsachtergrond en arbeidssituatie van cursusdeelnemers).
• Optimaliseer het Excel format als het gaat om deelnemers die meerdere cursussen hebben gevolgd zodat zowel het aantal deelnemers aan cursussen als het aantal gevolgde trajecten goed in beeld is.
• Zorg eventueel voor extra controles in het Excel format zodat voor deelnemers ook helder is wat ze moeten aanleveren en voorkomen kan worden dat het format wordt aangepast.
• Mogelijk kan in aanvulling op het Excel format een afzonderlijke uniformeringstool met controleregels worden ontwikkeld die gebruikt kan worden om de data gereed te maken voor plaatsing in het Excel format.

Terminologie

• Kies zo eenduidig mogelijke definities van de zes outputgegevens en gebruik deze in het Excel format. Sluit hierbij aan bij de bestaande praktijk van gemeenten en aanbieders. De meest recente versie van het kwaliteitskader kan hierbij de leidraad vormen. 

Dataverzameling en -levering

• Lever data aan gedurende één periode per jaar. In overleg met Rijk en gemeenten zou bepaald moeten worden welke periode in het jaar het meest passend is voor de dataverzameling. Op basis van de pilot ervaringen lijken Q2 of Q3 het beste aan te sluiten bij de periode waarin gemeenten/aanbieders de gegevens van het gehele afgelopen jaar ter beschikking hebben.
• In het kader van de AVG mogen de data alleen door de data eigenaars, d.w.z. gemeenten of aanbieders zelf aan het CBS worden aangeleverd. Een deel van de gemeenten gaat naar verwachting aanleveren via een externe partij (Qwasp). Bouw daarom een extra verificatiestap in om er zeker van te zijn dat de gemeente/aanbieder afzender van de data  is.
• Handhaving (verplichtstelling voor deelname) door CBS zal niet wenselijk zijn, en dus ook niet plaatsvinden, zo lang er nog geen wettelijke basis voor de gegevenslevering is (geen verplichte statistiek). Mogelijk wordt de WEB per 2022/2023 aangepast en zal het wettelijk kader voor deze verzameling en levering verduidelijkt zijn

Steekproef

• Om een op landelijk niveau representatief beeld te verkrijgen van de stand van zaken rondom de aanpak van laaggeletterdheid is het noodzakelijk dat alle gevraagde data (zes outputgegevens) van zoveel mogelijk centrumgemeenten beschikbaar zijn. Hiervoor dient een beroep te worden gedaan op de individuele verantwoordelijkheid van de 35 centrumgemeenten om gezamenlijk bij te dragen aan een voor eenieder bruikbare monitor. Actieve stimulans om data aan het CBS aan te leveren, bijvoorbeeld vanuit Werkgroepen/Rijk/VNG/Divosa kan hierbij een belangrijke factor zijn. 

Afstemming

• Aangezien het CBS in de pilot ervaring heeft opgedaan met het verzamelen en verwerken van de data, is het aan te bevelen advies in te winnen bij de CBS experts op het gebied van dataverzameling en dataverwerking. Het betreft dan vooral advies rondom het optimaliseren van het Excel format en het mogelijk ontwikkelen van een afzonderlijke uniformeringstool met controleregels. Dit kan bijdragen aan het nader verkrijgen van inzicht in de functionaliteiten die het Excel format en mogelijk een afzonderlijke uniformeringstool moet(en) bezitten.

Ondersteuning

• Om de gemeenten en cursusaanbieders te ondersteunen bij de datalevering verdient het aanbeveling een vraagbaak in te richten waar zij terecht kunnen met vragen rondom deelname aan het onderzoek. Hiervoor kan het e-mailadres laaggeletterdheid@cbs.nl gebruikt worden, dat in de pilot ook al beschikbaar was.