2. Onderzoeksmethode

In dit onderzoek heeft het CBS de in 2018 ontwikkelde enquête uitgezet onder alle Nederlandse gemeenten. Vervolgens is er opgehoogd voor non-respons. Hiermee wordt een betrouwbaar cijfer verkregen over het aantal personen, op landelijk niveau, dat in maart 2024 een maatschappelijk nuttige activiteit als tegenprestatie heeft opgedragen gekregen en/of uitgevoerd.

2.1 Enquête

De enquête is zo opgesteld dat zoveel mogelijk gemeenten informatie konden leveren. Daarbij zijn de resultaten van het in 2016 uitgevoerde kwaliteitsonderzoek in acht genomen.

Op basis van die bevindingen is de enquête als volgt opgesteld (zie ook bijlage):

1. Mogelijkheid om aan te geven dat de tegenprestatie niet wordt uitgevoerd.
2. Indien de tegenprestatie wordt uitgevoerd: Hoeveel bijstandsgerechtigden hebben in maart 2024 een maatschappelijk nuttige activiteit als tegenprestatie opgedragen gekregen en/of uitgevoerd?
3. Indien de tegenprestatie wordt uitgevoerd: Is maart een representatieve maand ten opzichte van andere maanden?
4. Ruimte voor opmerkingen en nadere toelichting.

Het onderzoek is uitgevoerd onder alle gemeenten in Nederland. In 2024 telt Nederland 342 gemeenten. Alle gemeenten hebben de enquête ontvangen met het verzoek om deze in te vullen.

Eind januari 2024 is per mail een aankondiging gestuurd naar alle gemeenten om hen te informeren over de extra uitvraag. Hierin was de exacte vraagformulering al opgenomen, zodat zij zich konden voorbereiden op de enquête.

Medio mei 2024 is de enquête per mail aan alle gemeenten gestuurd, met het verzoek om deze binnen drie weken terug te sturen. Na drie weken is een rappelmail uitgestuurd.

De gemeenten ontvingen bij de enquête een korte toelichting over de aanleiding van het onderzoek en de wijze waarop de enquête ingevuld diende te worden.

2.2 Schatting aantal tegenprestaties: Multiple imputation

Om een landelijk beeld te krijgen moet de non-respons worden bijgeschat. De non-respons omvat enerzijds gemeenten die de enquête niet hebben ingevuld en anderzijds gemeenten die wel gerespondeerd hebben, maar geen (volledige) informatie konden geven. Voor de ophoging voor niet-responderende gemeenten en missende waarden is gebruik gemaakt van een methode die goed om kan gaan met het feit dat de aantallen die gemeenten verstrekken vaak zeer laag of nul zijn: Multiple Imputation (Random Hot Deck Imputation, methode predictive mean matching). Hiermee kan de respons worden aangevuld met een schatting, om zo een totaalbeeld te krijgen over de gevraagde cijfers. Bij deze statistische methode wordt bij elke non-respons-gemeente een gelijkende responderende gemeente (donorgemeente) gezocht. Vervolgens wordt de door de responderende gemeente ingevulde waarde geïmputeerd bij de non-responsgemeente. Deze procedure leidt tot een volledig gevulde dataset. Om een zo betrouwbaar mogelijke schatting te krijgen, wordt de imputatieprocedure meerdere keren herhaald, wat leidt tot meerdere volledig gevulde datasets. De daaropvolgende analyse om totaalcijfers voor Nederland te bepalen wordt gebaseerd op het gemiddelde van alle volledig gevulde datasets. De schattingsmethode is uitgevoerd met het statistisch programma R, en specifieker met de package Multivariate imputation by chained equations (MICE).

Het analyseproces omvat drie stappen.

Stap 1: Controle en correctie

De eerste stap van het analyseproces is het controleren en eventueel corrigeren van de enquêtedata. Daarbij geldt bijvoorbeeld dat het antwoord op de vraag “Hoeveel bijstandsgerechtigden hebben in maart 2024 een maatschappelijk nuttige activiteit als tegenprestatie opgedragen gekregen en/of uitgevoerd?” nul moet zijn, indien de desbetreffende gemeente heeft aangegeven dat de tegenprestatie niet wordt uitgevoerd.

Stap 2: Imputatie met behulp van donorgemeente

Voor gemeenten die niet hebben gerespondeerd, is een donorgemeente gezocht die lijkt op de gemeente qua:

• inwoneraantal (gemeentegrootteklasse) en
• het softwarepakket dat wordt gebruikt voor de gemeentelijke administratie/registratie.

Deze kenmerken zijn voor alle gemeenten bekend, ook voor de gemeenten die de enquête niet hebben ingestuurd. De achtergrondkenmerken worden gebruikt als hulpvariabelen om de ontbrekende enquêtedata (de doelvariabele) te kunnen invullen (imputeren). Naast deze twee kenmerken wordt ook het wel of niet uitvoeren van tegenprestaties als hulpvariabele gebruikt bij het imputeren van het aantal uitgevoerde tegenprestaties. Dit kenmerk is enkel bekend van responderende gemeenten.

De twee achtergrondkenmerken zijn op basis van inhoudelijke gronden en ervaring uit de voorgaande onderzoeken gekozen. Met behulp van verkennende analyses (correlaties, chikwadraattoetsen en variantieanalyses) gebaseerd op gemeenten waarvan alle informatie bekend is, is geconcludeerd dat deze kenmerken de beste bijdrage leveren aan het imputatieproces.

De imputatie van de ontbrekende waarden op basis van een donorgemeente is 50 keer uitgevoerd. In totaal heeft dit geleid tot 50 volledig gevulde datasets plus de originele dataset. Bij elke imputatieronde is opnieuw een donorgemeente gezocht, waardoor de geïmputeerde datasets van elkaar verschillen. Voor elke dataset is een populatietotaal voor de doelvariabele geschat. De uiteindelijke schatting van de aantallen is het gemiddelde van de 50 schattingen. Bij de imputatie van de ontbrekende waarden op basis van een donorgemeente zijn geen gemeenten uitgesloten. De reden hiervan is dat er geen gemeente als uitbijter is beschouwd.

Stap 3: Onzekerheidsmarges berekenen

Omdat de aantallen die in deze publicatie gepresenteerd worden voor een deel geschat zijn, hebben de uitkomsten een bepaalde onzekerheidsmarge.

Op basis van de spreiding in de 50 verschillende schattingen kan een onzekerheidsmarge worden bepaald voor de uiteindelijke schatting van het aantal tegenprestaties. Om uitspraken te kunnen doen over de nauwkeurigheid van de schattingen zijn de marge en relatieve marge als volgt berekend:

\[Marge = \sqrt{\left( \frac{\sum(y-\bar{y})^{2}}{n-1} \right) * (1 + \frac{1}{n})} * 1,96\]

Waarbij:
y = schatting in geïmputeerde dataset
ӯ = gemiddelde aantal van alle schattingen (puntschatting)
n = aantal imputaties

De marges zijn vervolgens gebruikt om een 95%-betrouwbaarheidsinterval voor de schatting te construeren. Het 95%- betrouwbaarheidsinterval geeft een indicatie dat, bij veelvuldig herhalen van de imputatieprocedure (meerdere keren 50 datasets schatten), de werkelijke aantallen in 95 procent van de herhalingen binnen de geschatte range van de puntschatting liggen. Dit betekent dat er een kleine kans is dat het werkelijke aantal tegenprestaties hoger of lager dan dit interval is. Hoe breder het interval, hoe minder nauwkeurig de schatting is. De relatieve marge is berekend door de marge te delen door de puntschatting.

Om te bepalen of de schattingen betrouwbaar zijn, wordt naast de marges ook gekeken naar het waardenbereik van de doelvariabelen. Een klein aantal verschillende waarden met daarbij een grote spreiding, maakt het moeilijker om een betrouwbaar model samen te stellen waarmee kan worden bijgeschat voor de non-respons.

2.3 Gebruikte bronnen

Naast de gegevens die uit de enquête beschikbaar zijn gekomen, is in de analyses ook gebruik gemaakt van het inwoneraantal per gemeente (gemeentegrootte) als hulpvariabele. De gegevens zijn ontleend aan tabellen op gemeenteniveau die zijn gepubliceerd op CBS StatLine ²⁾.

Verder wordt bij het beschrijven van de resultaten verwezen naar het aantal personen tot de AOW-leeftijd met een algemene bijstandsuitkering in maart 2024. Ook deze informatie is afkomstig van CBS StatLine ³⁾.