2. Onderzoeksmethode

In dit onderzoek heeft het CBS de in 2018 ontwikkelde enquête uitgezet onder alle Nederlandse gemeenten. Vervolgens is er opgehoogd voor non-respons. Hiermee wordt een betrouwbaar cijfer verkregen over het aantal personen, op landelijk niveau, dat in maart 2023 een maatschappelijk nuttige activiteit als tegenprestatie heeft opgedragen gekregen en/of uitgevoerd.

2.1 Enquête

De enquête is zo opgesteld dat zoveel mogelijk gemeenten informatie konden leveren. Daarbij zijn de resultaten van het in 2016 uitgevoerde kwaliteitsonderzoek in acht genomen.

Op basis van die bevindingen is de enquête als volgt opgesteld (zie ook bijlage 1):

1. Mogelijkheid om aan te geven dat de tegenprestatie niet wordt uitgevoerd.
2. Indien de tegenprestatie wordt uitgevoerd: Hoeveel bijstandsgerechtigden hebben in maart 2023 een maatschappelijk nuttige activiteit als tegenprestatie opgedragen gekregen en/of uitgevoerd?
3. Indien de tegenprestatie wordt uitgevoerd: Is maart een representatieve maand ten opzichte van andere maanden?
4. Ruimte voor opmerkingen en nadere toelichting.

Het onderzoek is uitgevoerd onder alle gemeenten in Nederland. In 2023 telt Nederland eind maart 342 gemeenten. Alle gemeenten hebben de enquête ontvangen met het verzoek om deze in te vullen.

Begin februari 2023 is per mail een aankondiging gestuurd naar alle gemeenten om hen te informeren over de extra uitvraag. Hierin was de exacte vraagformulering al opgenomen, zodat zij zich konden voorbereiden op de enquête.

Medio mei 2023 is de enquête per mail aan alle gemeenten gestuurd, met het verzoek om deze binnen drie weken terug te sturen. Na drie weken is een rappelmail uitgestuurd.

De gemeenten ontvingen bij de enquête een korte toelichting over de aanleiding van het onderzoek en de wijze waarop de enquête ingevuld diende te worden.

2.2 Schatting aantal tegenprestaties: Multiple imputation

Om een landelijk beeld te krijgen van het aantal tegenprestaties moet de non-respons worden bijgeschat. De non-respons zijn de gemeenten die 1) de enquête niet hebben ingestuurd plus 2) aangegeven hebben tegenprestaties op te dragen, maar geen informatie kunnen geven over het aantal. Voor de ophoging voor niet-responderende gemeenten en missende waarden is gebruik gemaakt van een methode die goed om kan gaan met het feit dat de aantallen die gemeenten verstrekken vaak zeer laag of nul zijn: Multiple Imputation (Random Hot Deck Imputation, methode predictive mean matching). Hiermee kan de respons worden aangevuld met een schatting, om zo een totaalbeeld te krijgen over de gevraagde cijfers. Bij deze statistische methode wordt bij elke non-respons-gemeente een gelijkende responderende gemeente (donorgemeente) gezocht. Vervolgens wordt de door de responderende gemeente ingevulde waarde geïmputeerd bij de non-respons-gemeente. Deze procedure leidt tot een volledig gevulde dataset. Om een zo betrouwbaar mogelijke schatting te krijgen, wordt de imputatieprocedure meerdere keren herhaald, wat leidt tot meerdere volledig gevulde datasets. De daaropvolgende analyse om totaalcijfers voor Nederland te bepalen wordt gebaseerd op het gemiddelde van alle volledig gevulde datasets. De schatting is, net als in de onderzoeken over 2020 tot en met 2022, uitgevoerd met het statistisch programma R en specifieker met de package Multivariate Imputation by Chained Equations (MICE).

Het analyseproces omvat drie stappen.

Stap 1: Controle en correctie
De eerste stap van het analyseproces is het controleren en eventueel corrigeren van de enquêtedata. Daarbij geldt dat het antwoord op de vraag “Hoeveel bijstandsgerechtigden hebben in maart 2023 een maatschappelijk nuttige activiteit als tegenprestatie opgedragen gekregen en/of uitgevoerd?” nul moet zijn, indien de desbetreffende gemeente heeft aangegeven dat de tegenprestatie niet wordt uitgevoerd.

Stap 2: Imputatie met behulp van donorgemeente
Voor de selectie van een donorgemeente voor de gemeenten die niet hebben gerespondeerd of die geen informatie konden geven over het aantal tegenprestaties is gebruik gemaakt van hulpvariabelen. Voor elke non-respons gemeente is een donorgemeente gezocht die lijkt op de gemeente qua:

• inwoneraantal (gemeentegrootte) en
• het softwarepakket dat wordt gebruikt voor de gemeentelijke administratie/registratie.

De twee achtergrondkenmerken zijn op basis van inhoudelijke gronden en ervaring uit de voorgaande onderzoeken gekozen. Ze zijn voor alle gemeenten bekend, ook voor de gemeenten die de enquête niet hebben ingestuurd. Daarnaast is met behulp van verkennende analyses (correlaties, chikwadraattoetsen en variantieanalyses) gebaseerd op gemeenten waarvan alle informatie bekend is, geconcludeerd dat deze kenmerken de beste bijdrage leveren aan het imputatieproces.

De achtergrondkenmerken worden gebruikt als hulpvariabelen om de ontbrekende enquêtedata (de doelvariabele) te kunnen invullen (imputeren). Naast deze twee kenmerken wordt ook het wel of niet uitvoeren van tegenprestaties als hulpvariabele gebruikt. Dit kenmerk is enkel bekend van responderende gemeenten.

De imputatie van de ontbrekende waarden op basis van een donorgemeente is 50 keer uitgevoerd. In totaal heeft dit geleid tot 50 volledig gevulde datasets plus de originele dataset. Bij elke imputatieronde is opnieuw een donorgemeente gezocht, waardoor de geïmputeerde datasets van elkaar verschillen. Voor elke dataset is een populatietotaal voor de doelvariabele geschat. De uiteindelijke schatting van de aantallen is het gemiddelde van de 50 schattingen.

Stap 3: Onzekerheidsmarges berekenen
Omdat het aantal tegenprestaties dat in deze publicatie gepresenteerd wordt voor een deel geschat is, gaat de uitkomst gepaard met een bepaalde onzekerheidsmarge.

Op basis van de spreiding in de 50 verschillende schattingen kan een onzekerheidsmarge worden bepaald voor de uiteindelijke schatting van het aantal tegenprestaties. Om uitspraken te kunnen doen over de nauwkeurigheid van de schatting is een marge en een relatieve marge berekend. De onzekerheidsmarge is op de volgende manier berekend:

Marge = $$sqrt{\left( \frac{\sum(y-\bar{y})^{2}}{n-1} \right) * (1 + \frac{1}{n})} * 1,96$$

Waarbij:
y  =  schatting in geïmputeerde dataset
ӯ  =  gemiddelde aantal van alle schattingen (puntschatting)
n  =  aantal imputaties

De marges zijn vervolgens gebruikt om een 95%-betrouwbaarheidsinterval voor de schatting te construeren. Het 95%-betrouwbaarheidsinterval geeft een indicatie dat de puntschatting van het totale aantal tegenprestaties binnen deze range zal liggen. Dit betekent dat er een kleine kans is dat het aantal tegenprestaties hoger of lager dan dit interval is. Hoe breder het interval is, hoe minder nauwkeurig de schatting. De relatieve marge is berekend door de marge te delen door de puntschatting.

Om te bepalen of de schatting betrouwbaar is, wordt naast de marges ook gekeken naar het aantal verschillende waarden van de doelvariabele en de spreiding hiervan. Een klein aantal verschillende waarden met daarbij een grote spreiding, maakt het moeilijker om een betrouwbaar model samen te stellen waarmee kan worden bijgeschat voor de non-respons.

2.3 Gebruikte bronnen

Naast de gegevens die uit de enquête beschikbaar zijn gekomen, is in de analyses ook gebruik gemaakt van het inwoneraantal per gemeente (gemeentegrootte) als hulpvariabele. De gegevens zijn ontleend aan tabellen op gemeenteniveau die zijn gepubliceerd op CBS StatLine²⁾.

Verder wordt bij het beschrijven van de resultaten verwezen naar het aantal personen tot de AOW-leeftijd met een algemene bijstandsuitkering in maart 2023. Ook deze informatie is afkomstig van CBS StatLine³⁾.