2. Onderzoeksmethode

Om een beeld te krijgen van het aantal en de aard van de waarschuwingen die in 2020 zijn gegeven, is een extra uitvraag in de vorm van een korte enquête aan alle Nederlandse gemeenten gestuurd. Voor de gemeenten die niet hebben gerespondeerd is het aantal waarschuwingen geschat op basis van de antwoorden van gemeenten die wel hebben gerespondeerd.

2.1 Enquête

Het onderzoek is uitgevoerd middels een enquête die naar alle gemeenten in Nederland is verstuurd. Deze enquête is opgenomen als bijlage. In overleg met het ministerie van SZW is de vraagstelling iets aangepast en uitgebreid ten opzichte van de eerdere onderzoeken. Mede aanleiding hiervoor was het hoge aantal ‘overige waarschuwingen’ in het onderzoek over 2019. Voor een deel ligt de oorzaak van het hoge aantal ‘overige waarschuwingen’ in het feit dat gemeenten waarschuwingen niet registeren zoals het CBS ze uitvraagt. Voor zover gemeenten waarschuwingen wél naar soort registeren, zijn ze geholpen met een zo logisch en duidelijk mogelijke omschrijving van de antwoordcategorieën die aansluit bij de gemeentelijke praktijk.

In overleg met SZW en op basis van opmerkingen die berichtgevers hebben gemaakt in het onderzoek over 2019 is besloten om de antwoordcategorie ‘niet voldoen aan de arbeidsverplichting’ aan te passen naar ‘niet voldoen aan de arbeids- en/of re-integratieverplichting’. Daarnaast is de antwoordcategorie ‘tekortschietend besef van verantwoordelijkheid’ toegevoegd. Om meer inzicht te krijgen in het soort waarschuwingen dat nog steeds onder ‘overig’ wordt opgegeven, is bij deze antwoordcategorie een open vraag toegevoegd. Daarin wordt verzocht om te vermelden welke waarschuwingen onder 'overig' zijn opgegeven.

De gemeenten zijn per email benaderd via de berichtgevers van de BDFS en de BUS. Een berichtgever is een gemeente of een dienst die door een aantal gemeenten is opgezet en die de gegevens voor de BDFS en/of de BUS levert aan het CBS. Een berichtgever kan gegevens verstrekken over verschillende gemeenten, maar het omgekeerde komt ook voor: verschillende berichtgevers kunnen over één gemeente rapporteren.

In de enquête is een automatische controle ingebouwd, waarbij wordt nagegaan of de ingevulde aantallen onder de verschillende soorten waarschuwingen (schending inlichtingenplicht, niet voldoen aan de eis tegenprestatie, niet voldoen aan de arbeids- en/of re-integratieverplichting, tekortschietend besef van verantwoordelijkheid en overig) exact overeenkomen met het opgegeven totale aantal waarschuwingen. Wanneer deze optelling niet klopt, verschijnt een melding in beeld om de respondent hierop te wijzen. Daarnaast werd aan gemeenten gevraagd om de invulvakjes leeg te laten als het gevraagde aantal onbekend was en een ‘0’ (nul) in te vullen als het gevraagde niet is voorgekomen. Op deze manier kon onderscheid worden gemaakt tussen het niet registreren en het niet opleggen van waarschuwingen.

De enquête is medio maart 2021 verstuurd naar alle berichtgevers, met het verzoek om deze binnen drie weken terug te sturen. Na het verstrijken van de deadline is begin april een herinneringsmail verstuurd naar de berichtgevers die nog niet hadden gerespondeerd, met het verzoek de gegevens alsnog binnen drie weken terug te sturen. Omdat het responspercentage na die termijn nog aan de lage kant was, is een tweede rappel uitgestuurd. Daardoor werd de responstermijn nog eens met drie weken verlengd. De respons kwam uiteindelijk op 81 procent (in 2020 was dat 77 procent).

2.2 Schatting aantal waarschuwingen

2.2.1 Multiple imputation

Om een landelijk beeld te krijgen van de in de enquête gevraagde aantallen moet de non-respons worden bijgeschat. De non-respons omvat enerzijds gemeenten die de enquête niet hebben ingevuld en anderzijds gemeenten die wel gerespondeerd hebben, maar geen volledige informatie konden geven (partiële non-respons). Voor de ophoging voor niet-responderende gemeenten en missende waarden is gebruik gemaakt van een methode die goed om kan gaan met het feit dat de aantallen die gemeenten verstrekken vaak zeer laag of nul zijn: Multiple Imputation (Random Hot Deck Imputation, methode predictive mean matching). Hiermee kan de respons worden aangevuld met een schatting, om zo een totaalbeeld te krijgen over de gevraagde cijfers. Bij deze statistische methode wordt bij elke non-respons-gemeente een gelijkende responderende gemeente (donorgemeente) gezocht. Vervolgens wordt de door de responderende gemeente ingevulde waarde geïmputeerd bij de non-respons-gemeente. Deze procedure leidt tot een volledig gevulde dataset. Om een zo betrouwbaar mogelijke schatting te krijgen, wordt de imputatieprocedure meerdere keren herhaald, wat leidt tot meerdere volledig gevulde datasets. De daaropvolgende analyse om totaalcijfers voor Nederland te bepalen wordt gebaseerd op het gemiddelde van alle volledig gevulde datasets. De schattingsmethode is uitgevoerd met het statistisch programma R, en specifieker met de package Multivariate Imputation by Chained Equations (MICE). Dit is andere software ten opzichte van voorgaande onderzoeken. Hier is voor gekozen omdat de voorheen gebruikte SPSS-software minder goed om blijkt te gaan met de spreiding in de waarden²⁾.

Het analyseproces omvat drie stappen.

Stap 1: Controle en correctie
De eerste stap van het analyseproces is het controleren en eventueel corrigeren van de enquêtedata. Bij enquêtes met deels ontbrekende antwoorden (partiële non-respons) zijn deze, indien mogelijk, afgeleid op basis van de overige antwoorden. Daarbij geldt op basis van logische gronden een aantal regels. Zo moet bijvoorbeeld het totale aantal waarschuwingen een optelling zijn van het aantal waarschuwingen in verband met schending inlichtingenplicht, niet voldoen aan de eis tegenprestatie, niet voldoen aan de arbeids- en/of re-integratieverplichting, tekortschietend besef van verantwoordelijkheid en overige waarschuwingen. Daarnaast geldt dat wanneer het totaal aantal gegeven waarschuwingen nul is, de aantallen van de uitsplitsingen ook nul moeten zijn.

Stap 2: Imputatie met behulp van donorgemeente
Gemeenten die wel gerespondeerd hebben, maar geen waarschuwingen registreren (en daardoor op alle vragen missende waarden hebben), zijn in de analyse behandeld als non-respons. Voor de selectie van een donorgemeente voor de gemeenten die niet hebben gerespondeerd of die geen waarschuwingen registreren is gebruik gemaakt van hulpvariabelen.

Voor elke non-respons gemeente is een donorgemeente gezocht die lijkt op de gemeente qua:

• inwoneraantal (gemeentegrootte) en
• het aantal ingestroomde fraudevorderingen in 2020.

De twee achtergrondkenmerken zijn op basis van inhoudelijke gronden en ervaring uit de voorgaande onderzoeken gekozen. Ze zijn voor alle gemeenten bekend, ook voor de gemeenten die de enquête niet hebben ingestuurd. De achtergrondkenmerken worden gebruikt als hulpvariabelen om de ontbrekende enquêtedata (de doelvariabelen) te kunnen invullen (imputeren). Naast deze achtergrondkenmerken worden ook de enquêtevariabelen die worden geïmputeerd gebruikt als hulpvariabelen. Voor het schatten van het aantal waarschuwingen in verband met schending van de inlichtingenplicht bijvoorbeeld wordt naast de achtergrondkenmerken ook gebruik gemaakt van de aantallen waarschuwingen voor het niet voldoen aan de eis tegenprestatie, het niet voldoen aan de arbeids- en/of re-integratieverplichting, tekortschietend besef van verantwoordelijkheid en overige waarschuwingen.

Na de imputaties heeft nog een correctie plaatsgevonden, om ervoor te zorgen dat per gemeente de uitsplitsingen blijven optellen tot het totaal aantal waarschuwingen. Deze aanpak is identiek aan die van de eerder uitgevoerde onderzoeken.

De imputatie van de ontbrekende waarden op basis van een donorgemeente is 100 keer uitgevoerd. In totaal heeft dit geleid tot 100 volledig gevulde datasets plus de originele dataset. Bij elke imputatieronde is opnieuw een donorgemeente gezocht, waardoor de geïmputeerde datasets van elkaar verschillen. Voor elke dataset is een populatietotaal voor de doelvariabelen geschat. De uiteindelijke schattingen van de aantallen zijn de gemiddelden van de 100 schattingen.
Bij de imputatie van de ontbrekende waarden op basis van een donorgemeente zijn drie gemeenten uitgesloten, omdat deze als representatieve uitbijters geïdentificeerd werden op één van de enquêtevragen. Dat betekent dat de ingevulde aantallen van deze gemeenten wel juist zijn, maar niet representatief voor andere gemeenten in dezelfde grootteklasse. Bij de berekening van de onzekerheidsmarges zijn de betreffende gemeenten wel meegenomen.

Stap 3: Onzekerheidsmarges berekenen
Omdat de aantallen die in dit rapport gepresenteerd worden voor een deel geschat zijn, hebben de uitkomsten een bepaalde onzekerheidsmarge.
Op basis van de spreiding in de 100 verschillende schattingen kan de onzekerheidsmarge worden bepaald van de uiteindelijke schatting van de aantallen gegeven waarschuwingen. Voor de schattingen zijn marges en relatieve marges berekend om uitspraken te kunnen doen over de nauwkeurigheid van de schattingen. De onzekerheidsmarges zijn op de volgende manier berekend:

\[Marge = \sqrt{\left( \frac{\sum(y-\bar{y})^{2}}{n-1} \right) * (1 + \frac{1}{n})} * 1,96\]

Waarbij:

y  =  schatting in geïmputeerde dataset
ӯ  =  gemiddelde aantal van alle schattingen (puntschatting)
n  =  aantal imputaties

De marges zijn vervolgens gebruikt om een 95%-betrouwbaarheidsinterval voor de schatting te construeren. Het 95%-betrouwbaarheidsinterval wil zeggen dat in 95 van de 100 gevallen het werkelijke aantal binnen dit interval valt. Dit betekent dat er een kleine kans is dat het werkelijke aantal hoger of lager dan dit interval is. Hoe breder het interval is, hoe minder nauwkeurig de schatting. De relatieve marges zijn berekend door de marge te delen door de puntschatting.

Om te bepalen of de schattingen betrouwbaar zijn, wordt naast de marges ook gekeken naar het aantal verschillende waarden van de doelvariabelen en de spreiding hiervan. Een klein aantal verschillende waarden met daarbij een grote spreiding, maakt het moeilijker om een betrouwbaar model samen te stellen waarmee kan worden bijgeschat voor de non-respons.

2.3 Gebruikte bronnen

Naast de gegevens die uit de enquête beschikbaar zijn gekomen, is ook gebruik gemaakt van informatie uit de Bijstandsdebiteuren en -fraudestatistiek (BDFS) en van cijfers op gemeenteniveau afkomstig van CBS StatLine.

Bijstandsdebiteuren en -fraudestatistiek (BDFS)
Om voor de niet-responderende gemeenten het aantal waarschuwingen te schatten is het aantal ingestroomde fraudevorderingen in 2020 gebruikt als hulpvariabele. Deze gegevens zijn afkomstig uit de BDFS. De BDFS is een maandstatistiek en bevat informatie die door gemeenten en de SVB wordt aangeleverd over de in Nederland openstaande schulden die ontstaan zijn vanuit de algemene- en bijzondere bijstand, IOAW, IOAZ en het Bbz. Maandelijks worden bestanden met gegevens over afzonderlijke vorderingen door de gemeenten en de SVB aan het CBS verstrekt. Gegevens van de SVB zijn in de analyse niet meegenomen. In de analyse zijn per gemeente alleen de vorderingen meegenomen die ontstaan zijn vanuit de algemene bijstand op grond van de Participatiewet. Dit betekent dat de vorderingen die ontstaan zijn vanuit de IOAZ, de IOAW, het Bbz en de aanvullende bijstandsuitkeringen (bijzondere bijstand) buiten beschouwing zijn gelaten.

Er is gebruik gemaakt van transactiebestanden. De term transactiebestand wordt gebruikt voor bestanden waarin administratief vertraagde informatie voor de twee verslagmaanden volgend op een bepaalde verslagmaand wordt gebruikt om de data voor die verslagmaand te verbeteren. Op die manier wordt alle beschikbare, recente informatie meegenomen voor de berekening van de aantallen fraudevorderingen.

CBS StatLine
Het inwoneraantal per gemeente (gemeentegrootte) is ontleend aan tabellen op gemeenteniveau die zijn gepubliceerd op CBS StatLine³⁾.