3. Methoden

Met deze haalbaarheidsstudie brengt het CBS de mogelijkheden in kaart om met registerdata onderzoek te doen naar mogelijke gevolgen van de toeslagenaffaire. De volgende punten zijn daarbij (op hoofdlijnen) in kaart gebracht:

1. Welke gevolgen van de toeslagenaffaire potentieel als uitkomstmaat onderzocht kunnen worden op basis van de volgende criteria:
   a) Welke mogelijke gevolgen van de toeslagenaffaire kunnen worden verwacht?
   b) Voor welke mogelijke gevolgen van de toeslagenaffaire kan een eenduidig mechanisme verwacht worden? Met andere woorden: Hangt dupering enkel in positieve of in negatieve zin samen met het gevolg?
   c) Welke mogelijke gevolgen van de toeslagenaffaire zijn valide te meten met de bij het CBS beschikbare data?
   d) Zijn de aantallen voorafgaand aan dupering/selectie¹⁶⁾ voldoende omvangrijk om onderzoek te doen?
2. Kan voor de geselecteerde uitkomstmaten een geschikte vergelijkingsgroep samengesteld worden die op relevante kenmerken vergelijkbaar is met de groep gedupeerden?
3. Zijn de aantallen na dupering/selectie toereikend om onderzoek te doen?

3.1 Mogelijke gevolgen van dupering, databeschikbaarheid en mechanismen

Het CBS wil een zo compleet mogelijk beeld schetsen van de (on)mogelijkheden voor toekomstig onderzoek naar de gevolgen van de toeslagenaffaire met behulp van registerdata. Daarom is in een eerste stap (a) een overzicht gemaakt van de terreinen waar de gedupeerden van de toeslagenaffaire mogelijke gevolgen ondervinden. Dit overzicht (zie Bijlage 3) is samengesteld op basis van 1) de mogelijke gevolgen die naar voren komen in de wetenschappelijke literatuur (met name in het Family Stress Model; Conger et al., 2002; Falconier, & Jackson, 2020; Masarik & Conger, 2017); 2) mogelijke gevolgen waar het CBS vragen over heeft gekregen, en; 3) mogelijke gevolgen die zijn ingebracht door de leden van de expertgroep. De mogelijke gevolgen in het overzicht vallen binnen de volgende vijf domeinen: financiën en werk, wonen, psychologische problemen en zorg, gezin en socialisatie, en justitie en veiligheid.
Vervolgens is een selectie gemaakt van mogelijke gevolgen van dupering op deze vijf domeinen. Per mogelijk gevolg uit het overzicht is daarbij het volgende bepaald:

b) In hoeverre is een eenduidig mechanisme van dupering te verwachten: hangt dupering enkel in positieve of enkel in negatieve zin samen met het gevolg? Verschillende mechanismen kunnen elkaar immers uitmiddelen. Daardoor zou een vergelijking van gemiddelden of verdelingen tussen de gedupeerdengroep en een vergelijkingsgroep gevolgen van dupering kunnen maskeren;
c) Of de data bij het CBS beschikbaar zijn en in hoeverre met de beschikbare data een valide meting (d.w.z. een valide vaststelling van die mogelijke gevolgen) mogelijk is. Ook is bekeken of de data die bij het CBS beschikbaar zijn een compleet beeld schetsen van het betreffende gevolg;
d) Of de aantallen voorafgaand aan dupering/selectie groot genoeg zijn om onderzoek te doen. Het gaat dan om de verdeling van de gedupeerden en niet-gedupeerden over de verschillende categorieën binnen de uitkomstmaten.

3.2 Samenstellen van een vergelijkingsgroep

In een tweede stap is bekeken of het mogelijk is om voor de geselecteerde mogelijke gevolgen – op basis van b t/m d van Paragraaf 3.1 – een vergelijkingsgroep samen te stellen. Uit eerder onderzoek is bekend dat gedupeerde ouders niet representatief zijn voor alle ouders die KOT ontvangen. Gemiddeld genomen zijn zij bijvoorbeeld lager opgeleid, vaker alleenstaande ouder en hebben ze een lager inkomen en dan niet-gedupeerde ouders.¹⁷⁾ Daarom is het van belang om een vergelijkbare groep met niet-gedupeerde ouders samen te stellen. Dit heet de smalle vergelijkingsgroep, deze is nodig om een zinvolle vergelijking te kunnen maken tussen de situatie van gedupeerde en niet-gedupeerde ouders. Voor de smalle vergelijkingsgroep worden ouders geselecteerd uit een groep van alle ouders die KOT hebben ontvangen in een bepaalde periode. Deze grotere groep ouders heet de brede vergelijkingsgroep. Als het lukt om een vergelijkbare groep met niet gedupeerde ouders samen te stellen (smalle vergelijkingsgroep) kunnen betere uitspraken gedaan worden over mogelijke gevolgen van dupering.

3.2.1 Samenstellen brede vergelijkingsgroep

De brede vergelijkingsgroep bestaat uit ouders die minimaal één keer KOT hebben ontvangen in een bepaalde periode, maar niet bij Uitvoeringsorganisatie Herstel Toeslagen (UHT) bekend zijn als gedupeerd door de toeslagenaffaire. Ook mogen zij geen toeslagpartner of persoon in hun huishouden hebben die geregistreerd staan als gedupeerd. De gedupeerdengroep en vergelijkingsgroep dienen immers strikt gescheiden te zijn om betrouwbare uitspraken te kunnen doen over mogelijke gevolgen van dupering. Het verschil met de smalle vergelijkingsgroep is dat huishoudens in de brede vergelijkingsgroep op relevante achtergrondkenmerken afwijken van de gedupeerdengroep. Om de brede vergelijkingsgroep samen te stellen, zijn alle personen voor een bepaald jaar geselecteerd indien zij in dat jaar of in de vijf jaren ervoor minimaal één keer KOT hebben ontvangen¹⁸⁾. Voor elk jaar is bekeken of personen al dan niet KOT hebben ontvangen, om zo specifieke patronen met betrekking tot de ontvangen KOT in kaart te brengen. Het kan bijvoorbeeld om het volgende patroon gaan: geen KOT ontvangen in 2008 en 2009 en wel KOT ontvangen vanaf 2010 tot en met 2012. Alle niet-gedupeerden die een patroon vertoonden dat identiek was aan dat van minimaal één gedupeerde zijn geselecteerd voor de brede vergelijkingsgroep. Op deze manier worden personen geselecteerd voor de brede vergelijkingsgroep die in dezelfde periode als de gedupeerden KOT hebben ontvangen. Deze procedure is vervolgens toegepast voor alle geanalyseerde jaren (zie Hoofdstuk 5.1 voor de analyseperiode).
Het is belangrijk om op te merken dat deze afbakening kan resulteren in personen die in meerdere jaren in de brede vergelijkingsgroep voorkomen. Het patroon van ontvangen KOT kan voor een persoon gelijk zijn aan dat van een in 2012 gedupeerd persoon, én aan dat van een in 2013 gedupeerd persoon. In eerste instantie komt deze persoon op basis van de beschreven afbakening voor beide jaren in de brede vergelijkingsgroep terecht. Vervolgens worden personen in de brede vergelijkingsgroep die in meerdere jaren voorkomen willekeurig toegewezen aan één specifiek jaar. Dit wordt het selectiejaar genoemd.

3.2.2 Samenstellen smalle vergelijkingsgroep

Wanneer men geïnteresseerd is in gevolgen van dupering door de toeslagenaffaire, is idealiter een onderzoeksdesign voorhanden op basis waarvan uitspraken gedaan kunnen worden over oorzaak en gevolg. De effectieve methode om een causale relatie vast te stellen is via een Randomized Controlled Trial (RCT). Bij een RCT worden deelnemers willekeurig toegewezen aan een experimentele groep dan wel aan een controlegroep. Het principe hierachter is dat eventuele verschillen in een bepaald resultaat (bijvoorbeeld baanbeëindiging) tussen deze groepen toegewezen kunnen worden aan de interventie. Als een RCT niet mogelijk is, zoals bij de toeslagenaffaire, dan is matching een alternatieve methode om groepen met elkaar te vergelijken (Rosenbaum & Rubin, 1983). Het is echter niet mogelijk (zoals bij een zuiver experiment) om op basis van matching causale uitspraken te doen.

Voor het samenstellen van de smalle vergelijkingsgroep (ook wel controlegroep genoemd) wordt met een statistische matchingstechniek gezocht naar niet-gedupeerden uit een bredere populatie die op relevante achtergrondkenmerken lijken op de gedupeerden. Het gaat dan om kenmerken voorafgaand aan dupering/selectie. Dit is belangrijk, omdat deze kenmerken in de gedupeerdengroep dan nog niet beïnvloed kunnen zijn door dupering. Er wordt dan een gedupeerde gekoppeld (gematcht) aan een niet-gedupeerde die op bepaalde kenmerken op diegene lijkt. Dit om uiteindelijk de vraag te kunnen beantwoorden of bepaalde uitkomsten vaker of juist minder vaak voorkomen bij de groep gedupeerden van de toeslagenaffaire, ten opzichte van een vergelijkbare groep niet-gedupeerden.

Een achtergrondkenmerk is relevant voor matching als deze samenhangt met zowel de kans om gedupeerd te raken als met de kans op een bepaald mogelijk gevolg (bijvoorbeeld baanbeëindiging). In deze haalbaarheidsstudie worden niet één, maar meerdere mogelijke gevolgen bekeken, waarvoor één smalle vergelijkingsgroep wordt samengesteld. Hierdoor kan het voorkomen dat een achtergrondkenmerk meegenomen wordt in de matching, ondanks dat het geen belangrijke voorspeller is voor een bepaald gevolg (maar wel belangrijk voor dupering). Dit achtergrondkenmerk is dan immers wel een belangrijke voorspeller voor minimaal één ander mogelijk gevolg.

Kanttekeningen bij matching
Er zijn twee belangrijke aannames die ten grondslag liggen aan het gebruik van matching om een smalle vergelijkingsgroep samen te stellen. De eerste aanname veronderstelt dat er geen unobserved confounders zijn. Dit zijn kenmerken die wel belangrijk zijn voor dupering en het gevolg waarin men geïnteresseerd is, maar die niet zijn meegenomen in de matching. Dit kan zijn omdat men zich niet bewust is van het belang van dit kenmerk of omdat het kenmerk niet gemeten is. Daarnaast bestaat er ongemeten variatie in de kenmerken die wel zijn meegenomen in de matching. Dit zou bijvoorbeeld een rol kunnen spelen bij de variabele huishoudinkomen. Deze variabele is in categorieën ingedeeld om de matching mogelijk te maken, maar door deze categorisering kan informatie verloren gaan.

Het risico van unobserved confounders speelt een rol bij alle methoden waarbij op basis van observationele data uitspraken worden gedaan over mogelijke gevolgen, dus niet alleen bij matching. Wanneer de eerste aanname wordt geschonden, zullen de verschillen tussen de gedupeerdengroep en de smalle vergelijkingsgroep na dupering/selectie¹⁹⁾ niet daadwerkelijk zijn toe te schrijven aan dupering door de toeslagenaffaire. De verschillen ontstaan dan door ongemeten verschillen tussen de groepen op een niet meegenomen achtergrondkenmerk. Stel bijvoorbeeld dat gedupeerden vaker in gemeenten wonen waar een ruimhartig armoedebeleid wordt gehanteerd, maar dat de variabele gemeente niet is meegenomen in de matching. Het kan dan zijn dat de gedupeerdengroep en de smalle vergelijkingsgroep op dit achtergrondkenmerk niet gelijk zijn: er kunnen in de smalle vergelijkingsgroep meer aanvragers in gemeenten wonen met een sober armoedebeleid. Dit kan tot gevolg hebben dat armoede in de gedupeerdengroep gemiddeld genomen minder zichtbaar is dan in de smalle vergelijkingsgroep. Er zou in dit geval ten onrechte geconcludeerd kunnen worden dat dupering geen grotere armoede tot gevolg heeft gehad.

Een tweede aanname die ten grondslag ligt aan het gebruik van matching veronderstelt dat er voor alle personen in de steekproef een kans moet zijn om gedupeerd te raken, evenals een kans om niet gedupeerd te raken. Met andere woorden: de kans op dupering mag niet 0 of 1 zijn. Alleen in deze situatie is het nuttig om een vergelijking te maken tussen gedupeerden en niet-gedupeerden.

Matchingsmethoden
Er zijn meerdere manieren waarop achtergrondkenmerken in matching gebruikt kunnen worden om een geschikte smalle vergelijkingsgroep samen te stellen. Eén manier wordt aangeduid met de Engelse term exact matching. Dit betekent dat je uit de brede vergelijkingsgroep iemand selecteert voor de smalle vergelijkingsgroep met exact hetzelfde kenmerk als een gedupeerde. Zo zijn er bijvoorbeeld relatief veel gedupeerden met een Turkse herkomst²⁰⁾. Bij exact matching zorg je ervoor dat je voor elke gedupeerde met een Turkse herkomst ook een niet-gedupeerde selecteert met een Turkse herkomst. Een andere manier om relevante achtergrondkenmerken mee te nemen bij het samenstellen van een smalle vergelijkingsgroep is met propensity score matching. De propensity score van een aanvrager heeft een directe relatie met de kans om gedupeerd te raken gegeven diens kenmerken. De propensity scores kunnen worden berekend op basis van een multivariaat model waarin de meest relevante achtergrondkenmerken zijn opgenomen voor enerzijds de kans op dupering en anderzijds voor de geselecteerde mogelijke gevolgen. 

Type propensity score matching
Er zijn verschillende methodes om op basis van de propensity scores een niet-gedupeerde te selecteren als match voor elke gedupeerde. Een veel gebruikte methode is nearest neighbour matching. Dit houdt in dat uit de brede vergelijkingsgroep een persoon wordt geselecteerd voor de smalle vergelijkingsgroep als de propensity score zo dicht mogelijk bij die van de gedupeerde ligt. Met andere woorden: per gedupeerde wordt iemand uit de brede vergelijkingsgroep geselecteerd die zo veel mogelijk dezelfde kans heeft om gedupeerd te raken (maar dat niet is), gegeven diens achtergrondkenmerken. Deze achtergrondkenmerken worden gemeten voorafgaand aan dupering/selectie. Een nadeel van nearest neighbour matching is dat de persoon met de dichtstbijzijnde propensity score, alsnog een persoon kan zijn die niet echt lijkt op de gedupeerde. Deze persoon heeft namelijk wel de dichtstbijzijnde propensity score, maar het verschil tussen beide scores kan alsnog vrij groot zijn. Een manier om hiermee om te gaan is door caliper matching te gebruiken. Met deze techniek bepaal je vooraf hoe groot het verschil tussen de propensity scores maximaal mag zijn tussen de gedupeerde en een persoon uit de brede vergelijkingsgroep, om een persoon te selecteren voor de smalle vergelijkingsgroep. Vervolgens wordt de persoon gekozen met de propensity score die het dichtst ligt bij de score van de gedupeerde. Een voordeel van deze methode is dat het betere matches kan opleveren. Een nadeel van deze methode is dat mogelijk minder matches gevonden kunnen worden. Het kan namelijk voorkomen dat er voor een gedupeerde niemand te vinden is uit de brede vergelijkingsgroep met een klein verschil in propensity score. Deze gedupeerde kan dan niet meegenomen worden in verdere analyses.

Tijdens dit onderzoek zijn meerdere (combinaties van) matchingsmethoden (exact of propensity score matching) en –typen (nearest neighbor en caliper) verkend. Zo is exact matching op een aantal relevante achtergrondkenmerken gecombineerd met nearest neighbor propensity score matching. Deze aanpak is vervolgens vergeleken met exacte matching op een aantal relevante achtergrondkenmerken in combinatie met caliper propensity score matching (zie Hoofdstuk 6). Uiteindelijk is ervoor gekozen om exact matching op relevante achtergrondkenmerken te combineren met nearest neighbor propensity score matching. Deze combinatie van verschillende methoden van matching werkt als volgt: propensity scores worden berekend en vervolgens wordt - binnen de groep niet-gedupeerden met exact dezelfde combinaties van de kenmerken waarop exact matching is toegepast - de persoon met de dichtstbijzijnde propensity score geselecteerd voor de smalle vergelijkingsgroep. Daarbij is er gekozen voor een-op-een matching zonder teruglegging.²¹⁾

Relevante achtergrondkenmerken voor matching
Er is een lijst opgesteld met achtergrondkenmerken die mogelijk relevant zijn voor het voorspellen van dupering (zie Bijlage 4). Deze lijst is samengesteld op basis van 1) eerder onderzoek van het CBS waarbij is gekeken naar voorspellers van dupering²²⁾; 2) de adviezen van de bij deze haalbaarheidsstudie betrokken expertgroep; en 3) de databeschikbaarheid. Voor de geselecteerde mogelijke gevolgen is in kaart gebracht welke kenmerken mogelijk van voorspellende waarde zijn. Van de kenmerken zoals opgenomen in Bijlage 4 is in kaart gebracht of deze samenhangen met enerzijds de kans op dupering en anderzijds met de geselecteerde mogelijke gevolgen (bijvoorbeeld: de kans op baanbeëindiging of in de ziektewet te raken). 

Deze samenhang is in twee stappen bepaald:
Ten eerste is met bivariate analyses (per kenmerk) bepaald welke van de in Bijlage 4 opgenomen kenmerken - voorafgaand aan dupering/selectie - een relatie vertonen met dupering en met de geselecteerde mogelijke gevolgen. Bij bivariate analyses geldt dat er slechts twee variabelen in het model zitten: enerzijds het kenmerk en anderzijds dupering of een uitkomstmaat (bijvoorbeeld wanbetaler van de zorgverzekering). Er is gebruik gemaakt van twee typen analyses: logistische en lineaire regressieanalyses. De logistische regressieanalyses zijn gebruikt voor de binaire afhankelijke variabelen (met twee categorieën, bijvoorbeeld: ja/nee). Voor de niet-binaire afhankelijke variabelen (bijvoorbeeld huishoudinkomen) zijn lineaire regressieanalyses uitgevoerd. Om te bepalen welke achtergrondkenmerken van belang zijn voor het voorspellen van dupering en de geselecteerde mogelijke gevolgen is gekeken naar significantie en sterkte van de samenhang. Als een relatie tussen een achtergrondkenmerk en bijvoorbeeld de kans op dupering significant is, dan is dit een aanwijzing dat de gevonden verschillen tussen de groepen (wel of niet gedupeerd) op het betreffende achtergrondkenmerk niet op toeval berusten. Hierbij moet opgemerkt worden dat de groepen in dit onderzoek omvangrijk zijn. Over het algemeen geldt dat hoe groter de onderzoeksgroep des te groter de kans op significante resultaten. Daarom is het in dit geval relevanter om naar de sterkte van de samenhang te kijken in plaats van (alleen) naar significantie. De proportie verklaarde variantie is een indicator voor de sterkte van de samenhang. Voor de lineaire regressieanalyse is gekeken naar de verklaarde variantie (R²). Logistische regressieanalyse geeft geen proportie verklaarde variantie zoals die voor interval of ratio variabelen in een lineair model gedefinieerd is. Wel bestaan er verschillende pseudo R²-maten die vergelijkbaar zijn met de R² uit lineaire regressieanalyse. Een veelgebruikte pseudo R²-maatstaf is de McFadden R², in deze haalbaarheidsstudie is daarom naar deze maatstaf gekeken²³⁾. 

Ten tweede is met multivariate analyses bepaald welke kenmerken belangrijk zijn voor het voorspellen van dupering en de geselecteerde gevolgen. Sommige van de kenmerken hangen namelijk onderling sterk samen. Zo zijn gedupeerden vaker niet in Nederland geboren en wonen zij vaker in sterk stedelijke gebieden.²⁴⁾ Ook wonen personen met een migratieachtergrond gemiddeld genomen vaker in sterk stedelijke gebieden.²⁵⁾ Daarom zijn er in een tweede stap analyses gedaan waarin meerdere kenmerken tegelijk opgenomen worden. Dit worden multivariate analyses genoemd. Deze multivariate analyses zorgen voor een betere selectie van kenmerken die samenhangen met de kans op dupering en met de geselecteerde gevolgen door rekening te houden met andere kenmerken. Om een uiteindelijke keuze te maken voor kenmerken die meegenomen moeten worden bij het samenstellen van de smalle vergelijkingsgroep is, naast inhoudelijke overwegingen, het Akaike information criterion (AIC) gebruikt. Deze maat wordt gebruikt om de kwaliteit van statistische modellen met elkaar te vergelijken. Over het algemeen geldt: hoe lager de AIC-score hoe beter het model. Een model met meer achtergrondkenmerken verklaart meer variantie in een mogelijk gevolg dan een model met minder achtergrondkenmerken. Het voordeel van de AIC is dat deze maat rekening houdt met het aantal achtergrondkenmerken dat opgenomen wordt in het model: het geeft de voorkeur aan een spaarzaam model. Dit is een model dat zoveel mogelijk variantie verklaart met zo min mogelijk achtergrondkenmerken. Wederom is voor de binaire afhankelijke variabelen gebruik gemaakt van logistische regressie en is voor de niet-binaire afhankelijke variabelen lineaire regressieanalyse gebruikt.

Resultaten matching
Vervolgens is geëvalueerd in hoeverre het gelukt is om een geschikte smalle vergelijkingsgroep samen te stellen. Dit betekent dat de verschillen die er op relevante achtergrondkenmerken zijn tussen de gedupeerden en de brede vergelijkingsgroep, verdwijnen wanneer de gedupeerden worden vergeleken met de smalle vergelijkingsgroep. Daarbij gaat het om kenmerken voorafgaand aan dupering/selectie. Tot slot is bekeken of de groepen van elkaar verschillen op de voor deze haalbaarheidsstudie geselecteerde mogelijke gevolgen (zoals baanbeëindiging), wederom gemeten voorafgaand aan dupering/selectie.

3.3 Aantallen na dupering/selectie

In een derde stap is bekeken in hoeverre de aantallen na dupering/selectie voldoende omvangrijk zijn om onderzoek te doen. Het gaat dan om de verdeling van de gedupeerden en niet-gedupeerden over de verschillende categorieën binnen de uitkomstmaten (bijvoorbeeld het aantal gedupeerden dat in de ziektewet is geraakt). Er is ook bekeken of het mogelijk is om de resultaten uit te splitsen naar het al dan niet hebben van een partner. Dit kan inzichtelijk zijn, omdat de groep alleenstaande aanvragers over het algemeen meer KOT ontvangt dan niet-alleenstaande aanvragers en waarschijnlijk daardoor hogere terugvorderingen heeft gekregen dan de groep niet-alleenstaande aanvragers. Verder is bekeken of uitsplitsingen naar het stempel Opzet/Grove Schuld en naar hoogte van de terugvordering mogelijk zijn. Deze informatie kan helpen om mogelijke gevolgen van dupering in toekomstig onderzoek nauwkeuriger in kaart te brengen.
De resultaten die betrekking hebben op de periode na dupering/selectie worden niet gepresenteerd. De reden hiervoor is dat het huidige onderzoek een domein overstijgende haalbaarheidsstudie betreft. Bij daadwerkelijke uitvoering van een onderzoek op één van de domeinen dient fijnmaziger en nauwkeuriger (gericht op het betreffende domein) gekeken te worden naar achtergrondkenmerken die belangrijk zijn voor het betreffende domein.