5. Samenstellen smalle vergelijkingsgroep

5.1. Inleiding matching

Methodologisch gezien is de ideale manier om een causale relatie vast te stellen (zoals in dit geval tussen gedupeerdheid en kinderbeschermingsmaatregelen) een klassiek experiment. Dit betekent dat personen random (op basis van toeval) toegewezen worden aan een experimentele groep (in dit geval de gedupeerden) of aan een controlegroep (in dit geval de niet-gedupeerden). Het idee hierachter is dat verschillen op de afhankelijke variabele (in dit geval kinderbeschermingsmaatregelen) tussen de groepen dan enkel door de interventie komen (in dit geval door gedupeerdheid) en niet door eventuele andere verschillen tussen de groepen.

In dit geval zou dat betekenen dat je mensen op basis van toeval wel of geen slachtoffer had laten worden van de toeslagenaffaire. Dit is natuurlijk niet in lijn met de praktijk. Bekend is dat er door de Belastingdienst/Toeslagen bepaalde kenmerken gebruikt zijn in het risicoselectiemodel tijdens de toeslagenaffaire. In het vorige hoofdstuk is beschreven hoe de gedupeerden verschillen van niet-gedupeerden. Zo hebben gedupeerden vaker een lager huishoudinkomen. Zoals in het vorige hoofdstuk te zien is, hangen dergelijke kenmerken ook samen met de kans op het opgelegd krijgen van kinderbeschermingsmaatregelen in het gezin. Om te kunnen achterhalen of de toeslagenaffaire een rol heeft gespeeld bij de kans op het opgelegd krijgen van kinderbeschermingsmaatregelen (dus of kinderbescherming disproportioneel vaak voorkomt bij gedupeerden van de toeslagenaffaire) is het daarom niet zinvol om de gedupeerden te vergelijken met alle niet-gedupeerden. Je wilt de gedupeerden vergelijken met vergelijkbare niet-gedupeerden. Enkel dan zijn er zinvolle conclusies te trekken over de vraag of kinderbeschermingsmaatregelen disproportioneel vaak voorkomen bij kinderen van gedupeerden van de toeslagenaffaire.

Een veel gebruikte manier om groepen met elkaar te vergelijken als een klassiek experiment niet mogelijk is, is matching (Rosenbaum & Rubin, 1983). Door middel van deze techniek selecteer je niet-gedupeerden die lijken op de gedupeerden. Met andere woorden, je stelt een controlegroep samen van niet-gedupeerden die op relevante kenmerken vergelijkbaar zijn met de gedupeerden. Op die manier is het toch mogelijk om een kwantitatieve uitspraak te doen over of kinderbeschermingsmaatregelen disproportioneel voorkomen bij gedupeerden van de toeslagenaffaire. Deze controlegroep wordt in dit onderzoek de smalle vergelijkingsgroep genoemd (in tegenstelling tot de brede vergelijkingsgroep waar alle niet-gedupeerden in zitten). Meer informatie over deze techniek is onder andere te vinden in Caliendo & Kopeinig (2008).

5.2. Matching in dit onderzoek

5.2.1 Selectie kenmerken

Om door middel van matching een goede smalle vergelijkingsgroep samen te stellen is het belangrijk dat naar de juiste kenmerken gekeken wordt. Hier zijn meerdere voorwaarden aan verbonden. Zo is het belangrijk dat gekeken wordt naar de kenmerken voor dupering/selectie. Met andere woorden, de beide groepen (de gedupeerden en de smalle vergelijkingsgroep) moeten vergelijkbaar zijn wat betreft kenmerken voor dupering/selectie. Het uiteindelijke doel is namelijk om uitspraken te kunnen doen over of de toeslagenaffaire een rol heeft gespeeld (bij de kans op het opgelegd krijgen van kinderbeschermingsmaatregelen) en om dit te kunnen doen moeten beide groepen vergelijkbaar zijn op kenmerken waar de toeslagenaffaire (nog) geen invloed op heeft gehad. Dit is ook de reden dat in het vorige hoofdstuk gekeken is naar kenmerken in het jaar voor dupering/selectie. Daarnaast is het belangrijk dat naar kenmerken gekeken wordt die zowel samenhangen met de kans op gedupeerdheid als met de kans op het opgelegd krijgen van een kinderbeschermingsmaatregel. Enkel deze kenmerken zijn relevant bij het opstellen van een goede smalle vergelijkingsgroep (zie ook vorig hoofdstuk). Verder is het belangrijk dat alle kenmerken die potentieel relevant zijn meegenomen worden in het onderzoek. Als kenmerken die belangrijk zijn voor de kans op gedupeerdheid én de kans op het opgelegd krijgen van kinderbeschermingsmaatregelen niet meegenomen worden, kan een minder goede smalle vergelijkingsgroep opgesteld worden.³¹⁾

In het vorige hoofdstuk is beschreven welke kenmerken (in het multivariate logistische regressiemodel) het meest sterk samenhangen met gedupeerdheid en welke met de kans op het opgelegd krijgen van een kinderbeschermingsmaatregelen. Op basis van deze inzichten zijn de kenmerken geselecteerd die meegenomen worden in de matching om een geschikte smalle vergelijkingsgroep op te stellen. Meer specifiek worden in dit onderzoek onderstaande kenmerken meegenomen om een geschikte smalle vergelijkingsgroep op te kunnen stellen. Wat betreft demografische kenmerken wordt gekeken naar herkomst en leeftijd bij geboorte eerste kind. Wat betreft huishoudenssituatie naar huishoudtype, aanvraag kinderopvangtoeslag voor een niet-juridisch kind en naar het aantal jaar dat kinderopvangtoeslag is aangevraagd. Wat betreft sociaaleconomische positie worden huishoudinkomen, opleiding van de aanvrager en de aanwezigheid van wanbetalers van de zorgverzekering in het huishouden meegenomen. Tot slot worden GGZ-gebruik in het huishouden en de aanwezigheid van verdachten van misdrijven in het huishouden meegenomen in het model om de matchingsgroep samen te stellen. In de volgende tabel staat het model weergegeven.

5.2.2. Methode matching

Er zijn meerdere manieren waarop deze kenmerken gebruikt kunnen worden om een geschikte smalle vergelijkingsgroep op te kunnen stellen. Eén manier om dit te doen is door middel van exact matching. Dit betekent dat je iemand selecteert uit de brede vergelijkingsgroep voor de smalle vergelijkingsgroep die exact hetzelfde kenmerk heeft als een gedupeerde. Zo zijn er bijvoorbeeld relatief veel gedupeerden met een Surinaamse herkomst. Bij exact matching zorg je ervoor dat je voor elke gedupeerde met een Surinaamse herkomst ook een niet-gedupeerde selecteert met een Surinaamse herkomst. Een andere manier om de kenmerken mee te nemen is door middel van propensity score matching. De propensity score van een aanvrager geeft de kans weer om gedupeerd te raken gegeven zijn/haar kenmerken. Er zijn vervolgens ook weer verschillende methodes om op basis van de propensity scores een niet-gedupeerde te selecteren voor elke gedupeerde. Een veel gebruikte methode is nearest neighbour matching. Dit houdt in dat uit de brede vergelijkingsgroep de persoon wordt geselecteerd waarvan de propensity score zo dicht mogelijk ligt bij de propensity score van de gedupeerde. Met andere woorden, per gedupeerde wordt iemand uit de brede vergelijkingsgroep geselecteerd die zo veel mogelijk dezelfde kans heeft om gedupeerd te raken (maar dat niet is) gegeven de kenmerken waar naar gekeken wordt. Een nadeel van nearest neighbour matching is dat de persoon met de dichtstbijzijnde propensity score, alsnog een persoon kan zijn die niet echt lijkt op de gedupeerde. Deze persoon heeft namelijk wel de dichtstbijzijnde propensity score, maar het verschil tussen beide scores kan vrij groot zijn. Een manier om hier mee om te gaan is caliper matching. Met deze techniek bepaal je vooraf hoe groot het verschil tussen de propensity scores mag zijn tussen de gedupeerde en een persoon uit de brede vergelijkingsgroep om deze persoon te selecteren voor de smalle vergelijkingsgroep. Wederom wordt de persoon gekozen met de propensity score het dichtst bij de score van de gedupeerde. Een voordeel van deze methode is dat het betere matches kan opleveren. Een nadeel van deze methode is dat mogelijk minder matches gevonden kunnen worden. Het kan namelijk voorkomen dat er voor een gedupeerde niemand te vinden is in de brede vergelijkingsgroep die een propensity score heeft die voldoende dicht bij de propensity score van de gedupeerde ligt om deze persoon te selecteren voor de smalle vergelijkingsgroep. Dit zou betekenen dat deze gedupeerde niet meegenomen kan worden in verdere analyses (om te onderzoeken of kinderbeschermingsmaatregelen disproportioneel voorkomen bij gedupeerden van de toeslagenaffaire).

In bovenstaande voorbeelden is steeds uitgegaan van de situatie waarin je per gedupeerde één persoon selecteert voor de smalle vergelijkingsgroep. Het is echter ook mogelijk om per gedupeerde meerdere vergelijkbare personen te selecteren voor de smalle vergelijkingsgroep. Bijvoorbeeld dat je per Surinaamse gedupeerde meerdere Surinaamse niet-gedupeerden selecteert (in het geval van exact matching) of dat je meerdere personen selecteert die dezelfde propensity score hebben als de gedupeerde (in het geval van nearest neighbour matching) of dat je meerdere personen selecteert die in het interval zitten dat je vastgesteld hebt als maximale afstand tussen de propensity scores (in het geval van caliper matching, dit wordt dan radius matching genoemd). Het is tot slot ook mogelijk om bovenstaande technieken te combineren (bijvoorbeeld exact matchen op een aantal variabelen en op andere variabelen propensity scores gebruiken om te matchen). Kortom, er zijn meerdere methodes om door middel van matching een smalle vergelijkingsgroep samen te stellen uit de brede vergelijkingsgroep.³²⁾

 Omdat alle methodes voor- en nadelen hebben zijn in dit onderzoek meerdere (combinaties van) methodes verkend. In onderstaande tabel staan de methodes weergegeven die in dit onderzoek verkend zijn. Vanwege het belang van herkomst voor dupering (zowel statistisch als theoretisch) wordt voor dit kenmerk exact matching toegepast. Dit geldt ook voor het aantal kinderen in het huishouden. Dit kenmerk is niet meegenomen in bovenstaande model om de propensity scores te berekenen omdat het te sterk samenhangt met andere kenmerken (er is sprake van multicollineariteit met bijvoorbeeld type huishouden). Gezien het belang van dit kenmerk wordt dit op deze manier wel meegenomen (dit is dus het elfde kenmerk dat meegenomen wordt in de matching naast de 10 kenmerken zoals hierboven weergegeven). Tot slot worden de analyses per cohortjaar afzonderlijk uitgevoerd. Dit omdat de samenhang tussen de kenmerken en gedupeerdheid kan veranderen door de tijd heen, omdat het terugvorderingsbeleid van de Belastingdienst/Toeslagen over de tijd heen aanpassingen heeft gekend (zie bijvoorbeeld hoofdstuk 2).

5.3. Resultaten matching

Het eerste model (één op één matching met nearest neighbour) is in dit onderzoek uiteindelijk gebruikt om de smalle vergelijkingsgroep samen te stellen. De reden hiervoor is dat via deze methode voor alle gedupeerden een geschikte match gevonden kon worden én dat voor alle kenmerken die in het model opgenomen zijn er geen significante verschillen meer waren tussen de gedupeerden en de niet-gedupeerden in de smalle vergelijkingsgroep. Dit geldt ook voor alle cohortjaren afzonderlijk.

Ter illustratie staan hieronder voor herkomst (meest bepalend voor dupering), voor type huishouden (bepalend voor kinderbeschermingsmaatregelen) en voor huishoudinkomen (voor beiden belangrijk) de verschillen tussen de groepen weergegeven.³³⁾  Zoals in onderstaande figuren te zien is, zijn er duidelijke verschillen op deze kenmerken tussen de gedupeerden en de brede vergelijkingsgroep (zie ook vorige hoofdstuk), maar zijn er geen significante verschillen tussen de groep gedupeerden en de smalle vergelijkingsgroep. Dit geldt voor alle kenmerken die meegenomen zijn in het matchingsproces. Met andere woorden, door middel van matching is een smalle vergelijkingsgroep geselecteerd uit de brede vergelijkingsgroep die op belangrijke kenmerken vergelijkbaar is met de gedupeerden.