2. Onderzoeksmethode

Zoals beschreven in hoofdstuk 1 wordt voor de volgende regelingen onderzocht in hoeverre het met gebruik van propensity score matching (PSM) mogelijk is om een controlegroep van niet-gebruikers te creëren die verschillen tussen gebruikers en niet-gebruikers van de regeling in beeld brengt:

• Ooievaarspas
• Individuele inkomenstoeslag
• Kindpakket Leergeld

Indien het mogelijk is om met PSM een goede controlegroep te creëren is er vervolgens gekeken hoe de gebruikers in de interventiegroep¹⁾ en de controlegroep verschillen op verschillende uitkomstmaten²⁾.

2.1. Propensity score matching (PSM)

Het doel van het onderzoek is om een controlegroep te creëren van mensen die de regeling niet gebruiken, maar die op veel andere aspecten zo goed mogelijk lijkt op de groep die de regeling wel gebruikt. Dit is voor iedere regeling apart gedaan met de techniek PSM. Dit is een techniek die afhankelijk is van de variabelen die gebruikt worden. Het werken hiermee vereist inhoudelijke kennis over het onderwerp om de juiste variabelen voor de analyse te bepalen. Daarom is ervoor gekozen dit onderzoek iteratief op te zetten en in samenspraak met een expertgroep van inhoudelijk deskundigen van de gemeente Den Haag te bepalen welke variabelen benodigd zijn voor het onderzoek.

Bij PSM wordt er een model gemaakt dat op basis van verschillende kenmerken kan voorspellen hoe groot de kans is dat iemand gebruik maakt van een regeling. Het gaat hier om kenmerken die van invloed zijn op het gebruik van de regeling. Daarom is eerst samen met de expertgroep bepaald welke kenmerken mogelijk van invloed zijn op het gebruik van de regeling, de achtergrondkenmerken. In bijlage A is een lijst opgenomen met deze achtergrondkenmerken en de bijbehorende definities zijn te vinden in bijlage B. Deze kenmerken worden bekeken voordat iemand gebruikt maakt van de regeling zodat er nog geen invloed van de regeling is geweest, in dit geval twee jaar voor de regeling. Vervolgens zijn van al deze kenmerken enkelvoudige regressies gemaakt, die de samenhang tussen het kenmerk en het gebruik van de regeling in beeld brengen. Met de kenmerken die de grootste kans op het gebruik van een regeling geven, is vervolgens een meervoudige regressie gemaakt, waarin de interacties tussen de kenmerken ook meegenomen zijn. Uiteindelijk is daarmee een model gecreëerd dat voor iedere persoon de kans op gebruik van een regeling geeft.

Op basis van het meervoudig model krijgt iedere persoon van zowel de interventiegroep als de controlegroep een score. Iedere gebruiker, in de interventiegroep, van de regeling wordt vervolgens gekoppeld aan een persoon met een score die zo dicht mogelijk bij die van hem/haar ligt met betrekking tot de kenmerken in het model³⁾. Mocht de groep hierna niet helemaal goed vergelijkbaar zijn op bepaalde belangrijke kenmerken dan kan er nog exact gematcht⁴⁾ worden. De niet-gebruikers die gekoppeld zijn aan een gebruiker vormen de groep waarmee uiteindelijk de gebruikers van de regeling worden vergeleken. Dit is de smalle controlegroep. Omdat deze groepen sterk op elkaar lijken op de voor het gebruik van de regeling relevante kenmerken, is de kans groot dat verschillen tussen beide groepen veroorzaakt worden door het gebruik van de regeling. Daarna wordt bepaald of er tussen beide groepen nog significante verschillen zijn voor belangrijke achtergrondkenmerken. Als die er niet zijn, kan een schatting gemaakt worden van de invloed van de regeling op de uitkomstmaten.

2.2 Populatie

Voor iedere regeling bestaat de populatie van het onderzoek uit een interventiegroep, een brede controlegroep en een smalle controlegroep. De interventiegroep wordt gevormd door personen die in het betreffende jaar voor het eerst gebruik maken van de regeling. Hiervoor heeft de gemeente Den Haag bestanden aangeleverd met personen die gebruik hebben gemaakt van de armoederegelingen⁵⁾. Deze zijn eerst door het CBS gepseudonimiseerd. Dat wil zeggen dat de burgerservicenummers (BSN’s) versleuteld zijn, zodat individuele personen voor de onderzoekers niet meer herkenbaar zijn. Het gaat om het eerste gebruik van de regeling, dus mensen die al meerdere jaren gebruik maken van de regeling worden uitgesloten van de interventiegroep. De reden daarvoor is dat als we groepen van gebruikers en niet-gebruikers op een juiste manier willen vergelijken, deze groepen dezelfde uitgangspositie moeten hebben. Als mensen al langer gebruik maken van een regeling kunnen ze daardoor zijn beïnvloed, waardoor een zuivere vergelijking niet mogelijk is. Om die reden, en vanwege andere selecties⁶⁾, is de groep gebruikers die meegenomen is in het onderzoek veel kleiner dan de groep gebruikers uit de bestanden die gemeente Den Haag gedeeld heeft met het CBS.

De brede controlegroep wordt gevormd door personen die in alle geleverde jaren⁷⁾ geen gebruik hebben gemaakt van de regeling. Voor iedere persoon in de interventiegroep wordt een persoon uit de brede controlegroep gekozen met een propensity score die het dichtstbij ligt. De personen die op deze manier vanuit de brede controlegroep worden geselecteerd, vormen samen de smalle controlegroep. Uiteindelijk wordt de interventiegroep vergeleken met de smalle controlegroep.

2.3 Uitkomstmaten

Als het gelukt is een goede vergelijkbare controlegroep te maken kan er op verschillende uitkomstmaten gekeken worden hoe de uitkomstmaten eruit zien voor de interventiegroep en de smalle controlegroep. Voor de Ooievaarpas is gekeken naar de volgende uitkomstmaten: inkomen uit werk, gezondheidsproblemen, jeugdzorg in het huishouden, voortijdig schoolverlaten, Wmo in het huishouden en instroom in problematische schulden van het huishouden. Voor de individuele inkomenstoeslag is gekeken naar: gezondheidsproblemen, jeugdzorg in het huishouden, Wmo in het huishouden en instroom in geregistreerde problematische schulden in het huishouden. Voor het Kindpakket Leergeld is het niet gelukt om een goede vergelijkingsgroep te vinden. Om deze reden wordt er daar dus niet naar uitkomstmaten gekeken. Voor de definities van de uitkomstmaten zie bijlage B.