2. Onderzoeksaanpak

Dit hoofdstuk gaat in op de aanpak van het onderzoek. Allereerst wordt aandacht besteed aan de wijze van steekproeftrekking van adressen. Vervolgens wordt ingegaan op het resultaat van het bezoek van deze adressen: hoe vaak is er iemand aangetroffen? Is er uiteindelijk een interview afgenomen? Daarna wordt gerapporteerd over de wijze van interviewen en de wijze van vaststellen van het uiteindelijke kwaliteitspercentage op zowel persoons- als adresniveau.

2.1 Steekproeftrekking

Het onderzoek is in een aantal fases uitgevoerd, waarvan de eerste fase bestond uit het trekken van een steekproef. Voor de steekproeftrekking is het adressenkader van het CBS gebruikt, dat is afgeleid uit de adressen van de BRP. Dit steekproefkader wordt maandelijks geactualiseerd, waarbij verhuizingen worden verwerkt en nieuwe adressen worden toegevoegd. Adressen waar (tijdelijk) geen bewoning is, blijven in het steekproefkader. Op basis van de registraties kan immers niet worden vastgesteld of het adres niet meer bestaat of tijdelijk leeg staat.

Voor dit onderzoek is een zelfwegende tweetrapssteekproef gebruikt. In het bijbehorende methodologisch rapport⁸⁾ is dit steekproefontwerp nader uitgelegd. Door toepassing van deze tweetrapssteekproef heeft ieder adres, en daarmee iedere persoon, in Nederland dezelfde trekkingskans. In totaal zijn 2 500 adressen opgenomen in de steekproef. Adressen op de Waddeneilanden en een deel van de Bijlmer⁹⁾ zijn hierbij uitgesloten. Ook inrichtingen, instellingen en tehuizen zitten niet in het steekproefkader.

In de maanden oktober en november 2021 zijn de getrokken adressen vervolgens bezocht door een interviewer. In deze periode waren er nog verschillende coronamaatregelen van kracht (zie kader) die invloed hebben gehad op de capaciteit van het veldwerk en het gedrag van mensen en daarmee ook op de kwaliteitsberekening. Tijdens het interview is een vragenlijst afgenomen met als doel om per adres na te gaan wie er wonen of een briefadres hebben. Door de antwoorden te confronteren met de gegevens zoals die uit de BRP naar voren komen, kan vervolgens worden bepaald of de verschafte informatie overeenkomt met de registratie. Indien de interviewer bij het eerste bezoek geen van de bewoners te spreken kreeg, werd een tweede of zelfs een derde poging gedaan om de vragenlijst alsnog af te nemen.

2.2 Respons veldwerk

In tabel 2.2.1 is te zien wat het eindresultaat van de adresbezoeken was. Van de 2 500 getrokken adressen zijn 2 356 adressen daadwerkelijk één of meerdere keren bezocht. 125 adressen werden uiteindelijk niet bezocht, deels door capaciteitsproblemen gerelateerd aan corona. Dit kwam het meeste voor in de sterk stedelijke gebieden, waarvoor gecorrigeerd is in het weegmodel. In totaal werden 196 adressen tevergeefs bezocht, omdat niet werd opengedaan of omdat geen bewoner werd aangetroffen. Ook was 7 keer sprake van een taalbarrière, werd de medewerking bij 70 adressen geweigerd en werd een interview in 3 gevallen voortijdig afgebroken. Het bezoek is succesvol wanneer wordt voldaan aan één van de volgende twee voorwaarden:

1. de interviewer werd door een bewoner te woord gestaan, zodat vastgesteld kon worden welke personen er volgens de bewoner op het adres wonen.
   Of;
2. er kon van buitenaf vastgesteld worden dat het adres niet bewoond was, zodat geconcludeerd kon worden dat eventueel op dat adres geregistreerde personen niet correct geregistreerd kunnen zijn.

Van de 2 356 bezochte adressen werden er 2 077 adressen succesvol bezocht. Hiermee is de absolute respons iets lager dan in 2018. In het vorige onderzoek werden 2 136 adressen succesvol bezocht. Ondanks dat het absolute respons iets lager ligt, is het percentage van de bezochte adressen met een respons met 88 procent een fractie hoger dan de 87 procent in 2018.

In totaal zijn 345 van de 352 gemeenten in de steekproef terecht gekomen, wat neerkomt op vrijwel alle gemeenten in Nederland.

2.3 Bepaling kwaliteitspercentage op persoons- en adresniveau

In totaal behoren 2 077 van de 2 500 adressen tot de respons. Bij het vaststellen van de kwaliteitspercentages wordt uitgegaan van het adres waarop iemand staat ingeschreven. In enkele gevallen kwam het voor dat een adres ten tijde van het interview volgens de BRP leegstond. Voor het berekenen van de kwaliteitspercentages zijn enkel adressen meegenomen waarop minimaal één persoon ingeschreven staat¹⁰⁾. De respons bleek 50 adressen te bevatten, die ten tijde van het interview volgens de BRP leeg stonden en die om die reden niet zijn meegenomen in het bepalen van de kwaliteitspercentages. De kwaliteit wordt dus bepaald aan de hand van de overige 2 027 adressen, zie tabel 2.3.1. In paragraaf 4.4 wordt nog kort ingegaan op de 50 responsadressen die ten tijde van het interview volgens de BRP leeg stonden.

Van de 2 077 responsadressen vormen de 2 027 adressen die volgens de BRP worden bewoond de basis voor de berekening van kwaliteitspercentages op persoons- en adresniveau. Het percentage op persoonsniveau geeft aan in hoeverre deze geregistreerde personen op een adres tijdens het bezoek daadwerkelijk door de geïnterviewde als bewoner of briefadreshouder worden aangemerkt. Het percentage op adresniveau geeft aan of de door de bewoner genoemde informatie over de bewoning (of de door de interviewer afgeleide informatie over onbewoonbaarheid) van het adres volledig klopt met de informatie in de BRP.

De interviewer krijgt op de volgende manier informatie over een adres. Bij het bezoek heeft de interviewer een lijst met het geslacht en de geboortedatum van de op dat adres geregistreerde bewoners of briefadreshouders ten tijde van de steekproeftrekking. In eerste instantie gebruikt de interviewer deze lijst niet, maar vraagt aan de bewoner om (zonder hulp) alle personen op te noemen die op het adres wonen of een briefadres hebben en daarbij ook hun type registratie (bewoner/ briefadreshouder) te vermelden. Vervolgens checkt de interviewer of alle geregistreerde bewoners of briefadreshouders die op de lijst voorkomen, zijn genoemd. Indien de bewoner één of meerdere personen niet noemt die wel op de lijst staan, wordt aan de bewoner gevraagd of hij de betreffende personen wellicht vergeten is op te noemen. Indien de bewoner personen noemt die niet voorkomen op de lijst van de interviewer, worden geslacht en geboortedatum van deze personen genoteerd. Uiteindelijk heeft de interviewer dus een compleet beeld van alle personen die, volgens de bewoner, ingeschreven staan op het adres, waarbij een enkeling pas genoemd wordt als de interviewer er specifiek naar vraagt.

Deze door het interview verkregen informatie wordt vervolgens naast de BRP-informatie gelegd om tot de kwaliteitspercentages te komen. Let op dat deze BRP-informatie niet exact overeen hoeft te komen met de informatie die de interviewer tot zijn/haar beschikking had. De informatie kan tussen het moment van de steekproeftrekking en het interview veranderd zijn, bijvoorbeeld door een verhuizing net na de steekproeftrekking. Om te bepalen wie er werkelijk op het adres stonden ingeschreven ten tijde van het interview, gebruikt het CBS de meeste actuele informatie, die pas achteraf beschikbaar komt.

Vervolgens wordt er bij de berekening van de kwaliteitspercentages rekening mee gehouden dat bepaalde groepen onder- of juist oververtegenwoordigd kunnen zijn in het onderzoek, door toeval of verschillen in non-respons, waardoor de respons geen juiste afspiegeling vormt van de werkelijke populatie. Hiervoor wordt door middel van een weging gecorrigeerd. Door het toekennen van gewichten aan respectievelijk adressen en personen op basis van bekende achtergrondkenmerken, wordt de representativiteit zo goed mogelijk hersteld. Verder heeft wegen ook als doel de nauwkeurigheid van de schatting van de doelvariabelen in beeld te brengen en te vergroten. Dit wordt gedaan door achtergrondkenmerken te kiezen die samenhangen met deze doelvariabelen. Achtergrondkenmerken die in dit onderzoek gebruikt zijn voor de weging op persoonsniveau, zijn bijvoorbeeld leeftijd, geslacht en herkomst. Op adresniveau zijn dit onder andere WOZ-waarde en stedelijkheid. In het methodologisch rapport¹¹⁾ wordt dieper ingegaan op de gebruikte weegtechniek en komen alle gebruikte achtergrondkenmerken aan bod.

De onderzoeksaanpak voor 2021 is zoveel mogelijk gelijk gehouden aan het onderzoek van 2018. Dit om de uitkomsten van 2021 te kunnen vergelijken met de uitkomsten van 2018. Om te beoordelen of de verschillen in kwaliteitspercentages tussen 2021 en 2018 statistisch significant zijn, ofwel groter zijn dan door toeval verklaard kan worden, is een ongepaarde t-test uitgevoerd waarvan de resultaten besproken worden in paragraaf 3 en 4.

2.4 Onbekende personen op bezocht adres aangetroffen

Bij het vaststellen van het kwaliteitspercentage op persoonsniveau is het belangrijk om te beseffen dat mogelijke fouten met elkaar samen kunnen hangen. Wanneer een geregistreerde persoon op het ene adres ontbreekt, zal dit (uitzonderingen daargelaten) betekenen dat dezelfde persoon als ongeregistreerde en dus onbekende persoon wordt aangetroffen op een ander adres. Hiermee zou, wanneer de steekproef de hele populatie zou bevatten, een in de BRP geregistreerde persoon die niet op het geregistreerde adres woont (maar nog wel in Nederland woont, wat natuurlijk niet per definitie het geval hoeft te zijn) tweemaal als fout worden aangemerkt. Voor het berekenen van het kwaliteitspercentage op persoonsniveau is het onwenselijk als diezelfde foutieve persoon tweemaal wordt meegeteld.

Ook wanneer uitgegaan wordt van een steekproef die niet de hele populatie omvat, heeft een in de BRP geregistreerde persoon die niet op het geregistreerde adres woont, (bijna) tweemaal zoveel kans om in de steekproef terecht te komen. Om hiervoor te corrigeren wordt een niet-geregistreerde persoon die toch door de interviewer is waargenomen niet verder in de kwaliteitsmeting meegenomen. Het voordeel om juist dit type fout (niet geregistreerd, maar toch aangetroffen) te negeren ten opzichte van het type fout waarbij een geregistreerde persoon niet wordt aangetroffen, is dat mensen ook kunnen verhuizen naar het buitenland (waar ze per definitie niet worden aangetroffen) of op een boot of vakantiehuis kunnen gaan wonen waar ze ook niet ‘gevonden’ worden.

Merk op dat dit onderscheid op adresniveau niet geldt, omdat zowel een adres waar een persoon extra wordt aangetroffen als een adres waar een persoon te weinig wordt aangetroffen een foutief adres betreft. Eén foutieve persoon leidt dus (doorgaans) tot twee foutieve adressen.