2. Benaderstrategie GE/LSM-k
2.1 De jaren 2014-2020
Voor de GE/LSM-k trekt het CBS steekproeven uit de Basisregistratie Personen (BRP). We streven hierbij naar een minimum aantal respondenten (deelnemers) van 9500. Van 2014 tot en met 2016 kregen steekproefpersoon eerst een brief thuis kreeg met de vraag om via internet (CAWI) deel te nemen aan het onderzoek. Indien de steekproefpersoon niet deelnam via CAWI, ontvingen zijn een tweetal herinneringsbrieven. Wanneer zij niet meededen, maar ook niet expliciet weigerden mee te doen, werden ze herbenaderd voor een aan-huis-interview (CAPI). Vrijwel alle personen die in aanmerking kwamen voor CAPI werden daadwerkelijk herbenaderd. Een persoon kwam niet meer in aanmerking voor herbenadering als hij of zij was overleden of verhuisd. In 2016 kwam 92,9% van de CAWI-non-respons in aanmerking voor CAPI.
Met ingang van 2017 werden er vaste omvangen bij CAPI ingevoerd. Dat betekent dat het aantal mensen dat voor CAPI zou worden benaderd van tevoren werd vastgesteld, met als doel om de planning van de interviewers efficiënter te maken en van te voren de kosten van het dataverzamelingswerk te kunnen inschatten. Het percentage CAPI herbenadering ging daarbij van 92,9% in 2016 naar 83,1% in 2017. Dit betekende dus dat er in de stap van CAWI naar CAPI een uitdunning (niet herbenaderen) van ongeveer 10 procentpunten bij kwam. Deze uitdunning gebeurde aselect, ofwel willekeurig.
Een andere verandering was dat het aantal mensen dat benaderd werd voor CAWI werd vergroot. Zo waren we er zeker van dat er voldoende mensen overbleven voor de vaste CAPI-benadering, ook als de CAWI respons ineens hoger zou uitvallen. Dit had als effect dat de maximale vertekening groter werd. De coefficient of variation (CV) van de responskansen werd namelijk groter. De CV is een maat om aan te geven of de verdeling van de deelnemers aan een onderzoek lijkt op de verdeling in de bevolking. Deze vergelijking maken we op basis van bepaalde kenmerken, zoals geslacht, leeftijd en migratieachtergrond. Hoe kleiner de CV, des te meer de verdeling van de respondenten lijkt op de verdeling in de bevolking.
Met ingang van 2018 werden er twee grote wijzingen doorgevoerd.
- De eerste wijziging was dat een incentive (beloning) in de vorm van een iPad verloting werd ingevoerd met als doel de CAWI respons te verhogen. Deelnemers aan het onderzoek maakten dus kans op een prijs. Daarop nam de CAWI respons met 3,6 procentpunten toe, van 34,1% in 2017 naar 37,7% in 2018. Het is niet bekend of het invoeren van de incentive een effect had op de CAPI respons en dit was ook lastig te meten omdat er tegelijkertijd doelgroepenbenadering werd ingevoerd: de tweede wijziging.
- De tweede wijziging was de gedeeltelijke invoering van de doelgroepenbenadering bij CAPI. Van bepaalde doelgroepen, waarvan bekend is dat zij goed via CAWI responderen, worden minder mensen herbenaderd voor CAPI. De hierboven beschreven uitdunning en herbenadering werden dus selectief. Het idee van de doelgroepenbenadering was dat de CV van de responskansen kleiner zou worden en hiermee uiteindelijk de maximale vertekening verkleind werd. Zo vindt de correctie voor vertekening deels vooraf plaats en wordt deze niet meer alleen overgelaten aan de achteraf uitgevoerde weging.
Om de doelgroepenbenadering invulling te geven werd eerst een analyse gedaan om mensen op basis van achtergrondkenmerken te clusteren. Daarbij wordt gekeken naar de verwachte respons per waarnemingsmethode (CAWI en CAPI) van mensen met verschillende kenmerken op basis van data van de gerealiseerde respons uit voorgaande jaren. Mensen met verschillende kenmerken maar met eenzelfde verwachte respons worden geclusterd tot een doelgroep. De doelgroepen waren in 2018 gebaseerd op de kenmerken stedelijkheidsgraad van de woongemeente, gestandaardiseerd besteedbaar huishoudinkomen, leeftijd en migratieachtergrond2).
Voor 2018 werd als randvoorwaarde voor de clusteringsanalyse meegegeven dat er 8040 personen benaderd zouden worden voor een CAPI interview. Door die randvoorwaarde noemen we de doelgroepenbenadering van 2018 ‘gedeeltelijk’ en niet ‘optimaal’. Zonder de randvoorwaarde van het aantal voor CAPI te benaderen personen zouden minder personen voor CAPI zijn benaderd en zou de CV lager zijn uitgevallen.
Een effect van de invoering van de gedeeltelijke doelgroepenbenadering was dat de vertekening kleiner werd gemaakt omdat de verschillen in responskansen tussen groepen kleiner werden. Het overall responspercentage nam af omdat minder mensen uit goed responderende groepen herbenaderd werden voor CAPI en omdat het aantal mensen wat überhaupt herbenaderd werd afnam. De modeverhouding verschoof naar meer CAWI respons in de totale respons. In totaal werd in 2018 71,5% van de CAWI-non-respons herbenaderd via CAPI.
Met ingang van 2019 waren er kleine wijzingen in de doelgroepenindeling. Dit omdat de clusteringsanalyse opnieuw werd uitgevoerd, met recentere gerealiseerde responskansen als input, wat tot iets andere resultaten leidde. Stedelijkheidsgraad zat niet meer in de doelgroepenindeling van 2019 en er waren wijzigingen in de definities van migratieachtergrond en in de indelingen van de leeftijdscategorieën.
Er werd besloten om het aantal mensen dat voor CAPI werd benaderd gelijk te houden met het aantal van 2018: 8040 personen werden via CAPI herbenaderd. Door tegenvallende respons werden vanaf juli 2019 meer mensen voor CAWI-deelname benaderd om toch voldoende respons te verkrijgen. Het aantal mensen dat voor CAPI werd benaderd bleef gelijk. Dit zorgde ervoor dat het percentage CAPI herbenadering van 71,5% in 2018 daalde naar 69,7% in 2019.
In 20203) werden geen wijzingen doorgevoerd. De doelgroepenindeling bleef zoals in 2019 en de CAPI uitzet werd weer vastgesteld op 8040. Wel werd het percentage CAPI herbenadering per doelgroep licht gewijzigd, als gevolg van in 2019 waargenomen veranderingen in de responskansen per doelgroep per waarnemingsmethode.
2.2 Benaderstrategie GE/LSM-k met ingang van 2021: geoptimaliseerde doelgroepenbenadering
Met ingang van 2021 werd de doelgroepenbenadering bij de GE/LSM-k geoptimaliseerd. Een van de wijzigingen was dat de randvoorwaarde voor het aantal voor CAPI te benaderen personen werd losgelaten. Minimalisering van de CV werd het doel. De randvoorwaarde van een minimumaantal van in totaal 9.500 respondenten, ongeacht of deze via CAWI of CAPI deelnamen, bleef wel gehandhaafd.
Vanaf 2021 is de doelgroepenindeling voor de GE/LSM-k gebaseerd op inkomen, leeftijd en migratieachtergrond. Deze kenmerken sluiten aan bij de doelgroepenindeling van eerdere jaren. De precieze indeling van de doelgroepen stelden we vast door een clusteranalyse uit te voeren op responsdata uit de eerste helft van 2019. Uit deze analyse kwamen acht doelgroepen, zie tabel 2.2.1.
| zonder migratieachtergrond | zonder migratieachtergrond | zonder migratieachtergrond | met migratieachtergrond | met migratieachtergrond | met migratieachtergrond | |
|---|---|---|---|---|---|---|
| laag inkomen | midden inkomen | hoog inkomen | laag inkomen | midden inkomen | hoog inkomen | |
| 0 t/m 11 jaar | 2 | 2 | 2 | 1 | 1 | 7 |
| 12 t/m 24 jaar | 3 | 3 | 7 | 8 | 1 | 3 |
| 35 t/m 44 jaar | 3 | 3 | 3 | 5 | 5 | 5 |
| 45 t/m 64 jaar | 3 | 7 | 4 | 5 | 5 | 5 |
| 65 jaar of ouder | 3 | 7 | 6 | 5 | 5 | 4 |
Leesvoorbeeld bij tabel 2.2.1: doelgroep 1 bestaat uit mensen met een migratieachtergrond van 0 tot en met 11 jaar uit huishoudens uit de inkomenscategorie laag of midden. En uit mensen met een migratieachtergrond van 12 tot en met 24 jaar uit huishoudens uit de inkomenscategorie midden.
Ten opzichte van de doelgroepen in 2020 is er in 2021 een leeftijdsgroep minder: voorheen werden 65-74 jaar en 75+ apart meegenomen, nu is er één groep voor 65+. Daarnaast zijn er op basis van verschillen in responskansen andere groepen samengevoegd tot één doelgroep. Dit leidde tot een aantal verschillen:
- In vergelijking met 2020 werden in 2021 meer mensen benaderd voor CAWI (van 17.112 in 2020 tot 19.632 in 2021).
- Het aantal mensen dat benaderd werd voor CAPI nam af (van 8.040 in 2020 tot 6.624 in 2021).
Het percentage personen uit de herbenaderbare CAWI nonrespons dat via CAPI zou worden herbenaderd in 2021 werd geschat op 55,2%4).
Tabel 2.2.2 geeft een samenvatting van de waarneemstrategie bij de GE/LSM-k in de jaren 2014 tot en met 2021.
3) In 2020 brak de coronaepidemie uit. CAPI-waarneming was in delen van het jaar niet of met beperkingen mogelijk. Het CBS heeft door het inzetten van tijdreeksmodellen gepubliceerd over het jaar 2020. Die tijdreeksmodellen maakten gebruik van informatie uit eerdere jaargangen over het verschil tussen CAWI en CAPI-respons. Op die manier werd zo goed mogelijk gecompenseerd voor het deels wegvallen van CAPI-waarneming. Meer informatie hierover is te vinden in Smeets & Van den Brakel, 2021.
4) In 2021 was het door corona(maatregelen) niet mogelijk om de vooraf geplande waarneemstrategie in zijn geheel uit te voeren. Het was, net als in grote delen van 2020, niet of slechts met beperkingen mogelijk aan-huis waar te nemen. Door de inzet van tijdreeksmodellen heeft het CBS toch gepubliceerd over 2021, zie ook voetnoot 2.