Geplande en ongeplande wijzigingen in de dataverzameling van de Leefstijlmonitor Aanvullende Module Middelen 2020

De dataverzameling van de Leefstijlmonitor Aanvullende Module Middelen (LSM-A Middelen) verliep in 2020 anders dan in de jaren daarvoor. In de eerste plaats is de onderzoeksopzet gewijzigd, waardoor minder mensen werden benaderd voor een telefonisch of face-to-face interview dan in de jaren daarvoor (doelgroepgerichte herbenadering). Ten tweede konden er in 2020 gedurende enkele maanden geen face-to-face interviews plaatsvinden als gevolg van de coronamaatregelen. Ten derde bleken er fouten te zijn gemaakt bij de steekproeftrekking voor de herbenadering, die effect hebben gehad op de telefonische en face-to-face herbenadering.
De vraag is welk effect deze veranderingen hebben op de resultaten van de LSM-A Middelen 2020. In deze notitie worden de drie veranderingen uitgebreider beschreven. Daarna wordt ingegaan op het effect van deze veranderingen op de resultaten.

Dataverzameling van de Leefstijlmonitor Aanvullende Module Middelen

De gebruikelijke dataverzameling van de Leefstijlmonitor Aanvullende Module Middelen verloopt als volgt. 

Mensen die in de steekproef van de LSM-A Middelen vallen kunnen de vragenlijst op drie manieren invullen:

1. ze kunnen de vragenlijst via internet invullen (CAWI, Computer Assisted Web Interviewing),
2. ze kunnen telefonisch worden geïnterviewd (CATI, Computer Assisted Telephone Interviewing), of
3. ze kunnen thuis worden bezocht door een interviewer voor een face-to-face interview (CAPI, Computer Assisted Personal Interviewing).

De mensen krijgen een brief van het CBS met daarin het verzoek om de vragenlijst via internet (CAWI) in te vullen. Als ze de vragenlijst (na 2 herinneringsbrieven te hebben ontvangen) niet via internet invullen, wordt een deel van hen opnieuw benaderd. Een deel van de mensen die de internet-vragenlijst niet hebben ingevuld wordt gevraagd om de vragenlijst telefonisch (CATI) te beantwoorden en een ander deel wordt bezocht door een interviewer. De telefonische interviews vinden een maand later plaats dan de internetvragenlijst. De face-to-face interviews (CAPI) vinden twee maanden later plaats dan de internetvragenlijst.

Doelgroepgerichte herbenadering

Niet iedereen wordt opnieuw benaderd voor een telefonisch of een face-to-face interview. Dit was in eerdere jaren ook al zo. In 2016 en 2018 werd na CAWI 60 procent van de westerse personen (mensen met Nederlandse achtergrond en mensen met een westerse migratieachtergrond) via CATI of CAPI herbenaderd, terwijl personen met een niet-westerse migratieachtergrond allemaal werden herbenaderd.

Vanaf uitvoeringsjaar 2019 wordt bij de Leefstijlmonitor echter een verfijndere doelgroepgerichte herbenadering toegepast onder de mensen die niet responderen op de internetvragenlijst (CAWI-nonrespons). Dit houdt in dat de uitgenodigde deelnemers opgedeeld worden in groepen waarbij gekeken wordt naar hoe groot de kans is dat ze meedoen aan de internetvragenlijst. Deze (doel)groepen worden geformeerd op basis van leeftijd, inkomen en migratieachtergrond. Een doelgroep die relatief goed heeft gereageerd via CAWI wordt voor een kleiner deel herbenaderd met CATI/CAPI dan doelgroepen die slecht hebben gereageerd via CAWI. CATI en CAPI wordt hiermee dus selectiever ingezet. Hiermee wordt bereikt dat de uiteindelijke respons een betere afspiegeling van de bevolking vormt.

De Leefstijlmonitor Aanvullende Module Middelen wordt sinds 2016 eens in de twee jaar uitgevoerd, namelijk in de even jaren. In de oneven jaren bevat de vragenlijst van de Leefstijlmonitor Aanvullende Module vragen over sporten, bewegen en ongevallen. In 2020 werd de doelgroepgerichte herbenadering voor het eerst uitgevoerd bij de Leefstijlmonitor Aanvullende Module Middelen. Voor de LSM-A Middelen 2020 werden er twaalf doelgroepen gemaakt.

Het wegvallen van CAPI gedurende enkele maanden als gevolg van de coronamaatregelen

In 2020 zijn er door de regering verschillende maatregelen getroffen om de uitbraak van de Covid-19 pandemie te bestrijden. Als gevolg van deze maatregelen heeft de face-to-face enquêtering in 2020 meerdere maanden stilgelegen of in aangepaste vorm plaatsgevonden. In tabel 1 is voor de LSM-A Middelen 2020 per uitvoeringsmaand in kaart gebracht welke maatregelen er door het CBS zijn genomen met betrekking tot de face-to-face waarneming.

Fouten tijdens de steekproeftrekking

Er zijn twee fouten gemaakt tijdens de steekproeftrekking voor de herbenadering, die onbedoelde effecten hebben gehad op de CATI- en CAPI-herbenadering van steekproeven van de LSM-A Middelen.

1. Uit de CAWI-nonrespons uit januari t/m juni 2020 zijn er bij één van de twaalf doelgroepen per ongeluk nauwelijks mensen geselecteerd voor herbenadering voor een CAPI-interview. Omdat de face-to-face interviews normaliter twee maanden na de uitnodiging voor de internetvragenlijst plaatsvinden, zijn in de maanden maart t/m augustus dus maar weinig mensen uit deze doelgroep opnieuw benaderd. Deze periode viel echter samen met de periode waarin de face-to-face-interviews vanwege de coronamaatregelen niet op de gebruikelijke manier konden worden uitgevoerd (zie tabel 1). Om deze reden heeft deze fout nauwelijks impact op de resultaten van de LSM-A Middelen.
2. Bij het opnieuw benaderen van de CAWI-nonrespons uit april t/m juni 2020 zijn verkeerde doelgroepen gebruikt. De doelgroepen zijn gebaseerd leeftijd, herkomst en inkomen. In deze maanden is bij de doelgroepenafleiding voor deze drie variabelen de indeling in categorieën van 2019 gebruikt in plaats van die van 2020. Dit heeft gevolgen gehad voor de samenstelling van de CATI-groepen in mei t/m juli (één maand later) en voor de CAPI-groepen in juni t/m augustus (twee maanden later). De impact van deze fout is groter dan die van de eerste fout doordat ook CATI is getroffen.

Bij de CAWI-uitzet die in juli is gestart zijn beide fouten verholpen. Dit geldt dus voor de CATI-uitzet vanaf augustus en de CAPI-uitzet vanaf september. Vanaf september is de CAPI-waarneming ook weer opgestart (zie tabel 1) en is het veldwerk dus volgens het oorspronkelijke geplande design uitgevoerd.

Herstelwerkzaamheden voor de fouten tijdens de steekproeftrekking

Om deze fouten in de steekproeftrekking zo goed mogelijk te corrigeren is de weging aangepast. Door de gewichten van de respondenten die zijn ondervertegenwoordigd in de uiteindelijke respons te verhogen en de gewichten van de respondenten die zijn oververtegenwoordigd te verlagen, kunnen de resultaten voor een deel worden gecorrigeerd.
Dit was helaas niet mogelijk voor de respondenten van het eerste kwartaal van 2020, maar wel voor de respondenten van het tweede kwartaal. Voor het tweede kwartaal zijn de fouten zo veel mogelijk hersteld door het aanpassen van de gewichten. De samenstelling van de respons is op deze manier deels rechtgetrokken, maar het probleem is niet volledig opgelost.

Simulatie van het gezamenlijke effect van CAPI-uitval, de doelgroepgerichte herbenadering en de fouten in de steekproeftrekking

Het effect van de doelgroepgerichte herbenadering, het effect van de CAPI-uitval vanwege corona en het effect van de fouten in de steekproeftrekking op de resultaten van de LSM-A Middelen 2020 kunnen niet apart van elkaar worden onderzocht. Deze veranderingen in de onderzoeksopzet zijn alle drie van invloed op het aantal mensen die de vragenlijst via internet, telefonisch en face-to-face beantwoordden. Deze groepen respondenten verschillen vaak van elkaar. Zo zijn internet-respondenten bijvoorbeeld jonger, respondenten van telefonische interviews ouder en respondenten van face-to-face interviews hebben vaker een lager inkomen. Dit heet het selectie-effect. Daarnaast is bekend dat de manier van interviewen (via internet, telefonisch of face-to-face) effect kan hebben op de antwoorden die mensen geven. Dit heet een mode-effect (CAWI, CATI en CAPI zijn verschillende interviewmodes). Selectie-effecten en mode-effecten kunnen niet van elkaar worden onderscheiden. De verhoudingen tussen de aantallen CAWI-, CATI- en CAPI-respondenten kunnen door selectie-effecten en mode-effecten de uitkomsten van enquête-onderzoeken beïnvloeden.

Het CBS heeft het gezamenlijke effect van CAPI-uitval, van de doelgroepgerichte herbenadering en van de fouten in de steekproeftrekking van de LSM-A Middelen 2020 onderzocht. Dit is gedaan door de cijfers van de LSM-A Middelen 2020 te vergelijken met de cijfers van de LSM-A Middelen 2016 en de LSM-A Middelen 2018, waarbij rekening is gehouden met de afwijkende verhoudingen tussen de aantallen CAWI-, CATI- en CAPI-respondenten.
Om de cijfers van 2016 en 2018 met 2020 te vergelijken is de verhouding tussen de interviewmodes CAWI, CATI en CAPI in de respons van 2020 per maand en per doelgroep overgenomen in de respons van 2018 en 2016. Op deze manier kun je de effecten van 2020 voor de cijfers van 2016 en 2018 simuleren. Dit kon op twee niveaus:

1. het oorspronkelijke niveau zonder CAPI-uitval, zonder de doelgroepenbenadering en zonder fouten in de steekproeftrekking (dit zijn de oorspronkelijke cijfers) en
2. het nieuwe niveau met CAPI-uitval, met de doelgroepenbenadering en met de fouten in de steekproeftrekking (dit zijn gesimuleerde cijfers).

Het verschil tussen de oorspronkelijke en de nieuwe (gesimuleerde) cijfers zegt dan iets over het totale effect van de CAPI-uitval, de doelgroepenbenadering en het effect van de fouten in de steekproeftrekking. Voor 2020 is het gemiddelde genomen van de effecten in 2016 en 2018 en is dit gemiddelde afgetrokken van de cijfers van 2020 om deze vergelijkbaar te maken met de eerdere jaren.

De resultaten van deze simulatie laten zien dat voor rokers en dagelijkse rokers een effect te zien is van de gewijzigde CAWI/CATI/CAPI-verhouding. Het percentage rokers onder volwassenen stijgt door deze simulatie van 17,0 % naar 18,3 % en het percentage dagelijkse rokers onder volwassenen stijgt van 11,7 % naar 12,7 %. De CAPI-uitval, de doelgroepenbenadering en het effect van de fouten in de steekproeftrekking zorgen er dus voor dat de prevalenties voor roken en dagelijks roken lager uitvallen dan wanneer deze veranderingen en fouten niet waren opgetreden. Uit de analyse blijkt verder dat deze drie wijzigingen geen effect hebben op het percentage mensen dat meerookt en op het percentage gebruikers van de e-sigaret.

Voor alcohol geldt het omgekeerde als voor roken: het percentage volwassen drinkers is 78,7 %. Na de simulatie daalt dit percentage naar 77,4 %. De CAPI-uitval, de doelgroepenbenadering en het effect van de fouten in de steekproeftrekking zorgen er dus voor dat het percentage drinkers hoger uitvalt dan wanneer dit niet was opgetreden.

Voor cannabis en het gebruik van andere drugs geldt, net als bij roken, dat de CAPI-uitval, de doelgroepenbenadering en het effect van de fouten in de steekproeftrekking tot gevolg hebben dat de prevalenties lager uitvallen dan wanneer deze veranderingen en fouten niet waren opgetreden. De groottes van de effecten verschillen echter per indicator. Het gebruik van cannabis ooit in het leven valt 1,1% lager uit dan wanneer de wijzigingen niet waren opgetreden en het laatste-jaar-gebruik van cannabis valt 0,6% lager uit. Het gebruik van andere drugs ooit in het leven valt 1,0% lager uit en het gebruik van andere drugs in het laatste jaar 0,4%.

Conclusie

Deze simulatie laat zien dat de wijzigingen in de onderzoeksopzet en de fouten in de steekproeftrekking een effect hadden op de resultaten van de Leefstijlmonitor Aanvullende Module Middelen 2020. Uit de simulaties blijkt dat het aannemelijk is dat deze wijzigingen een lagere prevalentie tot gevolg hebben, met uitzondering van alcoholgebruik waar de cijfers hoger uitvallen als gevolg van de wijzigingen. De data van Leefstijlmonitor Aanvullende Module Middelen 2020 moeten daarom met enige voorzichtigheid worden gebruikt.

De prevalenties over middelengebruik worden waar mogelijk gebaseerd op de Gezondheidsenquête, maar dit is niet altijd mogelijk. De gegevens van de LSM-A Middelen kunnen worden gebruikt om verdiepende informatie over de gebruikers te analyseren. Voor kernprevalenties gebaseerd op de LSM-A Middelen is het dus aannemelijk dat zij zonder de wijzingen hoger uit waren gevallen (met uitzondering van alcohol), maar het is niet bekend hoeveel hoger. De komende jaren zullen uitwijzen of de trends die voor 2020 zijn gevonden zullen doorzetten.