4. Aanbeveling voor gebruik van de cijfers uit GE/LSM-k

In deze nota is beschreven welke veranderingen sinds 2014 zijn doorgevoerd in het dataverzamelingsproces van de GE/LSM-k en is ook ingegaan op de redenen voor die veranderingen. Belangrijke veranderingen waren:

• De invoering van vaste CAPI-omvangen door middel van aselecte uitdunning in 2017.
• De gedeeltelijke invoering van doelgroepenbenadering en de invoering van incentives in 2018.
• De invoering van de geoptimaliseerde doelgroepenbenadering in 2021.

Ook is voor 17 kernvariabelen van het onderzoek gesimuleerd hoe de uitkomsten over de jaren 2014-2019 er waarschijnlijk hadden uitgezien als de huidige waarneemstrategie, die sinds 2021 in gebruik is, in al die jaren al in gebruik was geweest.
Uit die simulatie komt naar voren dat er voor 12 van de 17 kernvariabelen geen statistisch significante verschillen zouden zijn geweest. Bij de overige vijf variabelen is dat echter wel het geval. Daar lijkt sprake van methodebreuken als gevolg van de doorgevoerde wijzigingen. Bij die variabelen zien we dat vooral de uitkomsten van de oudere onderzoeksjaren afwijkend uit de simulatie komen. Dit hangt waarschijnlijk samen met de stapsgewijs doorgevoerde veranderingen. Elke wijziging kan een effect hebben en de optelsom van die effecten kan dus groter worden naarmate er over de tijd meer veranderingen zijn doorgevoerd. De simulatie geeft een beeld van het totale effect van de veranderingen. Het is niet aan te geven welk deel daarvan veroorzaakt wordt door selectie-effecten (doen er andere mensen mee?) en welk deel door mode-effecten (geven mensen via internet een ander antwoord dan via een aan-huis-interview?). Het CBS, RIVM en Trimbos-instituut willen in 2022 proberen meer zicht te krijgen op het effect van mode. De bevindingen van dat onderzoek zullen apart worden gepubliceerd.

CBS, RIVM en Trimbos-instituut adviseren gezamenlijk om de oorspronkelijk gepubliceerde cijfers, over de periode sinds 2014 te blijven zien als dé uitkomsten van de GE/LSM-k. Deze cijfers zijn onder andere te vinden op CBS-Statline. Een belangrijke reden hiervoor is de bevinding dat bij de meeste van de onderzochte variabelen geen sprake was van statistisch significante afwijkingen tussen de gepubliceerde en de gesimuleerde uitkomsten. Een andere reden is de wetenschap dat aanpassingen aan het proces van dataverzameling onvermijdelijk zijn bij een langlopend onderzoek als de GE/LSM-k. Veranderingen zullen ook in de jaren vanaf 2022 blijven optreden. Het streven daarbij zal altijd zijn om, gegeven bepaalde randvoorwaarden, een zo representatief mogelijk beeld van de gezondheid en leefstijl van de Nederlandse bevolking te geven. Het is echter niet uitgesloten dat aanpassingen in de methode in sommige gevallen invloed kunnen hebben op de schattingen. Ook zonder aanpassingen in het onderzoeksproces zullen wijzigingen optreden. De verhouding tussen de aandelen CAWI en CAPI in de respons verandert bijvoorbeeld door veranderingen in de bereidwilligheid om mee te doen aan het onderzoek.

Om de gesimuleerde uitkomsten van de jaren 2014-2019 te kunnen reproduceren heeft het CBS een bestand beschikbaar gesteld met daarin de daarvoor benodigde doelgroepsimulatie-weegvariabelen. Elke oorspronkelijke respondent uit de jaren 2014-2019 kan met behulp van dat bestand worden voorzien van een simulatiegewicht. De beschikbaarstelling gebeurt via CBS-Microdataservices en het bestand kan gebruikt worden door onderzoekers die aan de voorwaarden voor het gebruik van microdata (via Remote Access) voldoen. Door de doelgroepsimulatie-weegvariabele van bijvoorbeeld 2014 te koppelen aan het reguliere 2014-bestand van de GE/LSM-k, kunnen zowel de oorspronkelijk gepubliceerde uitkomsten als de simulatie-uitkomsten bepaald worden.