Technische toelichting kwartaalcijfers Sociale samenhang en welzijn 2020
Over deze publicatie
Deze nota beschrijft de methode die is gebruikt om kwartaalcijfers te kunnen maken voor een aantal onderwerpen uit de enquête Sociale samenhang en welzijn, en om te kunnen compenseren voor het wegvallen van de CAPI-waarneming als gevolg van de coronamaatregelen.
Inleiding
Om dit voor elkaar te krijgen spelen er twee uitdagingen: enerzijds moet de frequentie van de publicatie omhoog. Anderzijds speelt er een probleem bij de dataverzameling. Normaliter verzamelt het CBS de gegevens voor deze monitor via een enquête die wordt afgenomen via drie ‘modes’, te weten CAPI (persoonlijke interviews), CATI (telefonische interviews) en CAWI (web-interviews). In verband met de coronacrisis is de CAPI-waarneming tijdelijk weggevallen in het tweede, derde en vierde kwartaal van 2020.
Om toch de gewenste cijfers te kunnen leveren is een statistisch model ontwikkeld dat compenseert voor het wegvallen van de CAPI-waarneming. Dit model maakt gebruik van het gedeelte van de gegevens dat wel beschikbaar is, en combineert dit met op basis van het verleden geschatte patronen om zo het ontbrekende deel zo goed mogelijk bij te schatten. Het gekozen model is een zogenaamd structureel tijdreeksmodel en komt overeen met het model zoals dat recentelijk ontwikkeld is voor de kwartaalcijfers gezondheidsenquête (Smeets en Van den Brakel, 2020). Aangezien het model daar reeds goed beschreven is, zullen we hier volstaan met het beschrijven van de aanpassingen die we aan dat model gedaan hebben om het ook geschikt te maken voor het onderzoek Sociale samenhang en welzijn.
Toepassingen model
Het model wordt toegepast om kwartaalcijfers te maken voor de volgende negen indicatoren:
- vertrouwen Tweede kamer
- weinig contact
- informele hulp
- vertrouwen in andere mensen
- tevreden met het leven
- ontevreden met het leven
- tevredenheid financiën
- zorgen over baanverlies
- vrijwilligerswerk gedaan in de afgelopen 4 weken
Het model wordt apart toegepast voor elk van de negen indicatoren en als input dienen telkens de gegevens van twee reeksen. De eerste is een tijdreeks van de indicator op kwartaalniveau die gebaseerd is op alle responsgegevens (CAWI, CATI en CAPI) per kwartaal. Deze reeks eindigt dus één periode voor de verslagperiode, voor verslaperiode 2020 Q2 is dit dus in 2020 Q1. De tweede reeks is een tijdreeks van de indicator gebaseerd op alleen de CAWI- en CATI-waarneming. Deze reeks loopt door tot en met de verslagperiode, in dit geval dus 2020 Q2. Als hulpreeksen worden verder nog een reeks van het aantal respondenten per kwartaal en een reeks van de standaardfouten (van de indicator) per kwartaal meegenomen. Het model schat op basis van het verleden zo goed mogelijk de trendmatig ontwikkeling in deze cijfers en de structurele vertekening tussen deze twee reeksen. Het resultaat hiervan is een schatting voor de indicator voor de verslagperiode.
Aanpassingen aan model
Voor sommige indicatoren zijn enkele aanpassingen aan het basismodel nodig. In verband met de coronacrisis vertonen de laatste waarden van de reeksen vaak een afwijkend verloop. Door het model wat meer flexibiliteit te geven – d.w.z. door minder strenge restricties op te leggen aan bepaalde parameters – in die perioden, kunnen ook die perioden goed gemodelleerd worden. In het bijzonder gaat het dan om het toepassen van een correctiefactor \(f_t\) op de zogenaamde hyperparameters van de trend, waardoor deze trend flexibeler kan worden aan het einde van de reeks. Of deze aanpassing nodig is wordt gesignaleerd doordat de gestandaardiseerde innovaties waardes aannemen die (absoluut) veel groter zijn dan 2. Door het toepassen van de correctiefactor zorgen we ervoor dat de gestandaardiseerde innovaties in alle kwartalen niet te ver buiten het interval (-2,2) vallen, zodat de normaliteit van de innovaties gegarandeerd blijft. Hierbij proberen we de benodigde correctie zo klein mogelijk te houden.
Naast deze aanpassing zijn er soms ook bij de schattingsprocedure van de modellen andere beginwaarden nodig dan de standaardwaarden. De toegepaste Maximum Likelihood-procedure kan namelijk bij verkeerd gekozen startwaarden resulteren in een suboptimale oplossing als de Likelihood een lokaal optimum bereikt.
Het uitgangspunt is om zo min mogelijk aanpassingen te doen aan het model. Als er toch aanpassingen nodig zijn, hanteren we de volgende werkwijze:
- We kijken naar de volgende uitkomsten:
De grafieken van de geschatte tijdreeksmodellen en hun standaardfouten.
De grafiek van de gestandaardiseerde innovaties van de modelschattingen van de op CATI+CAWI-gebaseerde reeks, en die van de op CAWI+CAPI+CATI gebaseerde reeks.
De grafiek van het geschatte structurele verschil tussen de twee reeksen.
De schattingen van de hyperparameters.
Diagnostische toetsen van het geschatte model.
- Als het geheel er niet goed genoeg uitziet beginnen we met het aanpassen van startwaarden.
- Daarna passen we eventueel de correctiefactor \(f_t\) toe. Met name aan het einde van de reeks zouden de innovaties in [-2,2] moeten vallen. We beginnen met één periode vanaf het einde, en voegen eventueel perioden toe tot de innovaties binnen [-2,2] vallen.
- We kijken daarna naar de diagnostische toetsen om te beoordelen of de innovaties voldoen aan de eisen van normaliteit, homoscedasticiteit en onafhankelijkheid.
Als deze nog niet in orde zijn, zijn er wellicht nog verdere aanpassingen nodig.
Als innovaties eerder in de reeks te groot zijn, dan is er mogelijk sprake van een uitbijter en zou deze apart in het model opgenomen kunnen worden.
De gekozen werkwijze heeft geresulteerd in de volgende aanpassingen voor elk van de indicatoren voor 2020 Q2:
| doelvariabele | aanpassing trend \((f_t>1)\) | aanpassing \(f_t\) in |
|---|---|---|
| vertrouwen Tweede kamer | ja | 2019 Q3 t/m 2020 Q2 |
| weinig contact | ja | 2019 Q3 t/m 2020 Q2 |
| informele hulp | nee | |
| vertrouwen in andere mensen | nee | |
| tevreden met het leven | ja | 2019 Q3 t/m 2020 Q2 |
| ontevreden met het leven | nee | |
| tevredenheid financiën | nee | |
| zorgen over baanverlies | nee | |
| vrijwilligerswerk gedaan in de afgelopen 4 weken | ja | 2019 Q3 t/m 2020 Q2 |
Hier zijn de aanpassingen voor 2020 Q2 weergegeven. Voor 2020 Q3 en 2020 Q4 is dezelfde werkwijze gehanteerd.