Bijlage C. Onderzoeksverantwoording
In deze onderzoeksverantwoording worden de opzet en uitvoering van het onderzoek Belevingen 2020 beknopt beschreven. Achtereenvolgens komen aan de orde:
- Dataverzameling
- Vragenlijst
- Aandachtspunten bij onderzoeksresultaten
- Analysemethoden
- Onderzoek ‘Onderweg in Nederland (ODiN)’
- Gebruikte achtergrondkenmerken.
1. Dataverzameling
Doel en doelpopulatie
Doel van het onderzoek Belevingen is om aan de hand van opvattingen, percepties en meningen van inwoners van Nederland een beter beeld te krijgen van gevoelens en standpunten in de samenleving. De inhoud van Belevingen verandert jaarlijks. In 2020 was het onderzoek gericht op klimaatverandering en energietransitie, waarbij thema’s als duurzaam wonen, duurzame mobiliteit, vleesconsumptie en klimaatbewust leven aan bod kwamen.
De doelpopulatie bestaat uit alle in Nederland woonachtige personen van 18 jaar of ouder bij de start van het veldwerk, die geregistreerd zijn als ingezetene in de Basisregistratie Personen (BRP) en die deel uitmaken van particuliere huishoudens. De institutionele bevolking – dat zijn personen in inrichtingen, instellingen of tehuizen – is voor dit onderzoek niet benaderd.
Veldwerk en onderzoeksdesign
Het veldwerk heeft plaatsgevonden van begin februari tot en met eind juni 2020. De steekproefpersonen ontvingen bij aanvang van de veldwerkperiode een aanschrijfbrief met daarin het verzoek om via internet deel te nemen aan het onderzoek en de bijbehorende inloggegevens. De intro van de aanschrijfbrief luidde als volgt:
We leven in een samenleving waarin veel verandert, zoals op het gebied van gezondheid, veiligheid en milieu. Het Centraal Bureau voor de Statistiek (CBS) is geïnteresseerd in wat u bezighoudt en wat u belangrijk vindt. Wat zijn volgens u de belangrijkste problemen in ons land? Vindt u het belangrijk dat de overheid zich bezighoudt met klimaatbeleid, of juist niet? Om antwoord te krijgen op dit soort vragen voert het CBS het onderzoek Belevingen uit. Hiermee krijgen we een beter beeld van de gevoelens en standpunten van de mensen in Nederland.
Er is bewust voor gekozen om deze intro breed in te steken en niet uitgebreid in te gaan op het klimaat of de energietransitie om selectie van respondenten zoveel mogelijk tegen te gaan. Anders bestaat het risico dat vooral mensen die veel bezig zijn met het klimaat deelnemen aan het onderzoek, waardoor uitspraken niet generaliseerbaar zijn naar de totale populatie.
Twee weken na de aanschrijfbrief is aan steekproefpersonen een eerste rappelbrief verstuurd met daarin opnieuw het verzoek om via internet (CAWI) deel te nemen aan het onderzoek. Deze brief is alleen verstuurd aan steekproefpersonen waarvan geen respons is ontvangen. Twee weken daarna is een tweede rappelbrief verstuurd aan de steekproefpersonen die op dat moment de internetvragenlijst nog niet hebben ingevuld. Om de respons te verhogen is er volgens CBS-beleid gebruik gemaakt van een incentive (kans om bij deelname een IPad te winnen).
Het onderzoek Belevingen 2020 heeft een mixed-mode design. Een deel van de steekproefpersonen die niet via internet hebben gerespondeerd is door interviewers telefonisch (CATI) benaderd met het verzoek alsnog deel te nemen. Een ander deel zou door een interviewer thuis bezocht worden (CAPI).
Door de coronacrisis was thuis bezoeken echter niet mogelijk waardoor ook de CAPI-respondenten telefonisch zijn benaderd en geïnterviewd. Deze respons viel uiteindelijk tegen, grotendeels als gevolg van onbekende telefoonnummers en afgesloten telefoonlijnen.
De interviewmethoden CATI (en CAPI) zijn doelgroepgericht ingezet: CAWI-nonrespondenten in groepen met relatief goede deelname via CAWI zijn minder of niet voor CATI (of CAPI) benaderd, en CAWI-nonrespondenten in groepen met minder deelname via CAWI zijn juist vaker door een CATI- (of CAPI-)interviewer benaderd. Daardoor is de ongewogen respons al een betere weerspiegeling van de doelpopulatie.
In onderstaande planning van Belevingen 2020 is te zien hoe ver het veldwerk gevorderd was toen de effecten van het coronavirus zich in volle omgang manifesteerden in Nederland (rond 15 maart) en het uitdrukkelijk verzoek uitging van de overheid om zoveel als mogelijk thuis te werken (de zogeheten intelligente lockdown).
De kans bestaat dat de coronacrisis en de getroffen maatregelen invloed hebben gehad op het responsverloop en het antwoordgedrag van respondenten. In hoeverre dit het geval is, komt in paragraaf 3 aan de orde.
Respons
In totaal namen 3.648 personen van 18 jaar of ouder deel aan Belevingen 2020. De respons bedroeg 38,7 procent. Uit de responsanalyse is gebleken dat er sprake is van een selectieve respons die overeenstemt met de selectiviteit van respons in andere CBS-onderzoeken. Zo nemen jongeren minder deel dan ouderen, laagopgeleiden minder dan hoogopgeleiden, personen met een niet-westerse migratieachtergrond minder dan personen met een westerse migratieachtergrond of met een Nederlandse achtergrond, stedelingen minder dan plattelandsbewoners, en personen met een lager inkomen minder dan personen met een hoger inkomen. Voor deze selectiviteit in de respons is door weging zodanig gecorrigeerd dat de deelnemers aan het onderzoek een representatieve vertegenwoordiging vormen van de doelpopulatie. Door de doelgroepgerichte benadering hoeft er minder door weging gecorrigeerd te worden. In het onderzoek zijn er vragen gesteld op persoonsniveau maar ook op huishoudniveau (bijvoorbeeld de aanwezigheid van zonnepanelen en de intentie om elektrisch te gaan rijden). Er is zowel op persoonsniveau als op huishoudensniveau een weegfactor ontwikkeld zodat uitspraken gedaan kunnen op beide niveaus.
2. Vragenlijst
Inhoud
De vragenlijst van Belevingen 2020 peilt hoofdzakelijk opvattingen over het klimaat en de energietransitie, maar de mate waarin mensen zich op verschillende gebieden duurzaam gedragen komt ook aan bod. De vragenlijst bestaat uit de volgende blokken:
- Achtergrondgegevens (waaronder huishoudsamenstelling en opleidingsniveau)
- Problemen in Nederland
- Zorgen om klimaatverandering
- Opvattingen over energiebronnen
- Duurzaam wonen
- Mobiliteit: elektrisch rijden en vliegen
- Vleesconsumptie.
Kwaliteit
Bij het ontwikkelen van de vragenlijst voor Belevingen 2020 is veel aandacht besteed aan de kwaliteit, betrouwbaarheid en validiteit van de vraagstellingen. Zo wordt er gestreefd naar een neutrale, niet-sturende formulering van vragen en gebalanceerde antwoordschalen. Ook worden stellingen afwisselend positief en negatief geformuleerd om respondenten te stimuleren stil te staan bij elk afzonderlijk item. Daarnaast wordt het B1-taalniveau gehanteerd in vragenlijsten van het CBS.
De vragenlijst voor Belevingen 2020 is door het Vragenlab (afdeling methodologie, CBS) in een kwalitatief onderzoek getest in een face-to-face setting, met proefrespondenten die behoren tot de doelgroep. Op deze manier is onderzocht hoe de vraagstellingen overkomen op verschillende typen respondenten. Indien een vraagstelling cognitief te belastend bleek, is deze aangepast.
3. Aandachtspunten bij onderzoeksresultaten
Hieronder volgt een aantal aandachtspunten waarmee bij de interpretatie van de onderzoeksresultaten rekening moet worden gehouden.
Corona
Het veldwerk van Belevingen 2020 was enkele weken bezig toen het coronavirus zich eind februari in Nederland manifesteerde en de overheid medio maart 2020 maatregelen trof om verspreiding van het virus tegen te gaan (de zogeheten ‘intelligente lockdown’). De kans bestaat dat de coronacrisis en de getroffen maatregelen invloed hebben gehad op het responsverloop en het antwoordgedrag van respondenten van Belevingen 2020.
Voor onder meer de vragen over klimaatverandering, de omvang van het klimaatprobleem, de zorgen erover, de aanschaf van duurzame voorzieningen voor de woning, de aanschaf van een elektrische auto en het vlieggedrag is nagegaan in hoeverre de antwoordpatronen verschillen tussen de respondenten die vóór 15 maart meededen (55 procent van de respondenten) en degenen die op of na 15 maart meededen (45 procent van de respondenten). Over het algemeen worden er vrijwel geen significante afwijkingen vastgesteld. Bij een paar vragen zijn er wel verschillen geconstateerd. Zo is bijvoorbeeld het percentage dat voorstander is van een maximumsnelheid van 100 kilometer per uur overdag op snelwegen groter bij de groep die op of na 15 maart meedeed dan bij de groep die de vragenlijst vóór 15 maart heeft ingevuld (na controle voor interviewmode en achtergrondkenmerken). Hetzelfde geldt voor het percentage dat zeker bereid is om minder vaak met het vliegtuig op vakantie te gaan voor een beter klimaat.
Het is echter niet met zekerheid te zeggen in welke mate deze verschillen verklaard kunnen worden door de coronacrisis en daaraan verbonden maatregelen. Ook andere factoren, zoals verschillen in de samenstelling van de groepen respondenten die voor en na het uitbreken van corona deelnamen, kunnen een rol hebben gespeeld.
Betrouwbaarheidsmarges
Belevingen 2020 is gebaseerd op steekproefonderzoek. Dit betekent dat de gepresenteerde cijfers schattingen zijn, waarvan de werkelijke uitkomsten binnen betrouwbaarheidsmarges (aangegeven met een boven- en ondergrens) liggen. In dit onderzoek is een betrouwbaarheidsniveau van 95 procent gekozen. Dit betekent dat de werkelijke waarde in 95 van de 100 steekproeven zal liggen tussen de boven- en ondergrens die hoort bij de schatting. De betrouwbaarheidsmarges behorende bij de in deze publicatie gepresenteerde cijfers zijn opgenomen in de Maatwerktabellen die aan de publicatie zijn toegevoegd.
Plausibiliteit – vergelijking met ander onderzoek
Om inzicht te krijgen in de plausibiliteit van een onderzoek kan een vergelijking worden gemaakt met ander onderzoek dat gedaan is over hetzelfde onderwerp. De resultaten van het Belevingen 2020 onderzoek zijn vergeleken met onderzoek over klimaat van Motivaction (Van der Grient, Kamphuis en De Vos, 2019), SCP (Scholte, De Kluizenaar, De Wilde, Steenbekkers en Carabain, 2019), Ipsos (2019), EenVandaag Opiniepanel (2019) en I&O Research (Kanne en Van Engeland, 2019). Over het algemeen zijn de resultaten van Belevingen 2020 in lijn met de resultaten van deze onderzoeken. Hierbij moet het voorbehoud worden gemaakt dat de uitkomsten niet 1-op-1 vergelijkbaar zijn: verschillen in vraagstelling, onderzoeksdesign, onderzoekspopulatie en waarneemperiode beperken de mogelijkheid om de resultaten van onderzoeken onderling te vergelijken.
Open antwoorden
Bij sommige vragen is de respondent in de gelegenheid gesteld om ‘open’ (dat wil zeggen niet vooraf gecategoriseerde) antwoorden te geven. Voor zover relevant zijn deze open antwoorden achteraf gecategoriseerd en in de publicatie opgenomen. In een enkel geval, in hoofdstuk 4, is dit categoriseren via textmining gedaan en zijn er percentages bij de antwoordcategorieën vermeld. In de andere hoofdstukken zijn de uitkomsten op basis van de gegeven open antwoorden ingedeeld en beschreven in een aflopende rangorde van meer genoemd naar minder genoemd. Textmining is alleen toegepast indien het aantal en de compactheid van de antwoorden dit mogelijk maakten.
4. Analysemethoden
De analysemethoden waarvan in deze publicatie gebruik is gemaakt worden hieronder kort toegelicht.
Bivariate analyses
In bivariate analyses is de relatie tussen twee variabelen bekeken, in dit geval de relatie tussen enerzijds de doelvariabelen over klimaatverandering, energietransitie, duurzaam wonen, duurzame mobiliteit en vleesconsumptie en anderzijds de achtergrondkenmerken. Met behulp van significantietoetsing is onderzocht of het verband tussen twee variabelen in de populatie statistisch significant is op basis van het steekproefresultaat.
Logistische regressieanalyse
In sommige gevallen bestaat er een samenhang tussen de achtergrondkenmerken. Zo is er een verband tussen leeftijd en opleidingsniveau (jongeren zijn doorgaans hoger opgeleid dan ouderen) en een verband tussen enerzijds opleidingsniveau en leeftijd en anderzijds klimaatopvattingen (jongeren en hoogopgeleiden maken zich doorgaans vaker zorgen om het klimaat). Met behulp van multivariate logistische regressieanalyses is gekeken of de verschillen naar achtergrondkenmerken in stand blijven wanneer gecorrigeerd wordt voor deze samenhangen tussen de kenmerken. De in dit artikel beschreven verschillen blijven na correctie voor deze samenhangen bestaan, tenzij anders aangegeven.
5. Onderzoek ‘Onderweg in Nederland (ODiN)’
in hoofdstuk 5 over duurzame mobiliteit is gebruik gemaakt van cijfers gebaseerd op het onderzoek Onderweg in Nederland (ODiN) 2019. Dit is de opvolger van het onderzoek Verplaatsingen in Nederland (OViN; 2010-2018). In ODiN worden jaarlijks gegevens over het verplaatsingsgedrag van de Nederlandse bevolking van 6 jaar en ouder in particuliere huishoudens verzameld, dus exclusief bewoners van instellingen, inrichtingen en tehuizen. De dagelijkse mobiliteit van de Nederlandse bevolking wordt beschreven naar plaats van herkomst, bestemming, tijdstip waarop het vervoer plaatsvindt, gebruikte vervoermiddelen en de reismotieven voor de verplaatsingen. Dit resulteert onder andere in het gemiddelde aantal verplaatsingen, de afgelegde afstand en de reisduur per persoon, per dag en per jaar.
Aan de respondenten wordt gevraagd om voor één bepaalde dag van het jaar op te geven waar ze die dag naartoe zijn gegaan, met welk doel, met welk vervoermiddel en hoe lang het duurde om er te komen. Daarnaast zijn vragen gesteld over onderwerpen zoals het gemiddeld frequentiegebruik van vervoermiddelen. De respons van ODiN 2019 bedroeg 28 procent; uiteindelijk zijn 53.380 respondenten van 6 jaar of ouder opgenomen in het databestand. ODiN is een doorlopend onderzoek en wordt uitgevoerd door middel van een internetvragenlijst (CAWI).
De gegevens in hoofdstuk 5 over het aantal verplaatsingen en de daarbij gemiddeld afgelegde afstand, alsook de gebruiksfrequentie van vervoermiddelen (de auto (als bestuurder), de fiets en het openbaar vervoer) zijn afkomstig uit ODiN. Hiervoor zijn personen van 18 jaar of ouder in het databestand geselecteerd.
Voor de cijfers uit ODIN is op basis van het 95-procent betrouwbaarheidsinterval bepaald of verschillen tussen groepen significant zijn. Het betrouwbaarheidsinterval geeft aan dat met 95 procent zekerheid verwacht wordt dat de werkelijke waarde erbinnen ligt. Er zijn geen logistische regressie analyses uitgevoerd.
6. Gebruikte achtergrondkenmerken
Om na te gaan of klimaatopvattingen en duurzaam gedrag verschillen tussen bevolkingsgroepen, zijn uitsplitsingen gemaakt naar een aantal achtergrondkenmerken. Deze achtergrondkenmerken worden hieronder kort omschreven:
Geslacht
De cijfers over het geslacht van de respondent zijn afkomstig uit de vragenlijst.
Leeftijd
Leeftijdsgroepen zijn afgeleid door de leeftijd van de respondent op het moment van enquêteren te nemen.
Opleidingsniveau
Het opleidingsniveau is in de meeste gevallen het hoogst behaalde (zelf gerapporteerde) opleidingsniveau. In het geval personen nog bezig zijn met een opleiding op een hoger niveau dan het op dat moment hoogst behaalde opleidingsniveau is gebruik gemaakt van het actuele opleidingsniveau. Het opleidingsniveau is in drie categorieën ingedeeld, namelijk laag, middelbaar en hoog. Een laag onderwijsniveau komt overeen met alleen basisonderwijs, vmbo, mbo 1 of avo onderbouw. Onder middelbaar opgeleiden vallen mensen met havo, vwo of een mbo-opleiding. Hoogopgeleiden hebben een diploma op hbo- of wo-niveau of zijn bezig met een hbo- of wo-opleiding.
Voor hoofdstuk 6 is tevens gebruik gemaakt van opleidingsniveau in vijf categorieën: (1) basisonderwijs, (2) vmbo, mbo 1 of avo onderbouw, (3) mbo 2,3,4, havo, vwo, (4) hbo-, wo-bachelor, (5) wo-master, doctor. Er is hiervoor gekozen omdat er binnen de groep hoogopgeleiden duidelijke verschillen in vleesconsumptie bleken.
Welvaart van het huishouden
De financiële welvaartsmaat voor huishoudens bevat informatie over zowel het gestandaardiseerd besteedbaar inkomen als het vermogen van huishoudens. De rangschikkingen van huishoudens naar hoogte van het inkomen en van het vermogen zijn hierbij het uitgangspunt. De welvaart van een huishouden is vastgesteld als de som van het cumulatieve aandeel in het totale inkomen van alle huishoudens en het cumulatieve aandeel in het totale vermogen. Nadere uitleg en een voorbeeld is te vinden in het artikel van Van den Brakel en Gidding (2019). De financiële welvaart is ingedeeld in kwartielen, waarbij het eerste kwartiel de 25 procent huishoudens met de laagste financiële welvaart omvat en het vierde kwartiel de 25 procent huishoudens met de hoogste financiële welvaart.
Stedelijkheid van de woongemeente
De indeling van gemeenten naar stedelijkheid is gebaseerd op de omgevingsadressendichtheid van de gemeente. Allereerst is voor ieder adres binnen een gemeente de adressendichtheid vastgesteld van een gebied met een straal van 1 km rondom dat adres. De omgevings-adressendichtheid van een gemeente is de gemiddelde waarde hiervan voor alle adressen binnen die gemeente. De vijf stedelijkheidsklassen zijn gebaseerd op klassegrenzen van 2 500, 1 500, 1 000 en 500 adressen per km². De volgende klassen worden onderscheiden:
- Zeer sterk stedelijk (omgevingsadressendichtheid van 2 500 of meer);
- Sterk stedelijk (omgevingsadressendichtheid van 1 500 tot 2 500);
- Matig stedelijk (omgevingsadressendichtheid van 1 000 tot 1 500);
- Weinig stedelijk (omgevingsadressendichtheid van 500 tot 1 000);
- Niet-stedelijk (omgevingsadressendichtheid van minder dan 500).