9. Vergelijkbaarheid over de tijd

De NEA wordt sinds 2005 uitgevoerd en veel vragen worden al meerdere jaren gesteld. Dat maakt het mogelijk om de NEA te gebruiken om trends te beschrijven. Tot en met 2013 kan dat voor werknemers van 15 tot 65 jaar en vanaf 2014 voor werknemers van 15 tot 75 jaar.

In de loop der jaren zijn wijzigingen doorgevoerd in de wijze van gegevensverzameling en  verwerking. Daardoor zijn cijfers mogelijk niet in alle gevallen volgtijdelijk vergelijkbaar. De volgende paragrafen geven een beknopt overzicht van wijzigingen in de gegevensverzameling die samen lijken te gaan met wijzigingen in de uitkomsten.

9.1 Vergelijkbaarheid 2023 met eerdere jaren

In 2023 zijn vier wijzigingen doorgevoerd in het vaste deel van de NEA vragenlijst. In hoofdstuk 8 zijn de uitkomsten van de desbetreffende onderwerpen nader toegelicht en deze worden hier samengevat.

Ten eerste is ‘Long COVID’ toegevoegd aan de antwoordmogelijkheden bij de vragen over chronische ziekten en beroepsziekten. Het lijkt aannemelijk dat mede hierdoor de incidentie en prevalentie van beroepsziekten in 2023 iets hoger ligt dan in eerdere jaren. Bij de chronische ziekten wijzen de cijfers er niet op dat het toevoegen van de extra antwoordcategorie grote invloed heeft gehad op de uitkomsten.

Ten tweede zijn de antwoordmogelijkheden uitgebreid bij de vraag waar men medische hulp heeft gehad na het meest recente arbeidsongeval. De uitkomsten zijn hierdoor niet vergelijkbaar.

Ten derde is de tekst aangepast bij de vraag of werknemers iets hebben ondernomen om ander werk te vinden. Dit lijkt geen gevolgen gehad te hebben voor de uitkomsten.

Ten vierde zijn toelichtingen opgenomen bij drie items over de tevredenheid met en het belang van kenmerken van de baan, met als doel de item-nonrespons te verlagen. Dit lijkt bij één van de items enige invloed gehad te hebben op de item non-respons. De uitkomst bij dat item verschilt ten opzichte van het voorgaande jaar, maar het lastig te zeggen in hoeverre dat samenhangt met de vragenlijstwijziging.

9.2 Vergelijkbaarheid 2022 met eerdere jaren

Vanaf het verslagjaar 2022 verschilt de wijze waarop gegevens voor de NEA zijn verzameld en verwerkt op een aantal punten van eerdere verslagjaren. Daardoor zijn de cijfers vanaf 2022 mogelijk niet in alle gevallen vergelijkbaar met de cijfers tot en met 2021. Het betreft de volgende wijzigingen:

• split-half ontwerp: de steekproef wordt, nadat deze is getrokken, willekeurig in twee helften (‘clusters’) verdeeld en de twee clusters krijgen deels andere vragen;
• vaste versus ad hoc vragen: voor de jaren 2022 tot en met 2025 is vastgesteld welke vragen jaarlijks gesteld worden en daarnaast is er beperkt ruimte voor wisselende onderwerpen;
• meertalige vragenlijst: de vragenlijst is in het Nederlands en in het Engels beschikbaar;
• wijziging vraagstelling vaste onderwerpen: voor enkele vaste onderwerpen zijn de  vraagteksten herzien en/of vereenvoudigd;
• item non-responsoptie: de vragen over de tevredenheid met en het belang van arbeidsvoorwaarden kunnen voortaan niet meer leeg overgeslagen worden en hebben in plaats daarvan de antwoordmogelijkheid ‘geen antwoord’;
• oversamplingstrategie: de steekproefuitzet wordt verhoogd onder werknemers in een aantal bedrijfstakken om voldoende waarnemingen voor publicatie te realiseren, maar niet langer onder jongeren en personen met een niet-westerse herkomst;
• weegmethode: de weging wordt apart uitgevoerd voor cluster 1 en 2 en vervolgens worden de gewichten gecombineerd;
• weegmodel: het weegmodel is vervangen door een nieuw ontworpen weegmodel.

Bovenstaande brengt met zich mee dat bij vragen waarvan de formulering identiek is gebleven, de context veranderd is. Dit kan ertoe leiden dat respondenten anders antwoorden.

Een voorbeeld van andere uitkomsten door een gewijzigde context lijken de vragen over tevredenheid met het werken en met de arbeidsomstandigheden te zijn. De uitkomsten hiervoor verschillen in 2022 tussen de beide clusters en dit is ook in 2023 het geval. Een voorbeeld van onvergelijkbare uitkomsten door een gewijzigde vraagstelling betreft het onderwerp ongewenst gedrag. Met de nieuwe vraagstelling is in 2022 minder ongewenst gedrag gemeten dan in voorgaande jaren. Met name ‘een enkele keer ongewenst gedrag meegemaakt’ komt in 2022 minder voor dan eerst, wat samen kan hangen met het invoeren van een getrapte vraagstelling. Een nadere beschrijving van de gevolgen van de wijzigingen is beschikbaar in de onderzoeksbeschrijving van de NEA 2022, in het bijzonder hoofdstuk 8 en 9.

Hoewel er een groot aantal wijzigingen is doorgevoerd in 2022 en hierdoor cijfers over sommige onderwerpen niet volgtijdelijk vergelijkbaar zijn, zijn er ook onderwerpen waarvoor het aannemelijk is dat de cijfers wel volgtijdelijk kunnen worden vergeleken. TNO en het CBS doen dit uitsluitend als de vraagstelling niet is gewijzigd, gebruik van het vorige weegmodel voor de cijfers over 2022 niet tot andere conclusies leidt over verschillen tussen 2021 en 2022, en er geen andere ‘aannemelijke redenen’ zijn om een methodebreuk te vermoeden.

9.3 Volgtijdelijke vergelijkbaarheid in eerdere jaren

In 2021 en 2020 zijn alle vragen in het blok ‘Werkomstandigheden’ niet gesteld aan werknemers waarvan het werk op de enquêtedatum stillag/niet mocht worden uitgevoerd vanwege coronamaatregelen. Het betreft 0,5% van alle werknemers in 2021 en 2,5% in 2020. Binnen bedrijfstakken, beroepen, leeftijdsklassen en andere kenmerken kan dit percentage hoger of lager uitvallen. De cijfers voor de variabelen in dit blok zijn berekend voor werknemers waarvan het werk op de enquêtedatum niet stillag vanwege coronamaatregelen.

In 2019 zijn de vragen over conflicten op het werk weggelaten (Hooftman e.a., 2020). Dit leek effect te hebben op de prevalentie van ongewenst gedrag dat in dat jaar meer voor kwam dan in eerdere jaren. In 2020 zijn de vragen over conflicten op het werk weer opgenomen in de vragenlijst.

Sinds 2018 start het blok over arbeidsvoorwaarden jaarlijks met de vraag over tevredenheid, alleen in oneven jaren gevolgd door de vraag over het belang daarvan (Hooftman e.a., 2019). Zo worden beide onderwerpen steeds in dezelfde context uitgevraagd. Deze contextwijziging werkt eenmalig door in de uitkomsten. De uitkomsten over het belang zijn niet vergelijkbaar tussen 2019 en 2017 en de uitkomsten over de tevredenheid niet tussen 2018 en 2017.

In 2018 is ook de wijze van gegevensverzameling gewijzigd: de vragenlijst kan sindsdien uitsluitend via internet en niet meer op papier ingevuld worden (Hooftman e.a., 2019). Dit kan systematische effecten hebben op de uitkomsten. De verwachting was (Roberts e.a., 2017) dat dit niet of nauwelijks gevolgen zou hebben voor de uitkomsten op een aantal kernindicatoren. De resultaten van de NEA 2018 bevestigden deze aanname. Desondanks is het bij het maken en interpreteren van trendbeschrijvingen, waarin zowel gegevens uit de jaren vóór 2018 als gegevens uit 2018 en later worden gebruikt, van belang hier alert op te zijn.

In 2014 is de NEA grootschaliger veranderd, onder andere ten aanzien van de benaderingsstrategie (zie Hooftman e.a., 2015). Het CBS en TNO hebben elk de vergelijkbaarheid van de NEA-uitkomsten van vóór en na 2014 onderzocht (zie: Mars e.a. (2015), Mars e.a. (2016) en Hooftman e.a. (2016)). Deze analyses leiden deels, maar niet geheel tot dezelfde conclusies. Bij het maken en interpreteren van trendbeschrijvingen waarin zowel gegevens uit de jaren vóór 2014 als gegevens uit 2014 en later worden gebruikt is het van belang om rekening te houden met deze mogelijke methodologische trendbreuken.