Verbeteren van enquêteveldwerk met behulp van paradata

Omslag, Improving survey fieldwork with paradata, Annemieke Luiten
© CBS
Proefschrift over het verminderen van non-respons op enquêtes, de effecten op de vertekening van de uitkomsten, en het gebruik van paradata om het steekproefontwerp te verbeteren.

Onderzoek naar de reden waarom mensen niet meedoen met enquêteonderzoek (surveys) en het bedenken van manieren om het aandeel respondenten te verhogen is een bloeiende tak van het survey onderzoek.

Non-respons is problematisch om twee redenen: het vermindert de precisie van uitkomsten en het kan vertekening veroorzaken als mensen die meedoen met het onderzoek op cruciale variabelen anders zijn dan mensen die niet meedoen. De laatste jaren is duidelijk geworden dat er geen noodzakelijke relatie bestaat tussen de hoogte van de respons en de mate van vertekening. Het niet altijd zo is dat de resultaten van onderzoeken met een relatief lage respons leiden onder meer vertekening. Ook bleek dat onder sommige omstandigheden maatregelen om non‑respons te verminderen meer kwaad doen dan goed, omdat ze het contrast tussen respondenten en non-respondenten verhogen.

Er zijn veel manieren waarop respons kan worden gestimuleerd. Hoofdstuk 2 vat ze samen.

Hoofdstuk 3 beschrijft een experiment met een van de stimulerende maatregelen: het persoonlijk maken van de brief die mensen ontvangen als ze in de steekproef van een onderzoek vallen. In verschillende hoofdstukken staat vertekening door non-respons expliciet of impliciet centraal.

Hoofdstuk 4 beschrijft de mogelijkheid om vertekening te voorkomen door niet de hoogte van de respons te stimuleren, maar de samenstelling ervan. We hebben geprobeerd dit te doen door niet iedereen in de steekproef dezelfde behandeling te geven, maar door een gedifferentieerde benadering te ontwerpen voor verschillende groepen in de steekproef.

Hoofdstuk 5 borduurt verder op dit thema, door te onderzoeken of we voor verschillende groepen kunnen voorspellen wat hun responsgedrag zal zijn.

In hoofdstuk 6 worden de richtlijnen van het CBS voor de veldinterviewers beschreven en wordt aangetoond dat het opvolgen van de richtlijnen leidt tot betere resultaten tegen minimale kosten.

In hoofdstuk 7 wordt onderzocht waarom interviewers de richtlijnen desondanks niet altijd opvolgen.

Hoofdstuk 8 beschrijft een onderzoek naar de mate waarin interviewers vertekening veroorzaken door de manier waarop zij het veldwerk uitvoeren.

Hoofdstuk 9, tenslotte, vat de resultaten samen.

Non-respons en vertekening zijn niet de enige rode draden in deze dissertatie. Om te kunnen zien of er sprake is van vertekening, wat de kenmerken zijn van non-respondenten, hoe interviewers zich gedragen en wat de gevolgen daarvan zijn, is gebruik gemaakt van zogenaamde paradata. Paradata zijn gegevens over het proces van het verzamelen in ruimste zin. Deze informatie kan worden gebruikt om het onderzoek af te stemmen op kenmerken en voorkeuren van mensen in de steekproef.

Luiten, A. (2013). Improving survey fieldwork with paradata. Dissertation, utrecht University, handle:1874/286205.