Nonrespons in steekproefonderzoek: Methoden voor analyse en correctie

De belangrijkste typen non-respons zijn geen contact en weigering.

In hoofdstuk 2 bespreken we een aantal theorieën voor deze typen non-respons. Daarnaast presenteren we een overzicht van de eigenschappen die samenhangen met geen contact en weigering, zoals de samenstelling van het huishouden of leeftijd.

Een manier om met non-respons om te gaan, is door te proberen meer informatie te verkrijgen over de non-respondenten. Dit kan worden gedaan door de steekproef te koppelen aan registers, voor zowel de respondenten als de non-respondenten. Een voorbeeld hiervan wordt gegeven in hoofdstuk 3, waar we laten zien dat we door het onderscheiden van de diverse typen respondenten beter in staat zijn om responsgedrag te verklaren. Een andere manier om meer informatie over non-respondenten te verkrijgen, is het opnieuw benaderen van non-respondenten.

In hoofdstuk 4 hebben we de herbenadering van non-respondenten op de Enquête BeroepsBevolking (EBB) beschreven. De overgehaalde huishoudens in de intensieve herbenadering bleken te verschillen van de reguliere EBB respondenten, maar vertoonden overeenkomsten met de niet-overgehaalde non-respondenten. Het toevoegen van de overgehaalde huishoudens aan de reguliere EBB respons heeft zodoende de samenstelling van de respons verbeterd.

In hoofdstuk 5 hebben we een indicator voor de kwaliteit van de respons ontwikkeld: de Representativiteits-indicator of R-indicator. Deze indicator geeft weer hoe evenwichtig de samenstelling van de respons is vergeleken met de steekproef met betrekking tot een verzameling kenmerken die vooraf is vastgesteld. Daarnaast kan de R-indicator ook ingezet worden om tijdens het veldwerk de samenstelling van de respons te optimaliseren. Door het concentreren van het veldwerk op groepen die ondervertegenwoordigd zijn in de respons, kan de respons efficiënt verhoogd worden.

Een andere manier om non-respons te behandelen is het toepassen van een schattingsmethode voor de correctie van vertekening ten gevolge van non-respons nadat de gegevens zijn verzameld. In hoofdstuk 6 hebben we een overzicht gegeven van de traditionele correctiemethoden gebaseerd op calibratie, evenals meer recente methoden die gebruik maken van geschatte responskansen, zogeheten 'response propensities' of 'propensity scores'. Deze methoden maken geen onderscheid tussen de diverse typen respondenten.

In hoofdstuk 7 bespreken we een toepassing van deze methoden op een telefonische survey om te corrigeren voor non-responsvertekening en vertekening die optreedt als gevolg van de onderdekking van personen met een vaste geregistreerde telefoon. Uit de analyse blijkt dat het weglaten van personen zonder vaste geregistreerde telefoon leidt tot een vertekening van bepaalde survey variabelen, zoals inkomen en opleidingsniveau, waarvoor niet voldoende gecorrigeerd kan worden. Het verschil tussen de methoden is echter niet groot. Daaruit kunnen we concluderen dat niet zozeer de methode, maar de informatie die gebruikt wordt in de methode belangrijk is voor het succes van de correctie.

In hoofdstuk 8 hebben we een analyse methode voor responsgedrag ontwikkeld die rekening houdt met de verschillende typen respons. Deze methode bestaat uit afzonderlijke vergelijkingen voor de diverse respons typen. Verder is het ook mogelijk een correlatie tussen de verschillende typen respons te introduceren. In aanvulling op de responsvergelijkingen, hebben we een extra vergelijking toegevoegd voor het modelleren van de survey variabele. Op deze manier kan de methode ook worden toegepast om te corrigeren voor non-responsvertekening.

In hoofdstuk 9 hebben we een mixed-mode methode ontwikkeld die de gegevens van verschillende onderzoeksmodes combineert, terwijl het veldwerkproces in elke mode afzonderlijk wordt beschreven. Deze methode volgt het veldwerkproces nauwgezet. Niet alleen door onderscheid te maken tussen verschillende typen respons, maar ook door het beschrijven van de aaneenschakeling en de combinatie van verschillende onderzoeksmodes.

Cobben, F. (2009). Nonresponse in sample surveys: Methods for analysis and adjustment. Dissertation, University of Amsterdam, handle:11245/1.312964.