Enquêteren: als dat maar goed gaat

Voor een volkstelling zou je de hele bevolking willen interviewen. De volkstellingen die gehou-den zijn tussen 1795 en 1971 zijn voorbeelden van zulke integrale tellingen. Dergelijke tellingen zijn duur en tijdrovend, en gaan ook niet altijd goed. Steekproefonderzoek is een alternatief. Dat moet dan wel goed gebeuren.

Er is een periode geweest dat steekproefonderzoek niet chic was: het was ongepast om echte waarnemingen te vervangen door rekenkundige manipulaties en ‘echte’ mensen uit te sluiten van een onderzoek. Belangrijker was dat de formele kennis ontbrak om betrouwbaar en representatief steekproefonderzoek te doen. Pas als aan de voorwaarden van representativiteit en loting was voldaan, waren steekproeven een geschikt middel om de bevolking te ondervragen.

Eerste officiële enquêtes

Het CBS zelf was laat met het steekproefonderzoek, maar het genre-onderzoek is al oud. Gegevens over arbeidersbudgetten zijn er al vanaf het midden van de negentiende eeuw, ze zijn er zelfs in overvloed in de eerste decennia van de twintigste eeuw, van de Sociaal-democratische Studieclub en de Directie van de Arbeid. Het CBS kon daar in 1915 slechts een zeer klein onderzoek aan toevoegen over het inkomsten- en uitgavenpatroon van een tiental gehuwde, eigen ambtenaren, die daarvoor enkele weken een huishoudboekje bijhielden. Het CBS had meer willen doen, en ook eerder: in 1913 had het al een voorstel gedaan om arbeidersbudgetten te verzamelen, twee jaar later kwam het bureau met het plan om op grote schaal huishoudboekjes te verspreiden. Maar de regering had er geen geld voor over. Pas in 1937 zijn de eerste nationale budgetonderzoeken (‘Huishoudrekeningen’) gepubliceerd.
Volgens de regels van het spel mogen we niet te zwaar tillen aan de uitkomsten van dergelijk onderzoek aangezien de deelnemers aan de enquête niet blind zijn geselecteerd, maar zijn uitgenodigd, aangewezen of zichzelf hebben gemeld. In de historische budgetonderzoeken gaf bijvoorbeeld bijna geen enkele arbeider geld uit aan sterke drank, terwijl drankmisbruik toch een van de grote issues was in de periode 1890–1920 en de aanleiding voor het optuigen van een omvangrijke ‘blauwe’ infrastructuur met drankbestrijdersverenigingen, zorginstellingen en een cultureel leven.

Steekproef als basis voor volkstelling

Naast budgetonderzoeken publiceerde het CBS vanaf de jaren vijftig survey-onderzoeken over een breed scala aan onderwerpen: over werkgelegenheid en beroepsbevolking (1953), over vakantiebesteding (1954), een personenauto-enquête (1960), over vrijetijdsbesteding (1963), een woningbehoefte-onderzoek (1963), een Conjunctuurenquête (1972), over het gebruik van medische voorzieningen, over de leefsituatie, over politieke voorkeuren, en nog veel, veel meer. Een grote enquête was de arbeidskrachtentelling die vanaf 1973 tot en met 1985 elke twee jaar plaatsvond. De arbeidskrachtentelling, en zijn opvolger: de Enquête Beroepsbevolking, zou een van de datapijlers zijn onder de volkstelling van 1981 en de oudste versies van het Sociaal Statistisch Bestand. De SSB is een database met gegevens over alle personen, werknemers, zelfstandigen, banen en uitkeringen in Nederland die op microniveau (Burgerservicenummer) te koppelen zijn.

Enquêtes én registers

In de loop van 1983 is het CBS telefonisch gaan enquêteren. Aanvankelijk werkten de interviewers vragenlijsten af, vanaf 1987 zijn bij enquêtes aan huis kleine draagbare computers gebruikt. De interviewer zond de gegevens thuis, via een modem, naar het CBS. De computers zorgden voor veel efficiencywinst: al tijdens het vraaggesprek vonden geautomatiseerde controles plaats. De laatste jaren maakt het CBS vooral gebruik van de mogelijkheden om enquêtegegevens te combineren met informatie uit officiële registers. Het gebruik van registraties heeft veel voordelen: er hoeven geen enquêteurs meer de straat op, bedrijven en personen hoeven niet meer (’s avonds laat) lastig gevallen te worden en er is geen responsprobleem.
Reponsproblemen zijn er wel bij enquêteren. De niet-deelname (non-respons) was hoog. Voor de Enquête beroepsbevolking (EBB) en het Permanent Onderzoek Leefsituatie (POLS) lag de deelname jarenlang maar net boven de 60 procent, de EBB haalt dat percentage de laatste jaren zelfs niet meer. Het aantal gelukte vraaggesprekken in het Nationaal Kiezersonderzoek was in 1994 nog maar 45 procent. Om de deelname aan het NKO te verbeteren zijn maatregelen genomen, zoals het aanbieden van een postzegelboekje ter waarde van 4 euro in 2006; het nogmaals benaderen van deelnemers met een kortere vragenlijst als zij de eerste keer niet reageerden; en het gericht trainen van interviewers om aanvankelijke weigeraars toch over te halen om mee te doen. Het resultaat was opmerkelijk, de respons nam toe tot 72 procent. Desondanks blijven bepaalde bevolkingsgroepen onder- of oververtegenwoordigd. Weging is dan nog een optie. In dat geval krijgen groepen die in de enquête minder goed meedoen vergeleken met hun aandeel in de bevolking een hoger gewicht, groepen die in de enquête relatief oververtegenwoordigd zijn, krijgen een lager gewicht. Al is de respons in de CBS-enquêtes sindsdien verbeterd, niet-deelname blijft een groot probleem dat zorgt voor vertekening van de enquête-uitkomsten.

Internetpeilen geen optie

Internetpeilen lijkt een alternatief. Internetbureaus doen hun onderzoeken veelal met niet meer dan duizend respondenten, die ze niet eens hoeven te zoeken, want ze melden zich vaak spontaan. Die zogeheten zelfselectie is tegelijkertijd één van de grote problemen van het internetpeilen: deelnemers zijn niet willekeurig geloot uit een grote groep. Onbekend blijft vaak wat de respons is en hoe de respons verdeeld is over de bevolking. Mensen die geen internetaansluiting hebben, zoals veel ouderen, laagopgeleiden en mensen met een migratieachtergrond , doen in elk geval niet of nauwelijks mee in de internetpanels. Internetpeilingen zijn dan nauwelijks een objectief meetinstrument en de uitkomsten van dergelijke peilingen zijn dan ook niet erg betrouwbaar.

Of toch wel?

Toch zijn er ook positieve geluiden over internetpeilingen. Dr. Edith de Leeuw, bijzonder hoogleraar Kwaliteit en Survey Onderzoek bij het departement Methodenleer en Statistiek van de Faculteit Sociale Wetenschappen van de Universiteit Utrecht, zegt dat betrouwbaar en valide meten via het internet wel degelijk kan. De voordelen zijn groot: dergelijke enquêtes zijn snel, goedkoop en actueel. En zeker zo belangrijk: de interviewdruk ontbreekt. Respondenten hoeven niet tijdens de avondmaaltijd hun aardappelen weg te slikken voor een nieuw antwoord op een vraag van de interviewer. Zonder de aanwezigheid van de interviewer worden ook minder sociaal-wenselijke antwoorden gegeven. In enquêtes zonder interviewer geven mensen norm-overschrijdend gedrag vaker toe: zij drinken meer, ze frauderen meer en overtreden vaker de wet. Een ander voordeel is dat mensen die de vragenlijsten op de computer doornemen geen vragen kunnen overslaan. De computer herinnert hen eraan als een antwoord op een vraag ontbreekt.
Voorwaarde is wel dat de metingen accuraat zijn. Het gaat dan om de vier hoekstenen van goed survey-onderzoek: een hoge dekkingsgraad, een vakkundige steekproeftrekking, een hoge respons en een goede meting. Is dat gewaarborgd, dan vindt De Leeuw dat met internetenquêtes zelfs beter kan worden gemeten dan met traditionele methoden.

Het CBS doet het niet

Dr. Hans Schmeets, methodoloog bij het CBS en daar sinds 1989 verantwoordelijk voor de kiezersonderzoeken, kent de slechte en goede voorbeelden. Schmeets: ‘De steekproef moet een goede afspiegeling zijn van de bevolking. Verder moet het onderzoek transparant zijn, het ontwerp van de steekproef moet deugen, en je moet open zijn over de manier waarop je de gegevens hebt verwerkt, hoe je bent omgegaan met non-respons en selectiviteit.’
Voor het CBS dus geen internetpanels, geen internetpeilingen. Onoverkomelijk zijn de problemen van de onderdekking, de zelfselectie en de representativiteit. Het ontbreken van een steekproef die een afspiegeling is van de doelgroep, daar zit volgens Schmeets de pijn: ‘Investeren in arbeidsintensieve en dure één-op-één gesprekken met je respondenten, van wie je de sociale achtergrondkenmerken kent, dat is de enige oplossing.’

1980 - heden Jaren ’90: blik naar buiten