Journalisten en statistici werken samen aan checklist internetpeilingen

Voor een verkiezing volgen de verschillende politieke peilingen elkaar in hoog tempo op. Internet maakt het mogelijk eenvoudig, snel en goedkoop bij heel veel mensen informatie te verzamelen. De vraag is echter of al die peilingen wel een goed beeld geven van de werkelijkheid. Het opstellen van een checklist met kwaliteitscriteria kan daarop snel een antwoord geven. Het CBS beschikt als instituut voor statistiek over de kennis en deskundigen over deze materie en wil bijdragen aan de goede uitvoering en interpretatie van peilingen.

Representativiteit

Het nadeel van veel internetpeilingen is dat ze niet representatief zijn. Mensen die geen internet hebben doen al niet mee. En ook al heeft 90 procent van de mensen in Nederland internet, toch zijn groepen als ouderen, laagopgeleiden en allochtonen behoorlijk ondervertegenwoordigd in deze peilingen. Verder is de steekproef niet netjes geloot, maar kunnen mensen zelf beslissen om mee te doen. Dit leidt ertoe dat vooral mensen meedoen die dat leuk vinden, daarmee is de steekproef geen afspiegeling van de Nederlandse bevolking. Daarom zijn er grote vraagtekens te plaatsen bij de betrouwbaarheid van de uitkomsten van internetpeilingen.

Seminar over de betrouwbaarheid van peilingen

Hoe is vast te stellen of de uitkomsten van een peiling betrouwbaar zijn? Het CBS organiseerde afgelopen 2 juni hierover samen met het NPSO (het Nederlandstalige platform voor Survey-Onderzoek) en de NPO (Nederlandse Publieke Omroep) een seminar. Methodologen, marktonderzoekers en journalisten spraken over mogelijkheden om vast te stellen of een peiling wel of niet betrouwbaar is en goed is uitgevoerd. Veel aanwezigen waren positief over het gezamenlijk opstellen van een checklist waarmee snel inzicht wordt verkregen in de kwaliteit van een peiling. Een dergelijke checklist is niet alleen handig in de dagelijkse praktijk van journalisten en beleidmakers om gebruikt te worden voor het duiden van nieuws en voor het nemen van beleidsbeslissingen, maar kan ook een onderdeel vormen van de opleiding van journalisten.

Beoordelen van een peiling

Of een peiling goed is uitgevoerd, is alleen vast te stellen met een degelijke verantwoording van het onderzoek. Dat is meteen het eerst element van de checklist. Een tweede element is ongetwijfeld of de steekproef echt is geloot uit de hele groep. Want alleen dan zijn betrouwbare cijfers te berekenen, en alleen dan is aan te geven hoe nauwkeurig die cijfers zijn.

Een ander belangrijk element is het vermelden van de onzekerheidsmarges op de uitkomsten. Daarmee wordt voorkomen dat oneigenlijke inhoudelijke discussies ontstaan over kleine verschuivingen in de uitkomsten die binnen de marges liggen. Zo kan bij een steekproef van duizend mensen een schatting er 3 procent naast liggen. Dat komt overeen met een marge van 4 à 5 zetels. Een verschil van 4 zetels in dit voorbeeld geeft geen definitief uitsluitsel over wie na de verkiezingen de grotere partij is. Als een partij er in een peiling 2 zetels bij krijgt, dan is het niet zinvol om hierover verder te filosoferen.

Verdere invulling van checklist

Over de verdere invulling en uitvoering van de checklist zal met onderzoekers, journalisten en statistici verder worden gesproken. Daarbij zal ook nog aandacht zijn voor de manier waarop de vragen worden gesteld, want een onzorgvuldige of leidende vraagformulering kan aanleiding geven tot heel andere antwoorden van de respondenten.

Tiemeijer geeft daarvan in zijn boek “Wat 93,7 procent van de Nederlanders moet weten over opiniepeilingen” een interessant voorbeeld. In 2007 werd in de Eurobarometer (een opiniepeiling van de Europese Unie) gevraagd of Nederland profijt heeft gehad van het lidmaatschap van de EU. Het bleek dat 69 procent van de ondervraagden vond dat dit inderdaad het geval was. Dezelfde vraag werd ook door een ander bureau gesteld. Daar werd deze vraag echter voorafgegaan door een vraag om de belangrijkste nadelen (met voorbeelden) te noemen van het lidmaatschap. Daarmee was de toon gezet voor de volgende vragen. Nog maar 43 procent vond dat het lidmaatschap van de EU voordelig uitpakte voor Nederland.

Samenvattend

Het gebruik van internet en nieuwe media biedt nieuwe onderzoeksmogelijkheden en vormen van peilingen. Lang niet altijd is duidelijk wat de waarde van een peiling is. Een zorgvuldige en transparante toepassing van de juiste methodologie en selectiemethoden geeft meer zekerheid over de kwaliteit van een onderzoek. Het CBS kan hierin met zijn kennis en deskundigheid een grote bijdrage leveren. Journalisten en beleidsmakers hebben baat bij een checklist. Dan bieden peilingen een goed platform voor nieuws en nieuwsgaring. Naast het doorgeven van nieuws kunnen journalisten het nieuws ook duiden en in de juiste context plaatsen.

Jelke Bethlehem en Diederik Visser