Statistics Netherlands Award voor studente Kim Luijken

Goede voorspellingen in de praktijk

De scriptie van Luijken gaat over de rol van meetfouten bij statistische modellen die uitkomsten voorspellen op basis van een beperkte set variabelen. Luijken: ‘Ik richt me op de medische wereld. Daar worden dergelijke modellen bijvoorbeeld gebruikt om te voorspellen hoe groot de kans is dat iemand diabetes krijgt of dat een complicatie optreedt bij een behandeling.’ Onderzoekers ontwikkelen voorspellende modellen in een onderzoekssetting. ‘Maar we willen natuurlijk weten in hoeverre de modellen goede voorspellingen doen in de praktijk’, zegt Luijken. ‘Een van de problemen daarbij is dat het aantal meetfouten in een onderzoekssetting anders kan zijn dan in de praktijk. Neem iemands gewicht: een onderzoeker meet dat op een weegschaal, terwijl de proefpersoon volgens voorschrift gekleed is. In de spreekkamer van de arts kan het gewicht ook genoteerd worden op basis van wat de patiënt vertelt.’ Kim onderzocht in hoeverre die verschillen in meetfouten van invloed zijn op de voorspellende waarde van statistische modellen.

Unaniem besluit

Dit jaar dongen 18 mastertheses mee naar de prijs. Methodoloog Joep Burger zat namens het CBS in de jury, net als zijn collega Jan de Haan. De jury, die zowel uit CBS’ers als uit vertegenwoordigers van de universiteit bestaat, hanteert drie criteria: theoretische kwaliteit, praktische toepasbaarheid en leesbaarheid en structuur. ‘De beoordeling was best lastig’, zegt Burger. ‘De kwaliteit van de scripties was goed en veel onderzoeken waren goed toepasbaar in de CBS-praktijk. Toch was uiteindelijk onder de juryleden grote consensus over de winnaar. Kim Luijken deed net als de andere studenten een aantal simulaties waarbij ze de werking van de voorspellende modellen in een proefopzet toetste. Maar haar thesis springt eruit omdat ze daarnaast ook een goede theoretische analyse heeft gedaan.’

Het is belangrijk dat onderzoekers zich bewust zijn van de interactie tussen de ‘echte wereld’ en het model

Meetfouten voorkomen

Luijken concludeert dat een voorspellend model minder bruikbaar is als er grote verschillen zijn tussen het aantal meetfouten in de onderzoekssetting en in de praktijk. Ze wijst erop dat het belangrijk is dat onderzoekers zich bewust zijn van de interactie tussen de ‘echte wereld’ en het model.
Hoe is haar onderzoek van nut voor het CBS? Burger: ‘Het steekproefonderzoek van het CBS levert officiële statistieken op van hoge en meetbare kwaliteit. Maar een nadeel is dat steekproefonderzoek duur is en veel tijd in beslag neemt. Met big data kunnen we potentieel sneller statistieken maken. Daarbij hebben we echter vaak geen controle over de metingen en er is nog te weinig bekend over de kwaliteit van de modelvoorspellingen die gebruikt worden om resultaten te generaliseren. Het onderzoek van Luijken laat zien hoe belangrijk het is om meetfouten in de data waarop deze modellen gebaseerd zijn te voorkomen.’

Verrast door prijs

Luijken zelf was verrast door de prijs, waaraan een bedrag van 1000 euro is verbonden. ‘Als ik eerlijk ben, wist ik niet dat hij bestond! Ik ken het CBS vooral van StatLine, die bron van cijfers heb ik veel gebruikt tijdens mijn studie.’ Luijken koos haar studie omdat het haar leert heel systematisch praktische problemen op te lossen. Ze start na de vakantie met een promotietraject. ‘Dat gaat opnieuw over het samenspel tussen theoretische modellen en de toepassing daarvan in de kliniek. Daar heb ik veel zin in!’

Wat is de Statistics Netherlands Award?
Met de Statistics Netherlands Award onderstreept het CBS het belang van de researchmaster Methodology and Statistics for the Behavioural en Social Sciences. De researchmaster is onderdeel van de Graduate School van de Universiteit Utrecht en wordt verzorgd door de disciplinegroep Methoden en Technieken van de faculteit Sociale Wetenschappen. Het CBS en de Universiteit Utrecht werken al jaren intensief samen.