Proefschrift Quinten Meertens: doorbraak in het denken over bias

Innovatieprijs

Meertens studeerde wiskunde aan de Universiteit van Amsterdam. Na zijn studie ging hij in 2015 aan de slag bij het CBS als statistisch onderzoeker bij de economische bedrijfsstatistieken. In die functie fungeerde hij als een soort ‘vliegende kiep’ en was hij betrokken bij veel verschillende projecten. In 2016 werd hij projectleider internethandel. ‘Ik heb onderzocht hoe de aankopen van goederen uit het buitenland via internet zo goed mogelijk kunnen worden geschat. Dat was al meerdere keren bestudeerd door mijn collega’s, maar er was nog geen manier gevonden om goede schattingen te maken.’ Meertens verdiepte zich verder in dit onderwerp en kwam tot een eerste schatting door gebruik te maken van webscraping en classificatie-algoritmen, die binnen machine learning veel worden gebruikt. Dat leverde hem de innovatieprijs van zijn divisie op. Eind 2016 besloot de talentvolle wiskundige promotieonderzoek naar dit onderwerp te doen.

Coronabesmettingen

De eerste twee jaar van zijn promotieonderzoek besteedde Meertens aan het uitdiepen van de volgende onderzoeksvraag: welke data en methoden zijn nodig om de aankopen via internet in het buitenland goed te meten? Gaandeweg ontdekte hij dat bij het gebruik van classificatie-algoritmen voor het maken van officiële statistieken een bias kan ontstaan. Tijdens de verdediging van zijn proefschrift op 28 april jl. aan de Universiteit van Amsterdam legde hij die bias uit aan de hand van een actueel voorbeeld: de coronabesmettingen in ons land. ‘Om de maatregelen en versoepelingen te bepalen is het aantal besmettingen belangrijk, niet wie er precies besmet zijn. De uitkomst is gebaseerd op de PCR-testen, maar die geven soms een verkeerde uitslag. Het gevolg is dat als je alle testuitslagen bij elkaar optelt de totale uitkomst niet juist is: dat is misclassification bias. De vraag is: hoe corrigeer je voor deze bias?’

Veel literatuur

Volgens Meertens zijn er al sinds de jaren 50 van de vorige eeuw allerlei goede methoden ontwikkeld om die bias te corrigeren. ‘Ik heb daarover veel literatuur verzameld en verschillende correctiemethoden met elkaar vergeleken. We hebben voor twee situaties kunnen bewijzen welke van de bestaande correctiemethoden het beste is. De eerste situatie is het eenmalig produceren van een statistiek op basis van classificatie-algoritmen. Dan is de zogenaamde calibration estimator het beste. De tweede situatie betreft het produceren van statistieken over een langere tijdsperiode, wat resulteert in tijdreeksen. Dan blijkt, onder bepaalde voorwaarden, de zogenaamde misclassification estimator de betere methode.’ Volgens Meertens is het van belang om binnen de officiële statistiek deze correctiemethoden in te zetten. ‘In de praktijk bij het CBS gebeurt dit ook al, bijvoorbeeld bij de statistieken over zonnepanelen, innovatieve bedrijven en cybercrime.’

Doorbraak

Meertens’ promotoren Jaap van den Herik en Cees Diks zijn buitengewoon lovend over het proefschrift van de promovendus. Van den Herik, hoogleraar Recht en Informatica bij de Faculteit Wiskunde en Natuurwetenschappen van de Universiteit Leiden: ‘Het proefschrift brengt op een unieke manier verschillende onderzoeksvelden bij elkaar: econometrie, wiskunde en informatica. Het resultaat van de studie is een doorbraak in het denken over bias. Meertens brengt bias onder in een nieuw multidisciplinair gebied. Dit gebeurt door het zorgvuldig bestuderen en analyseren van theorie, methoden en technieken uit de genoemde velden.’

Praktische inzetbaarheid

Cees Diks, hoogleraar Data Analyse en Economische Statistiek aan de Universiteit van Amsterdam, benadrukt de relevantie van Meertens’ proefschrift voor het CBS en andere statistische organisaties. ‘Zij hebben dagelijks te maken met het genereren van officiële statistieken en maken daarbij steeds vaker gebruik van machine learning. De directe praktische inzetbaarheid van de door Meertens gebruikte methoden worden ondersteund door uitgekiende theoretische aspecten, zoals het aanbrengen van een bovengrens op de bias.’

Studenten begeleiden

Meertens heeft bij zijn onderzoek veel waardevolle feedback gehad van zijn promotoren en zijn copromotor Frank Takes. Ook zijn CBS-collega’s bleken goede partners om mee te sparren over het onderwerp, omdat zij dezelfde vraagstukken in hun werk tegenkwamen. ‘Het was bewonderenswaardig hoe mijn collega’s met mij hebben samengewerkt. Daarnaast heb ik van het CBS de mogelijkheid gekregen aan het proefschrift te werken tijdens kantooruren. Daar was ik erg blij mee, want daardoor kon ik snel meters maken.’ Na zijn promotie blijft Meertens werkzaam bij het CBS als hoofd van het team Rechtsbescherming en Veiligheid. Verder blijft hij verbonden aan de Universiteit van Amsterdam. ‘Op die manier kan ik studenten begeleiden bij hun onderzoek, zoals in de rol van copromotor bij het promotieonderzoek dat voortbouwt op mijn proefschrift en dat Kevin Kloos gaat doen’.

Quinten Meertens werd in oktober 2021 genomineerd voor de prestigieuze Christiaan Huygensprijs voor zijn baanbrekend promotieonderzoek.