Hoe krijgen we algoritmen zo eerlijk mogelijk?

/ Auteur: Masja de Ree
Computer
© Hollandse Hoogte / Westend61 GmbH
Hoe krijgen we algoritmen die gebruikt worden door de overheid zo eerlijk mogelijk en hoe kan goede archivering daaraan bijdragen? Tobias van der Knaap, masterstudent Archival & Information Studies aan de Universiteit van Amsterdam, deed er onderzoek naar bij het CBS. Zijn onderzoek valt binnen het CBS-project ‘Eerlijke algoritmen’ dat in 2018 werd gestart. ‘Als technologie de menselijke beslissing overneemt, is verantwoording extra belangrijk.’

Verantwoording en transparantie

De ontwikkelingen op het gebied van kunstmatige intelligentie gaan hard. Steeds vaker zetten gemeenten en andere overheden algoritmen in om beslissingen te nemen, bijvoorbeeld bij het opsporen van bijstandsfraude of om de kans op schooluitval te bepalen. ‘Aan die ontwikkelingen zijn ook risico’s verbonden’, zegt Tobias van der Knaap, inmiddels afgestudeerd. Van der Knaap heeft bij het CBS onderzocht op welke manier verbeteringen op het gebied van archivering en informatiebeheer kunnen bijdragen aan de borging van transparantie, uitlegbaarheid, verantwoording en eerlijkheid bij het gebruik van algoritmen, specifiek bij gemeenten. ‘Verantwoording en transparantie zijn belangrijke begrippen in de archiefwereld’, zegt Van der Knaap. ‘Eerlijkheid en uitlegbaarheid staan centraal in het project ‘Eerlijke algoritmen’ van het CBS’.

Maatschappelijk perspectief

Van der Knaap dook de literatuur in: ‘Ik kijk niet naar de technische details van algoritmen, maar kies het perspectief van de maatschappij. Welke gevolgen heeft het voor mensen als gemeenten algoritmen inzetten? Welke risico’s kleven daaraan? Wat vinden mensen belangrijk om te weten en te borgen?’
Ook het wettelijk kader werd bestudeerd: de Archiefwet, de AVG en de aankomende Wet Open Overheid, de opvolger van de Wet Openbaarheid Bestuur. Van der Knaap: ‘Bovendien heb ik gekeken naar het Europese beleid. De Europese Unie is op zoek naar een manier om op een goede manier om te gaan met de mogelijkheden van kunstmatige intelligentie. De Nederlandse aanpak zou daarop aan moeten sluiten.’

Transparantie

Een belangrijk deel van het onderzoek bestond uit interviews met bijvoorbeeld medewerkers van de afdelingen Onderzoek en statistiek van gemeenten of stadsarchieven. ‘Met behulp van de interviews heb ik in kaart gebracht hoe binnen gemeenten op dit moment wordt omgegaan met informatie en archivering. Heeft het prioriteit? Hoe is het proces geregeld? Maar ook: worden algoritmen gebruikt bij de besluitvorming? Hoe wordt daarbij nagedacht over transparantie, uitlegbaarheid, eerlijkheid en verantwoording? Tegen welke praktische obstakels loopt men aan?’

Tobias van der Knaap

Vooruitdenken

Er moet nog het nodige gebeuren, concludeert Van der Knaap op basis van zijn onderzoek. ‘Het blijkt dat nog weinig vooraf wordt nagedacht over hoe je op een goede manier informatie kunt archiveren. Daardoor kunnen gaten ontstaan, in het proces en in de data die nodig zijn om een goede verantwoording achteraf mogelijk te maken. Het komt bijvoorbeeld voor dat vergunningen niet meer terug te vinden zijn. Ik hoorde ook de andere kant van het verhaal: dat projectmedewerkers pas na afloop van een project door het archief benaderd worden met de vraag om documenten aan te leveren. Dat is te laat: als je van te voren goed nadenkt over welke informatie nodig is, is het veel gemakkelijker om die goed op te slaan en te organiseren.’

Complex

Over het gebruik van algoritmen is het lastig conclusies trekken, geeft Van der Knaap aan: ‘Gemeenten zitten vaak nog in de testfase. Je ziet wel: algoritmen zijn erg complex om te maken. Gemeenten schakelen daar vaak gespecialiseerde bedrijven voor in. Dan kan een probleem ontstaan omdat niet altijd goede afspraken gemaakt worden over hoe die bedrijven met de gegevens van de gemeente omgaan. Ook zien we - en dat probleem speelt ook in andere landen - dat bedrijven hun intellectueel eigendom willen beschermen en geen inzicht geven in de werking van hun systemen. Dat staat de transparantie in de weg.’

Ethische vraagstukken oplossen

Prof. Charles Jeurgens (Archival & Information Studies) begeleidde Van der Knaap vanuit de Universiteit van Amsterdam bij zijn onderzoek: ‘Heel veel mensen denken bij archivering aan ‘oude dingen’. Maar volgens het nieuwe paradigma gaat archivering juist ook om de vraag hoe het kan bijdragen aan de transparantie en verantwoording van besluiten die de overheid neemt. Het nieuwe paradigma betekent dat archivering steeds meer by design gaat plaatsvinden. Dat geldt zeker als er technologie - zoals een algoritme - komt kijken bij die besluiten. Je moet vooraf bepalen welke combinatie van data, algoritmen, resultaat van bewerkingen en context nodig is om op adequate wijze inzicht te kunnen bieden in proces en uitkomst. Dát is ons vakgebied.’ Jeurgens merkt dat archivering binnen de overheid steeds hoger op de agenda komt te staan. ‘Maar de aandacht voor archivering van het proces moet echt nog beter. Ook de kloof tussen deskundigen op het gebied van artificiële intelligentie en archivering is nog niet gedicht. Maar ik merk steeds meer toenadering en interesse van beide kanten. Dat is goed, we kunnen elkaars vakgebied verrijken. Samen kunnen we een belangrijke schakel zijn in het oplossen van ethische vraagstukken rond algoritmen.’

Algoritmen duurzaam toegankelijk maken

Migiza Victoriashoop is adviseur digitale informatievoorziening bij het Waterlands Archief. Zij adviseert gemeenten op het gebied van archivering en werd geïnterviewd voor het onderzoek van Van der Knaap. Victoriashoop is aangesloten bij een werkgroep van het Kennisnetwerk Informatie en Archief die een handreiking schreef voor het goed archiveren van algoritmen. ‘Ons doel is: algoritmen duurzaam toegankelijk maken. Dat doen we door archivering by design. Het is belangrijk om de stappen die je neemt in de ontwikkeling van een algoritme goed vast te leggen. De technische stappen, maar ook de stukken waarop beslissingen gebaseerd zijn, de kwaliteit van de inputinformatie en het eigenaarschap van de data. Het was interessant om de scriptie van Tobias terug te lezen. Ik kan me vinden in zijn opmerking dat van de vier waardes die hij kiest - transparantie, uitlegbaarheid, eerlijkheid en verantwoording - eerlijkheid de moeilijkste is bij algoritmen. Archivering kan in elk geval helpen om achteraf te bepalen of het algoritme op een eerlijke manier tot stand is gekomen. Dat is de bijdrage van archivering aan een transparante overheid.’


CBS-project ‘Eerlijke algoritmen’
Het CBS werkt in het project ‘Eerlijke algoritmen’, dat financieel wordt ondersteund door het ministerie van Binnenlandse Zaken en Koninkrijksrelaties, samen met onder andere de gemeente Amsterdam, VNG, CodeForNL. Dit gebeurt vanuit de wettelijke taak van het CBS om andere overheden te ondersteunen bij hun statistische informatievoorziening. Daarnaast is het CBS in 2019 een samenwerking met TNO gestart om een transparant, eerlijk en toetsbaar gebruik van kunstmatige intelligentie in de publieke sector te stimuleren.

Relevante links