Eerlijke algoritmen: Starterskit en experimenteel dashboard

Sterke technologische ontwikkelingen in het afgelopen decennium hebben geleid tot een groot aantal toepassingen voor algoritmen, bijvoorbeeld op basis van machine-learning technieken. Ook de overheid maakt in toenemende mate gebruik van voorspellende algoritmen. Dit leidt in sommige gevallen tot maatschappelijke weerstand. Daarom is er speciale aandacht nodig voor het eerlijk en verantwoord gebruik van algoritmen. Binnen het project ‘Eerlijke Algoritmen’ hebben het CBS, Code for NL, UvA, Utrecht Data School (Universiteit Utrecht), TU Delft, de VNG, de gemeente Amsterdam en andere gemeenten hun krachten gebundeld met als doel het ontwikkelen van methoden en tools die gemeenten kunnen ondersteunen om algoritmen bewuster en eerlijker te gebruiken. Dit project was een onderdeel van AI met Impact en werd financieel ondersteund door het Innovatiebudget Digitale Overheid van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties.

Starterskit

Binnen het project is in samenwerking met en voor gemeenten een zogenaamde Starterskit ontwikkeld. De Starterskit is een interactieve tool die als doel heeft het verantwoord en integer werken met algoritmen bij gemeenten te ondersteunen. In de huidige vorm is de tool gericht op projecten die gebruik maken van machine-learning of neurale netwerken, maar een groot gedeelte van de informatie is ook geschikt voor minder complexe of regel-gebaseerde algoritmen. De Starterskit bevat een aantal thema’s waaronder techniek, beleid en communicatie. Het onderdeel techniek bevat de volgende processen: verkenning, ontwikkeling, implementatie en gebruik. Voor elk van deze processen is een interactieve vragenlijst samengesteld voor gebruikers. Op basis van de antwoorden kan een rapportage gedownload worden met tips voor verantwoord gebruik van algoritmen, zoals het opvragen van meta-data en het in kaart brengen van meetfouten.

Onder model evaluatie staat relevante informatie over het integer werken met algoritmen. Tevens bevat het een dashboard waarin de toepassing van de verschillende (eerlijkheids‐)metrieken geïllustreerd wordt op een openbare dataset.

Onder het thema feedback is er de optie om tips ter verfijning of uitbreiding te geven, of om vragen over het gebruik te stellen. Op deze manier ontstaat een dynamische Starterskit die door gebruikersfeedback mogelijk in de toekomst nog verbeterd kan worden en zo tevens up‐to‐date blijft.

Na afronding van het project is besloten om de Starterskit aan de Utrecht Data School (UDS) over te dragen. UDS is verantwoordelijk voor verder onderhoud en ontwikkeling van de Starterskit. De huidige uitwerking van de Starterskit.

Experimenteel dashboard

Het experimentele dashboard is het resultaat van een project waarin is onderzocht hoe je eerlijkheid van algoritmen zou kunnen onderzoeken, identificeren, kwantificeren en wat daar allemaal bij komt kijken. Eerlijkheid is een aspect van de overall kwaliteit van een algoritme. Het is echter niet het enige aspect dat een rol speelt bij het bepalen of een algoritme ingezet kan worden. Ook is de beslissing omtrent wat als eerlijk kan en moet worden gezien afhankelijk van de context waarin en het doel waarvoor het algoritme wordt ingezet.

Het dashboard is bedoeld als voorbeeld en ter inspiratie voor ontwikkelaars m.b.t. hoe een kwaliteitsdashboard vorm zou kunnen krijgen. Het is niet bedoeld om, zonder verdere uitbreiding en validatie, in te zetten voor toepassing in de praktijk. De mogelijkheden van het experimentele dashboard zijn hier geïllustreerd.

Schermafdruk dashboard eerlijke algoritmen

Feedback

We zijn benieuwd naar uw mening over deze innovatie en over mogelijke toepassingen daarvan. We staan open voor ideeën hoe verantwoordt en eerlijk gebruik van de algoritmen kan worden gewaarborgd. Wij nodigen u uit om via het formulier onderaan deze pagina uw feedback te geven.