Robots speuren internet af naar prijzen

Internetrobots

Het gebruik van internetrobots – ook wel webscrapers genoemd - is één van de nieuwe manieren om prijzen waar te nemen. Quan Le, procesontwikkelaar: ‘Een internetrobot is een programma dat op basis van onze instructies prijzen en omschrijvingen van websites van winkels uitleest. We kunnen zo in heel korte tijd heel veel prijsinformatie verzamelen.’ De internetrobots worden voor elke website apart gebouwd. Johan Verburg, onderzoeker bij de afdeling Consumentenprijzen: ‘CBS informeert de eigenaar van de website dat we informatie verzamelen met robots.’

Kledingbranche

De kledingbranche is de eerste die met behulp van internetrobots in kaart wordt gebracht voor de productie van de consumentenprijsindex. Dat is maatwerk, want de basis van iedere website is anders. Softwareontwikkelaar Alex van Buitenen: ‘We bekijken eerst goed hoe een website in elkaar zit en passen vervolgens de instructies voor de robot daarop aan. Daarna is het een kwestie van goed in de gaten houden of de data naar verwachting binnenkomen en er geen storingen optreden.’ Elke dag produceren de internetrobots rapportages aan de hand waarvan dat gemonitord wordt.

‘Omdat we zoveel prijzen binnenhalen voor de berekening van de consumentenprijsindex neemt de kwaliteit van het cijfer toe’

Toename kwaliteit

Dankzij het gebruik van internetrobots hoeven er geen enquêtrices op pad om de prijzen in de winkels te verzamelen. De winkeliers ervaren daardoor minder lasten. Tegelijkertijd is het verzamelen van de data met internetrobots goedkoop en kan het snel en met weinig fouten worden uitgevoerd, typefouten komen bijvoorbeeld niet meer voor. Verburg: ‘Omdat we zoveel prijzen binnenhalen voor de berekening van de consumentenprijsindex neemt de kwaliteit van het cijfer toe.’ Le: ‘Internetrobots bieden veel kansen. We onderzoeken nu ook hoe we ze binnen CBS breder kunnen inzetten, bijvoorbeeld door ze het web af te laten zoeken naar jaarverslagen van bedrijven.’ Maar CBS zal niet geheel overstappen op internetrobots. Er zijn ook andere innovatieve manieren om prijzen voor de consumentenprijsindex te verzamelen. Van Buitenen: ‘Bijvoorbeeld de kassagegevens van winkels als supermarkten. Die leveren prijzen, omschrijvingen, hoeveelheden en omzetten van de verkochte artikelen.’

Multidisciplinair team

De inzet van internetrobots betekent een nieuwe manier van werken voor CBS. Om die manier van werken goed te implementeren is een team opgericht. Hierin wordt kennis uit verschillende delen van de organisatie samengevoegd: kennis over programmeren, kennis van website-bouw, kennis van methodologie en kennis van de prijzenstatistieken. Verburg: ‘Wij zijn samen verantwoordelijk voor de bouw én het beheer van de internetrobots. Dat werkt goed.’