Verhuiswens afleiden uit sociale media

Is het mogelijk om een wens om te verhuizen te meten zonder dat aan mensen te vragen? Deze vraag heeft het CBS in het Center for Big Data Statistics onderzocht. In opdracht van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties stelt het CBS deze vraag naar de verhuiswens momenteel reeds in de WoON-enquête. Deze enquête is onderdeel van het WoonOnderzoek. Dit is een driejaarlijks onderzoek, waarbij door middel van een vragenlijst informatie wordt verzameld over de huidige woning, de tevredenheid met de woning en de woonomgeving, alsmede de woonwensen. Het ministerie heeft het CBS opdracht gegeven om te zoeken naar alternatieve bronnen voor het meten van de verhuiswens, zoals sociale media. Uit dit onderzoek van het CBS blijkt dat het mogelijk is om geautomatiseerd verhuiswensen uit sociale mediaberichten te destilleren. Dit wil echter niet zeggen dat deze personen daadwerkelijk binnen afzienbare tijd verhuizen of dat deze verhuiswensen de verhuiswens van de Nederlandse bevolking weerspiegelen. De uitkomsten wijken af van de bekende trends uit enquêtes en registers, en worden daarom niet bruikbaar geacht om deze te vervangen.

Werkwijze

Om te testen of het mogelijk is de verhuiswens te meten via sociale media, heeft het Center for Big Data Statistics een groot aantal Nederlandstalige openbare sociale mediaberichten bestudeerd. Het gaat om berichten die van 1 januari 2011 tot en met mei 2018 zijn geschreven. Berichten van Vlamingen en personen uit andere landen dan Nederland zijn hier zoveel mogelijk uitgefilterd.
Als vertrekpunt voor het onderzoek is een aselecte set berichten geselecteerd met één van de woorddelen ‘verhuis’ of ‘verhuiz’. Alle geselecteerde berichten bevatten minimaal één keer een woord met deze combinatie van letters. Twee onafhankelijke codeurs hebben deze set berichten vervolgens handmatig geclassificeerd in twee categorieën (‘bevat verhuiswens’ versus ‘bevat geen verhuiswens’). In 95 procent van de gevallen was er hierbij overeenstemming over de classificatie. Daarnaast zijn door middel van clusteranalyse meer berichten met een verhuiswens gevonden. Deze zijn vervolgens handmatig geclassificeerd. In totaal zijn 12.353 berichten die ‘verhuis’ en/of ‘verhuiz’ bevatten bekeken. Hiervan zijn er 4.324 als verhuiswensbericht aangeduid (35 procent).

Daarbij is de volgende codeerinstructie gehanteerd:

1. Het bericht moet van een particulier of privépersoon afkomstig zijn en niet van een bedrijf;
2. De verhuiswens moet betrekking hebben op de persoon zelf of op het gezin van de persoon die het bericht schrijft;
3. De verhuiswens moet gaan over een fysieke verhuizing naar een ander land, gemeente of woning en bijvoorbeeld niet over een verhuizing van een website naar een andere URL;
4. De verhuizing heeft nog niet plaatsgevonden;
5. Het bericht moet een serieuze verhuiswens bevatten en niet als grap of sarcastisch bedoeld zijn.

Vervolgens is deze geclassificeerde set berichten gebruikt om een model te ontwikkelen, dat in staat is om met een zo groot mogelijke nauwkeurigheid, sociale mediaberichten met een verhuiswens te identificeren. In dit model wordt gebruik gemaakt van logistische regressie, waarbij het model zelf de woorden, woordcombinaties of berichteigenschappen kiest die de verhuiswensen het best detecteren. Hiervoor is de geclassificeerde set als training- en test-set gebruikt. Daarnaast is een aantal alternatieve methoden op basis van machine learning vergeleken. Deze methoden bleken net zo goed of minder goed. Daarom is gekozen voor het simpelste model op basis van regressieanalyse. Dit model herkent in 87 procent van de gevallen correct of een bericht wel of niet een verhuiswens bevat. De eerste testen van de modellen zijn uitgevoerd op basis van alle sociale mediaplatformen. Vanwege privacyregels is er echter voor gekozen om deze analyses alleen op X (v\hTwitter) te baseren, en andere platformen zoals Facebook, buiten beschouwing te laten.

Resultaten

Alle openbare Twitterberichten met de woorden ‘verhuis’ en/of ‘verhuiz’, die van 1 januari 2011 tot en met eind mei 2018 beschikbaar waren, zijn meegenomen in de analyses. Dit zijn er ruim 1,9 miljoen. In totaal waren er in deze periode meer dan 4,8 miljard Nederlandstalige Twitterberichten beschikbaar. Deze berichten zijn gebruikt om de ontwikkeling te schatten van verhuiswensen in de tijd. Het model om Twitterberichten te classificeren als ‘bevat verhuiswens’ versus ‘bevat geen verhuiswens’ wordt voldoende betrouwbaar geacht om verhuiswensen te kunnen identificeren.
In figuur 1 worden de resultaten weergegeven van het relatieve aantal verhuiswensberichten op Twitter in de periode van januari 2011 tot en met mei 2018. De reeks laat duidelijk zien dat er twee perioden zijn, waarin het aantal verhuiswensberichten afneemt: van januari 2011 tot en met december 2013 en van augustus 2014 tot en met mei 2018. In de tussenliggende periode is een toename van verhuiswensberichten te zien. Naast een analyse in de tijd is het ook interessant om te bezien of er sprake is van een seizoenspatroon. De analyse heeft uitgewezen dat er geen sprake is van sterke seizoenspatronen. Wat wel opvalt is dat er rond december steeds sprake is van een minder groot aantal verhuiswensberichten.

Gemiddeld zijn er in de geanalyseerde periode 133 verhuiswensberichten per dag gevonden, zo’n 930 per week. In totaal worden er dagelijks meer dan 1,7 miljoen twitterberichten geproduceerd, zo’n 12 miljoen per week. Het percentage verhuiswensberichten komt daarmee uit op afgerond 0,008 procent. De reeks van verhuiswensberichten laat een ander verloop zien dan die van het totaal aantal twitterberichten. Dat betekent dat de data op de een of andere manier 'iets' weerspiegelen dat betekenisvol is. De dag- en weekreeksen laten dezelfde patronen in de tijd zien. Het is daarom de vraag of een zeldzame gebeurtenis, zoals het hebben van een verhuiswens, voldoende kan worden opgepikt op sociale media. Ter validatie zijn 1.000 aselect gekozen anonieme personen twee jaar gevolgd op sociale media. Van degenen die berichten plaatsen tijdens deze periode, geeft de helft op een bepaald moment aan dat zij daadwerkelijk verhuisd zijn.

Figuur 1. Aantal verhuiswensberichten per dag op Twitter van 1 januari 2011 t/m 31 mei 2018.