Verhuiswens afleiden uit sociale media

Is het mogelijk om een wens om te verhuizen te meten zonder dat aan mensen te vragen? Deze vraag heeft het CBS in het Center for Big Data Statistics onderzocht. In opdracht van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties stelt het CBS deze vraag naar de verhuiswens momenteel reeds in de WoON-enquête. Deze enquête is onderdeel van het WoonOnderzoek. Dit is een driejaarlijks onderzoek, waarbij door middel van een vragenlijst informatie wordt verzameld over de huidige woning, de tevredenheid met de woning en de woonomgeving, alsmede de woonwensen. Het ministerie heeft het CBS opdracht gegeven om te zoeken naar alternatieve bronnen voor het meten van de verhuiswens, zoals sociale media. Uit dit onderzoek van het CBS blijkt dat het mogelijk is om geautomatiseerd verhuiswensen uit sociale mediaberichten te destilleren. Dit wil echter niet zeggen dat deze personen daadwerkelijk binnen afzienbare tijd verhuizen of dat deze verhuiswensen de verhuiswens van de Nederlandse bevolking weerspiegelen. De uitkomsten wijken af van de bekende trends uit enquêtes en registers, en worden daarom niet bruikbaar geacht om deze te vervangen.

Werkwijze

Om te testen of het mogelijk is de verhuiswens te meten via sociale media, heeft het Center for Big Data Statistics een groot aantal Nederlandstalige openbare sociale mediaberichten bestudeerd. Het gaat om berichten die van 1 januari 2011 tot en met mei 2018 zijn geschreven. Berichten van Vlamingen en personen uit andere landen dan Nederland zijn hier zoveel mogelijk uitgefilterd.
Als vertrekpunt voor het onderzoek is een aselecte set berichten geselecteerd met één van de woorddelen ‘verhuis’ of ‘verhuiz’. Alle geselecteerde berichten bevatten minimaal één keer een woord met deze combinatie van letters. Twee onafhankelijke codeurs hebben deze set berichten vervolgens handmatig geclassificeerd in twee categorieën (‘bevat verhuiswens’ versus ‘bevat geen verhuiswens’). In 95 procent van de gevallen was er hierbij overeenstemming over de classificatie. Daarnaast zijn door middel van clusteranalyse meer berichten met een verhuiswens gevonden. Deze zijn vervolgens handmatig geclassificeerd. In totaal zijn 12.353 berichten die ‘verhuis’ en/of ‘verhuiz’ bevatten bekeken. Hiervan zijn er 4.324 als verhuiswensbericht aangeduid (35 procent).

Daarbij is de volgende codeerinstructie gehanteerd:

  1. Het bericht moet van een particulier of privépersoon afkomstig zijn en niet van een bedrijf;
  2. De verhuiswens moet betrekking hebben op de persoon zelf of op het gezin van de persoon die het bericht schrijft;
  3. De verhuiswens moet gaan over een fysieke verhuizing naar een ander land, gemeente of woning en bijvoorbeeld niet over een verhuizing van een website naar een andere URL;
  4. De verhuizing heeft nog niet plaatsgevonden;
  5. Het bericht moet een serieuze verhuiswens bevatten en niet als grap of sarcastisch bedoeld zijn.

Vervolgens is deze geclassificeerde set berichten gebruikt om een model te ontwikkelen, dat in staat is om met een zo groot mogelijke nauwkeurigheid, sociale mediaberichten met een verhuiswens te identificeren. In dit model wordt gebruik gemaakt van logistische regressie, waarbij het model zelf de woorden, woordcombinaties of berichteigenschappen kiest die de verhuiswensen het best detecteren. Hiervoor is de geclassificeerde set als training- en test-set gebruikt. Daarnaast is een aantal alternatieve methoden op basis van machine learning vergeleken. Deze methoden bleken net zo goed of minder goed. Daarom is gekozen voor het simpelste model op basis van regressieanalyse. Dit model herkent in 87 procent van de gevallen correct of een bericht wel of niet een verhuiswens bevat. De eerste testen van de modellen zijn uitgevoerd op basis van alle sociale mediaplatformen. Vanwege privacyregels is er echter voor gekozen om deze analyses alleen op X (v\hTwitter) te baseren, en andere platformen zoals Facebook, buiten beschouwing te laten.

Resultaten

Alle openbare Twitterberichten met de woorden ‘verhuis’ en/of ‘verhuiz’, die van 1 januari 2011 tot en met eind mei 2018 beschikbaar waren, zijn meegenomen in de analyses. Dit zijn er ruim 1,9 miljoen. In totaal waren er in deze periode meer dan 4,8 miljard Nederlandstalige Twitterberichten beschikbaar. Deze berichten zijn gebruikt om de ontwikkeling te schatten van verhuiswensen in de tijd. Het model om Twitterberichten te classificeren als ‘bevat verhuiswens’ versus ‘bevat geen verhuiswens’ wordt voldoende betrouwbaar geacht om verhuiswensen te kunnen identificeren.
In figuur 1 worden de resultaten weergegeven van het relatieve aantal verhuiswensberichten op Twitter in de periode van januari 2011 tot en met mei 2018. De reeks laat duidelijk zien dat er twee perioden zijn, waarin het aantal verhuiswensberichten afneemt: van januari 2011 tot en met december 2013 en van augustus 2014 tot en met mei 2018. In de tussenliggende periode is een toename van verhuiswensberichten te zien. Naast een analyse in de tijd is het ook interessant om te bezien of er sprake is van een seizoenspatroon. De analyse heeft uitgewezen dat er geen sprake is van sterke seizoenspatronen. Wat wel opvalt is dat er rond december steeds sprake is van een minder groot aantal verhuiswensberichten.

Gemiddeld zijn er in de geanalyseerde periode 133 verhuiswensberichten per dag gevonden, zo’n 930 per week. In totaal worden er dagelijks meer dan 1,7 miljoen twitterberichten geproduceerd, zo’n 12 miljoen per week. Het percentage verhuiswensberichten komt daarmee uit op afgerond 0,008 procent. De reeks van verhuiswensberichten laat een ander verloop zien dan die van het totaal aantal twitterberichten. Dat betekent dat de data op de een of andere manier 'iets' weerspiegelen dat betekenisvol is. De dag- en weekreeksen laten dezelfde patronen in de tijd zien. Het is daarom de vraag of een zeldzame gebeurtenis, zoals het hebben van een verhuiswens, voldoende kan worden opgepikt op sociale media. Ter validatie zijn 1.000 aselect gekozen anonieme personen twee jaar gevolgd op sociale media. Van degenen die berichten plaatsen tijdens deze periode, geeft de helft op een bepaald moment aan dat zij daadwerkelijk verhuisd zijn.

Figuur 1. Aantal verhuiswensberichten per dag op Twitter van 1 januari 2011 t/m 31 mei 2018.

De trend in de verhuiswensen op sociale media wijkt af van de trend in het WoonOnderzoek, waarin alleen jaarcijfers van de verhuiswens worden gepubliceerd. De verhuiswens uit het WoON, waaraan zo'n 40.000 mensen meedoen, stijgt tussen 2009 en 2015. In 2009 gaf ongeveer 2,1 miljoen huishoudens aan binnen twee jaar (eventueel) te willen verhuizen, dit waren er in 2015 3,2 miljoen (Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, 2016).

Als de hypothese juist zou zijn dat de verhuiswens uit de sociale mediaberichten gebruikt kan worden om de verhuiswens van de Nederlandse bevolking weer te geven, dan zou de sociale media trend (deels) voor moeten lopen op het daadwerkelijke aantal verhuizingen in Nederland. Er is echter over de gehele periode van 2011 tot 2018 een stijging in het aantal verhuizingen te zien. De lange dip tussen 2011 en 2013, met daaropvolgende kleine piek uit de verhuiswenstrend op sociale media is niet waarneembaar in de verhuizingen.

De afwijking van de trend op basis van sociale media, in vergelijking met de trend uit de WoON-enquête en de verhuizingen uit het register, kan verschillende oorzaken hebben. Zo is de populatie op Twitter anders dan de Nederlandse bevolking. Op sociale netwerken, zoals Twitter en Facebook, zijn jongeren oververtegenwoordigd (CBS, 2017). Eerder onderzoek waarschuwt bovendien voor de risico’s van het gebruik van dergelijke bronnen; algoritmen kunnen tussentijds veranderen, waardoor trends beïnvloed worden (Lazer et al., 2014), de openbare berichten van Twitter hoeven niet een goede afspiegeling te zijn van alle berichten, de gebruikers van Twitter hoeven niet representatief voor de bevolking te zijn en een Twitteraccount is niet synoniem aan een Twittergebruiker, aangezien mensen meerdere accounts kunnen hebben (Boyd en Crawford, 2012). Er zijn methoden in ontwikkeling om dergelijke problemen op te lossen. Uit de resultaten blijkt dat de woorddelen ‘verhuis’ en ‘verhuiz’ over tijd minder in Twitterberichten voorkomen, dit is een indicatie van veranderende inhoud van berichten op dit platform. Toekomstig onderzoek moet uitwijzen of de onderzochte methode bruikbaar is voor het monitoren van andere fenomenen, of dat de trend beter vergelijkbaar is met andere bronnen als van meer dan één sociaal mediaplatform gebruik wordt gemaakt. De voorlopige conclusie van dit onderzoek is dat een verhuiswens geautomatiseerd uit sociale media kan worden herkend, maar dat deze wens onvoldoende voorkomt om er een bruikbare trend voor statistische doeleinden van te maken.

Privacy

Er zijn uitsluitend openbaar beschikbare twitterberichten gebruikt. Over de inhoud van de berichten en de bijbehorende accounts wordt niet gepubliceerd. Het CBS publiceert slechts het relatieve aantal berichten waar een verhuiswens in voorkomt.

Toepassing

De resultaten worden op dit moment niet bruikbaar geacht voor het monitoren van ontwikkelingen in verhuiswensen. Voor andere, vaker voorkomende gebeurtenissen is deze methode misschien wel toepasbaar. Denk hierbij aan het kopen van een auto of het op vakantie gaan. Het CBS heeft op dit moment geen concrete plannen voor een dergelijke nieuwe toepassing.

Feedback

Het CBS wil graag uw mening over dit onderzoek weten. Wat kan volgens u worden verbeterd aan deze methode, hoe kunnen risico’s beter in kaart worden gebracht en wat zijn mogelijke andere toepassingen? Laat het ons weten via het onderstaande formulier.

Relevante links

Je browser wordt niet ondersteund. Upgrade je browser. Je hebt een inconsistente user-agent geleverd bij het oplossen van de uitdaging. Mogelijk heb je browserextensies of -instellingen ingeschakeld om de user-agent te vervalsen en moet je deze uitschakelen om door te gaan. Een deel van Turnstile is per ongeluk in de cache opgeslagen. Wis gelieve je cache. De tijd op de klok klopt niet. Zet je klok op de juiste tijd. Een ongespecificeerde fout heeft zich voorgedaan.