2. Voorgeschiedenis en kwaliteit resultaten

2.1 Voorgeschiedenis

Het onderzoek Kunst- en Cultuureducatie is lang onderdeel geweest van het statistisch werkprogramma van het CBS. Sinds de doorvoering van de bezuinigingen van het Kabinet-Rutte II op het werkprogramma van het CBS is deze statistiek gefinancierd door het ministerie van Onderwijs, Cultuur en Wetenschap. De scope van de gehanteerde populatie is altijd relatief beperkt geweest. Tot 2007 bestond de populatie uit de grotere gesubsidieerde instellingen en bedrijven en later vooral uit de instellingen en bedrijven die waren aangesloten bij de brancheorganisatie de Cultuurconnectie (voorheen de Kunstconnectie). Vanaf 2007 heeft het onderzoek enige jaren stilgelegen omdat het CBS en de Cultuurconnectie geen afspraken konden maken over de uitwisseling van data en populatie-eenheden.

In 2015 is het probleem tussen het CBS en de Cultuurconnectie opgelost en is het onderzoek opnieuw opgezet: eerst als een pilot. (CBS, 2016) Ook bij de pilot is de scope beperkt gehouden. Wel zijn in dat onderzoek voor het eerst, naast de leden van de Cultuurconnectie, ook de cultuur-educatieve instellingen en bedrijven¹⁾ meegenomen die geen lid waren van deze brancheorganisatie. Daarbij ging het zowel om gesubsidieerde als om niet-gesubsidieerde instellingen en bedrijven. De focus heeft, naast de leden van de Cultuurconnectie, toen vooral gelegen op de eenheden in het Algemene Bedrijfsregister (ABR) van het CBS, die zijn geclassificeerd in de klasse 85.52 van de Standaard Bedrijfsindeling (SBI: Cultureel onderwijs). Om de kans op respons zo groot mogelijk te houden, zijn in dat onderzoek, in tegenstelling tot de vragenlijst van 2007 en daarvoor, expliciet geen vragen opgenomen over de financiële situatie van de instellingen en bedrijven. In dat onderzoek was de bruto respons 44 procent.

De onderzoeken die het CBS in 2017 en 2019 heeft uitgevoerd, zijn, mede op verzoek van het Ministerie van Onderwijs, Cultuur en Wetenschap, verder uitgebreid, zowel qua populatie als qua vraagstelling. Zo zijn naast de leden van de Cultuurconnectie en de bedrijfseenheden in de SBI 85.52 (Cultureel onderwijs), ook de bedrijfseenheden benaderd van de bedrijfstakken 90.03 (Schrijven en overige scheppende kunsten) en 90.01 (Podiumkunsten en –vermaak). Daarnaast is de vraagstelling uitgebreid met vragen over baten en lasten en werkgelegenheid. De vragen over baten en lasten en werkgelegenheid sluiten aan bij de standaard vraagstelling van het CBS over deze onderwerpen. Deze standaard vraagstelling is vrij uitgebreid en gedetailleerd en vormt vaak een behoorlijke lastendruk voor de respondenten. Deze uitbreidingen van zowel de onderzoekspopulatie en vraagstelling in de enquête, heeft zijn weerslag gehad in de respons.

2.2 Kwaliteit van de resultaten

De kwaliteit van de resultaten van het onderzoek naar kunst- en cultuureducatie is voor een belangrijk deel afhankelijk van de mate waarin respondenten bereid zijn om de CBS-enquête in te vullen. Daarbij spelen ook de selectiviteit van de respons en de mate waarin gegevens beschikbaar zijn om te corrigeren voor non-respons een rol. Om een goed beeld te krijgen van de kwaliteit van de resultaten is het belangrijk om niet alleen naar de totale ofwel bruto respons op de enquête in zijn geheel te kijken maar ook naar bruikbare of netto respons op onderdelen van de enquête.

Zowel in 2017 als in 2019 was de bruto respons van de onderzoeken teleurstellend, namelijk gemiddeld iets meer dan 31 procent²⁾ (zie figuur 2.2.1). Dit ondanks het feit dat er met name in 2019 allerlei respons-bevorderende maatregelen zijn genomen, zoals onderscheid in de vragenlijst voor de grotere instellingen en bedrijven enerzijds en de zelfstandigen anderzijds (kortere vragenlijst, onder andere geen financiële vragen), extra herinneringen, een activerend belrappel, brochures met uitleg en dergelijke). Naarmate er sprake is van een groter bedrijf of een grotere instelling, ligt ook de bruto respons iets hoger. De bruto respons geeft echter alleen aan of een bedrijf, instelling of zelfstandige op een van de vragen in de enquête heeft geantwoord. Daarbij gaat het dan om de eerste en vaak ook tweede vraag in de enquête waarin wordt afgepeld of men actief is in de culturele en creatieve sector en of men actief is op het terrein van kunst- en cultuureducatie. Wie op deze vragen aangeeft niet actief te zijn in de sector of op het terrein van cultuureducatie krijgt geen andere inhoudelijke vragen meer. De bruto respons is gebruikt om de populatie af te pellen en levert de resultaten op die in paragraaf 5.2 worden gepresenteerd.

Voor alle andere inhoudelijke resultaten in het onderzoek zijn we afhankelijk van de hoeveelheid bruikbare respons. We noemen dat de netto respons. De netto respons verschilt per vraag in de enquête omdat niet iedere respondent plausibele/bruikbare antwoorden invult. De bovengrens van de netto respons is in figuur 2.2.1 weergegeven en die wordt gevormd door alle bedrijven, instellingen en zelfstandigen die hebben aangegeven dat zij actief zijn op het terrein van kunst- en cultuureducatie. Die bovengrens bedraagt gemiddeld 11,5 procent.

Door deze lage netto respons van gemiddeld 11,5 procent, voldoet de kwaliteit van de meeste uitkomsten niet aan de eisen van het CBS. Het CBS wil echter ook weer niet dat alle moeite, die respondenten hebben genomen om de enquête wel in te vullen, helemaal verloren gaat. De lage respons betekent dat de ramingen die in deze rapportage zijn opgenomen vooral worden beperkt tot de structuurvariabelen. Bij de vragen over financiën, werkgelegenheid en aantal leerlingen (volumecijfers) is de netto respons lager dan 10 procent en op sommige vragen zelfs minder dan 5 procent. Daarnaast zorgt de heterogene onderzoekspopulatie ervoor dat de antwoorden op deze kwantitatieve variabelen een zeer groot bereik en grote standaard deviatie hebben. Daardoor is het bijschatten van ontbrekende respons erg foutgevoelig en kan het ontbreken van bruikbare respons bij enkele grotere instellingen of bedrijven erg zwaar doorwegen in de ramingen. Die ramingen zijn dan al snel niet meer betrouwbaar. De ramingen van volumecijfers zijn daarom niet opgenomen in deze rapportage. De ramingen die wel in deze rapportage zijn opgenomen, zijn vanwege de betrouwbaarheid afgerond op duizend- of honderdtallen.