Enquêtes vooraf testen met burgers en bedrijven in coronatijd

Pre-test TBO-app via Zoom met testleider van het CBS Deirdre Giesen en Manuela Schols als proefrespondent.
© Sjoerd van der Hucht Fotografie / My Eyes4u productions
Het CBS hecht er groot belang aan om goed aan te sluiten op de belevingswereld van bedrijven en burgers. Dat is een van de doelen op de strategische agenda van het statistiekbureau. Het CBS betrekt respondenten bij de ontwikkeling van nieuwe vragenlijsten en methoden van waarneming. Dit zogenoemde pre-testen vindt doorgaans plaats in testlabs bij het CBS en op locatie, bijvoorbeeld bij bedrijven of bij mensen thuis. Door de coronacrisis is deze manier van testen echter niet of nog maar beperkt mogelijk. Het CBS heeft daarom alternatieven ontworpen om pre-testen toch door te laten gaan in coronatijd, en daarmee ook de ontwikkeling van nieuwe onderzoeken. Voorbeelden zijn de app voor het Tijdbestedingsonderzoek in opdracht van het SCP en de Enquête gewasbescherming.

Belang van pre-testen

‘Het belang van het pre-testen van vragenlijsten en de gebruiksvriendelijkheid van nieuwe waarneemmethoden zoals apps is meervoudig.’ Dit zegt Deirdre Giesen, methodoloog van het CBS. ‘Vragenlijsten en applicaties dienen begrijpelijk te zijn en prettig in het gebruik. Dit is belangrijk voor de kwaliteit van data, de hoogte van de respons, en de kans dat respondenten een volgende keer weer meedoen. Als een onderzoek niet begrijpelijk en gebruiksvriendelijk is haken mensen af. Ook kunnen de kosten om de kwaliteit van de data op niveau te krijgen, hoger zijn. Bijvoorbeeld omdat bedrijven dan achteraf teruggebeld moeten worden. Daarnaast zijn aanpassingen in vragenlijsten en applicaties achteraf veel duurder dan tijdens de ontwikkelfase. Het heeft dus veel voordelen om de ontwikkeling van vragenlijsten en applicaties meteen goed te doen en met oog op de gebruikservaring. Ook voor onze uitstraling als professioneel onderzoeksinstituut.’

‘Als een onderzoek niet begrijpelijk en gebruiksvriendelijk is haken mensen af. Ook kunnen de kosten om de kwaliteit van de data op niveau te krijgen, hoger zijn.’

Alternatieve werkwijzen

Pre-testen doet het CBS doorgaans vooral in persoonlijke gesprekken. Giesen: ‘Je kunt dan goed contact met mensen maken en zaken uitleggen. Ook zie je de non-verbale communicatie en wat ze doen in de vragenlijst of applicatie. Zeker bij het testen van gebruiksvriendelijkheid is dat belangrijk. We kunnen dan observeren wat respondenten op een scherm aanraken en selecteren, en of het goed lukt hun weg te vinden in de vragenlijst of applicatie. In persoon pre-testen was door de lockdown echter niet meer mogelijk. Maar de ontwikkeling van een aantal onderzoeken ging wél door. We hebben toen verschillende alternatieven ontwikkeld om toch te kunnen pre-testen, zoals via Zoom, virtuele meeting rooms en scherm delen; en we hebben vragenlijsten gemaakt óver de vragenlijsten.’

Smartphone-app Tijdsbestedingsonderzoek

Een van de geplande trajecten betrof een gebruiksvriendelijkheidstest van de nieuwe smartphone-app voor het Tijdsbestedings-onderzoek (TBO). Het CBS voert het TBO om de vijf jaar uit in opdracht van het Sociaal Cultureel Planbureau (SCP). Dit onderzoek brengt in kaart hoe Nederlanders hun tijd besteden: hoeveel tijd, aan welke activiteiten, en met wie. In de vorige edities hielden respondenten hun activiteiten bij in een papieren dagboek. Nu wordt hiervoor een smartphone-app ontwikkeld. ‘Het TBO vraagt veel van respondenten’, vertelt Anne Roeters, senior wetenschappelijk medewerker bij het SCP. ‘Met een goed ontworpen app willen we de vragenlijst gebruiksvriendelijker maken. Veel mensen hebben hun smartphone de hele dag bij zich. Daardoor kunnen ze het TBO-dagboek dan invullen wanneer het hen uitkomt. Zo hopen we de afstand tussen activiteiten en het invullen van het dagboek te verkleinen. We verwachten daardoor preciezere informatie te krijgen die minder door sociale wenselijkheid is gekleurd. Daarnaast stelt een app ons beter in staat om te meten hoe respondenten activiteiten ervaren. We kunnen mensen op willekeurige momenten vragen hoe ze zich voelen.’

‘Met een goed ontworpen app willen we de vragenlijst gebruiksvriendelijker maken.’

Belang pre-testen in coronatijd

Diverse onderzoekers en medewerkers van het CBS, SCP en de Universiteit Utrecht zijn betrokken bij de ontwikkeling van de TBO-app. Roeters: ‘De pre-test speelt een cruciale rol in deze ontwikkeling: als je niet weet hoe mensen de app ervaren kun je hem ook niet inzetten in het veldwerk. Met de pre-test wilden we onderzoeken hoe mensen de app gebruiken, wat ze er van vinden en of er nog verbeteringen in de gebruiksvriendelijkheid mogelijk waren. Als de pre-test verzet had moeten worden door corona zou dat serieuze gevolgen hebben gehad voor de doorlooptijd van het project. Het TBO is een mooie manier om de hele breedte van de leefwereld van Nederlanders in kaart te brengen: van zorg, werk en onderwijs tot vrije tijd. Deze domeinen kunnen we daardoor aan elkaar koppelen en de snijpunten bekijken. Hopelijk zal het in de toekomst mogelijk zijn om via de app – met toestemming van de respondent –  ook het smartphonegebruik zelf te onderzoeken. Ook zien we mogelijkheden om in de toekomst deelname aan het onderzoek aantrekkelijker te maken voor respondenten door ze als wederdienst inzicht in hun eigen tijdsbesteding te kunnen geven.’ De pre-test voor de TBO-app vond plaats via Zoom. Respondenten konden daarbij het scherm van hun mobiele telefoon delen. ‘Je ziet dan niet precies wat respondenten met hun vingers op het scherm doen’, zegt Giesen, ‘maar je krijgt wel veel informatie over hoe ze de app gebruiken. En bij twijfel hebben we doorgevraagd: ‘Wat doet u nu?’, ‘Waar klikte u op?’ Dat leverde veel bruikbare inzichten op, en respondenten ervoeren deze manier van pre-testen als prettig.’

Enquête Gewasbescherming

Een ander onderzoek waarvoor een pre-test gepland stond in coronatijd was de Enquête gewasbescherming in de agrarische sector; een verplicht onderzoek in opdracht van het Europese statistiekbureau. Eind dit jaar moet het veldwerk daarvoor plaatsvinden. De enquête vraagt naar het gebruik van pesticiden en biociden. ‘Een gevoelig onderwerp voor telers’, zegt Ger Snijkers, senior methodoloog van het CBS. ‘Telers zijn niet altijd op de hoogte van de privacyregelgeving van het CBS, waardoor ze zich soms onnodig zorgen maken dat de overheid inzicht krijgt in hun bedrijf als ze aan het CBS rapporteren. Daarom was het belangrijk om de telers zo vroeg mogelijk te betrekken bij de ontwikkeling van de vragenlijst. De eerste stap waren gesprekken met vertegenwoordigers van landbouworganisaties. Dat was nog net voor de lockdown in maart. Deze dienden als input voor de conceptvragenlijst. Vervolgens was het de bedoeling deze vragenlijst bij telers thuis met hen door te nemen. Maar door de lockdown ging dat niet meer. Om toch te kunnen pre-testen hebben we toen een aantal open vragen óver de vragenlijst ontwikkeld: de antwoorden konden ze in notitiekaders invullen. Bijvoorbeeld: ‘Noteer alles waar u een opmerking over heeft; alle suggesties zijn welkom’ en ‘Hoe gemakkelijk of lastig is het voor u om de gevraagde gegevens te bepalen?’ Het risico van op deze manier testen is dat je niet genoeg respons krijgt, of geen bruikbare respons. Maar we kregen veel reacties en van goede kwaliteit. Daarin heeft waarschijnlijk meegespeeld dat we de deelnemende telers geworven hebben via de vertegenwoordigers van de landbouworganisaties. Ook hebben we achteraf met een aantal telers de vragenlijst en het invulproces telefonisch nagelopen. Daardoor hebben we de pre-test goed kunnen afronden.’

Het risico van op deze manier testen is dat je niet genoeg respons krijgt, of geen bruikbare respons. Maar we kregen veel reacties en van goede kwaliteit.’

Mogelijkheden voor de toekomst

De ontwikkelde alternatieven voor pre-testen hebben ook na de lockdown toegevoegde waarde, vooral de combinatie van testen in persoonlijke gesprekken en via digitale opties. ‘In persoonlijke gesprekken kun je meer observeren en bespreken, maar de digitale opties geven ons veel meer flexibiliteit en mogelijkheden om test-respondenten te werven’, stelt Giesen. ‘We hoeven geen rekening met reistijd te houden, en respondenten kunnen meedoen in hun eigen omgeving. In het najaar gaan we zo’n gecombineerde pre-test uitvoeren voor de Veiligheidsmonitor. Met testen op kantoor in de ander-halve-meter-samenleving hebben we ondertussen ook ervaring opgedaan. Daar is een protocol voor ontwikkeld volgens de richtlijnen van het RIVM. Het onderzoek Belevingen bijvoorbeeld gaat over potentieel privacygevoelige onderwerpen. Dat onderzoek kun je dus niet digitaal pre-testen, omdat huisgenoten of anderen mogelijk meeluisteren. Na de lockdown hebben we deze pre-test dus op kantoor uitgevoerd. Bij de gecombineerde pre-testen gaan we eerst een aantal keren op kantoor testen en daarna via een van de digitale opties.’