Experiment smartphone-first vragenlijstopmaak

Dit artikel beschrijft het doel, de opzet en de resultaten van een grootschalig veldexperiment naar de effecten van een smartphone-first herontwerp van het inlogproces en de vragenlijstopmaak voor huishoudensonderzoeken van het CBS.

Het onderzoek bekijkt de effecten van zes experimentele condities:

  1. Een smartphone-first ontwikkeld inlogscherm versus het reguliere inlogscherm.
  2. Een smartphone-first ontwikkelde vragenlijstopmaak versus de reguliere vragenlijstopmaak.
  3. Vier ontwerpen voor matrix vragen: drie smartphone-first ontwikkelde opties (stamfix, carrousel en accordeon) versus het reguliere ontwerp (klassieke tabel voor groot scherm en stamfix voor klein scherm).
  4. Het gebruik van smileys en pictogrammen in antwoordcategorieën: alleen tekst, tekst met smileys (+pictogrammen) en alleen smileys(+pictogrammen).
  5. Het tonen van een instructie op smartphones over hoe de dicteerfunctie te gebruiken bij open vragen versus het niet tonen van deze instructie.
  6. Een kortere versie van de vragenlijst (17 minuten) versus een langere versie (25 minuten).

Op basis van een breed scala aan indicatoren voor responsgedrag (zoals inloggen, uitval, het kiezen van ‘geen antwoord’, straightlining, gemiddelde scores op verschillende schalen en consistentie met registerdata voor diverse items), evenals indicatoren voor tevredenheid van respondenten, liet het experiment opmerkelijk weinig significante effecten zien. Dit is geruststellend, omdat het suggereert dat respondenten hun antwoorden grotendeels onafhankelijk geven van de geteste ontwerp alternatieven. Het smartphone-first ontwerp zal geleidelijk worden ingevoerd in CBS-vragenlijsten, omdat dit aansluit bij de CBS huisstijl, de toegankelijkheid verbetert en zorgt voor een consistente ervaring van de vragenlijst op zowel PCs, tablets als smartphones.

Giesen, D., Kompier, M. & van den Brakel, J. (2025). Experiment Smartphone-First Questionnaire Layout. Discussion paper, Statistics Netherlands, The Hague/Heerlen.