Uitkomsten internetpanels vaak onbetrouwbaar
In Nederland zijn zo’n twintig marketingbureaus die een internetpanel met vrijwilligers gebruiken voor hun onderzoek. De deelnemers worden via internet benaderd met de vraag of ze deel willen nemen aan het panel. Als dat het geval is, krijgen ze vervolgens eens in de zoveel tijd een vragenlijst voorgelegd. Jan van den Brakel (methodoloog bij CBS en hoogleraar aan Maastricht University) onderzocht samen met Elisabeth Brüggen (Maastricht University) en Jon Krosnick (Stanford University) hoe goed deze panels zijn. De eerste resultaten tonen aan dat de deelnemers aan de panels geen representatieve afspiegeling vormen van de bevolking. De data die ze opleveren zijn vaak minder betrouwbaar.
Databronnen vergelijken
Om de betrouwbaarheid te onderzoeken legden de onderzoekers verschillende databronnen langs de meetlat: achttien internetpanels, informatie uit de gemeentelijke basisadministratie, twee grote groepen onderzoeksdeelnemers die door CBS geselecteerd zijn op basis van een kanssteekproef (zie kader) en het LISS-panel. Dit LISS-panel gaat uit van de Universiteit van Tilburg. Het verschilt onder andere van de andere internetpanels omdat de deelnemers zich niet zelf hebben aangemeld, maar zijn geselecteerd op basis van een kanssteekproef.
De eerste resultaten tonen aan dat de deelnemers aan de internetpanels geen representatieve afspiegeling vormen van de bevolking
Afspiegeling van de bevolking
Om te beginnen werd de verdeling naar leeftijd, geslacht, herkomst, woonprovincies en huishoudgrootte van de verschillende databronnen vergeleken. Is het aantal mannen ongeveer even groot als het aantal vrouwen? Is de leeftijdsverdeling van de panels vergelijkbaar met de echte verdeling zoals die uit de gemeentelijke basisadministratie bekend is? De steekproeven van CBS blijken het meest representatief, omdat ze zijn gebaseerd op kanssteekproeven en de hoogste responspercentages hebben. De webpanels zijn het minst representatief. Het LISS-panel zit daar tussen in. Van den Brakel is niet verrast. ‘Bij kanssteekproeven wordt bij de waarneming van alles gedaan om zoveel mogelijk mensen te laten responderen. Dat is duur, maar geeft uiteindelijk een representatiever beeld van de bevolking. Opvallend is ook dat de verschillen tussen de vrijwillige panels groot zijn.’
Representativiteit
Als een onderzoeksgroep niet representatief is, kun je dit corrigeren door bepaalde deelnemers meer ‘gewicht’ te geven dan andere. Van den Brakel: ‘Uit ons onderzoek blijkt echter dat die weegmodellen de kwaliteit van de panels niet verbeteren: waar het panel op het ene punt representatiever wordt, neemt de representativiteit op een ander punt juist af.’ Voorstanders van internetpanels voeren aan dat de representativiteit van een onderzoeksgroep minder van belang is als je verbanden tussen variabelen in kaart wil brengen, zoals het verband tussen levensgeluk en gezondheid. Ook dat blijkt niet het geval.
Niet volmaakt
Volgens Van den Brakel zijn ook de kanssteekproeven niet volmaakt. ‘Niet alle geselecteerde deelnemers doen mee. Dat is echter geen reden om de kanssteekproef over boord te zetten, wel om te proberen die non-respons zo klein mogelijk te maken. De uitkomsten van het onderzoek zijn relevant voor marketingbureaus, maar ook voor CBS. De manier waarop we data verzamelen, blijft zich immers ontwikkelen. We moeten weten op welke manieren dat het best gebeurt.’
Wat is een kanssteekproef?
In een kanssteekproef wordt door loting een kleine groep onderzoeksdeelnemers uit de doelpopulatie (bijvoorbeeld alle Nederlanders tussen 30 en 50 jaar) geselecteerd. Dankzij het kansmechanisme kunnen vervolgens statistische methoden ingezet worden om een uitspraak te doen over de hele doelpopulatie. Ook kan met statistische methodes vastgesteld worden hoe betrouwbaar deze uitspraken zijn.