Dataverzamelingsproces Gezondheidsenquête/Leefstijlmonitor 2014-2021

De Gezondheidsenquête (GE) is een jaarlijks onderzoek dat sinds 1981 wordt uitgevoerd door het Centraal Bureau voor de Statistiek. Sinds 2014 is de module met kernvragen uit de Leefstijlmonitor (LSM-k) onderdeel van de Gezondheidsenquête. Doel van het onderzoek is het geven van een beeld van de gezondheid, de leefstijl en het zorggebruik van de Nederlanders en de ontwikkelingen daarin. Daartoe wordt een vragenlijst voorgelegd aan een steekproef uit de Basisregistratie Personen (BRP), het Nederlandse bevolkingsregister. Sinds 2014 kunnen mensen meedoen aan het onderzoek via internet (CAWI) of aan-huis-interviews (CAPI).

In de afgelopen jaren zijn er veranderingen aangebracht in de benaderstrategie; de wijze waarop de data verzameld wordt bij de beoogde respondenten. Met ingang van 2021 is de zogeheten geoptimaliseerde doelgroepenbenadering ingevoerd. Voor deze benaderstrategie is gekozen om de samenstelling van de respons zo representatief mogelijk te laten zijn voor de Nederlandse bevolking. Ook is de strategie van geoptimaliseerde doelgroepenbenadering goedkoper ten opzichte van eerdere strategieën.

In deze nota leggen we uit hoe de geoptimaliseerde doelgroepenbenadering in zijn werk gaat. Ook beschrijven we de verschillende benaderstrategieën uit de periode 2014-2020. 
Om goed inzicht te krijgen op de invloed van veranderingen op de uitkomsten van het onderzoek, hebben we de strategie van 2021 gesimuleerd op de data van 2014 tot en met 2019¹⁾. Op die manier kon voor de belangrijkste kernvariabelen uit de GE/LSM-k geschat worden wat de uitkomsten zouden zijn geweest als de geoptimaliseerde doelgroepenbenadering al in 2014 zou zijn ingevoerd. Deze schattingen vergelijken we met de sinds 2014 gepubliceerde cijfers en daardoor ontstaat inzicht in het effect van de doelgroepenbenadering op de schattingen. 

2.1 De jaren 2014-2020

Voor de GE/LSM-k trekt het CBS steekproeven uit de Basisregistratie Personen (BRP). We streven hierbij naar een minimum aantal respondenten (deelnemers) van 9500. Van 2014 tot en met 2016 kregen steekproefpersoon eerst een brief thuis kreeg met de vraag om via internet (CAWI) deel te nemen aan het onderzoek. Indien de steekproefpersoon niet deelnam via CAWI, ontvingen zijn een tweetal herinneringsbrieven. Wanneer zij niet meededen, maar ook niet expliciet weigerden mee te doen, werden ze herbenaderd voor een aan-huis-interview (CAPI). Vrijwel alle personen die in aanmerking kwamen voor CAPI werden daadwerkelijk herbenaderd. Een persoon kwam niet meer in aanmerking voor herbenadering als hij of zij was overleden of verhuisd. In 2016 kwam 92,9% van de CAWI-non-respons in aanmerking voor CAPI.

Met ingang van 2017 werden er vaste omvangen bij CAPI ingevoerd. Dat betekent dat het aantal mensen dat voor CAPI zou worden benaderd van tevoren werd vastgesteld, met als doel om de planning van de interviewers efficiënter te maken en van te voren de kosten van het dataverzamelingswerk te kunnen inschatten. Het percentage CAPI herbenadering ging daarbij van 92,9% in 2016 naar 83,1% in 2017. Dit betekende dus dat er in de stap van CAWI naar CAPI een uitdunning (niet herbenaderen) van ongeveer 10 procentpunten bij kwam. Deze uitdunning gebeurde aselect, ofwel willekeurig.
Een andere verandering was dat het aantal mensen dat benaderd werd voor CAWI werd vergroot. Zo waren we er zeker van dat er voldoende mensen overbleven voor de vaste CAPI-benadering, ook als de CAWI respons ineens hoger zou uitvallen. Dit had als effect dat de maximale vertekening groter werd. De coefficient of variation (CV) van de responskansen werd namelijk groter. De CV is een maat om aan te geven of de verdeling van de deelnemers aan een onderzoek lijkt op de verdeling in de bevolking. Deze vergelijking maken we op basis van bepaalde kenmerken, zoals geslacht, leeftijd en migratieachtergrond. Hoe kleiner de CV, des te meer de verdeling van de respondenten lijkt op de verdeling in de bevolking.

Met ingang van 2018 werden er twee grote wijzingen doorgevoerd.

1. De eerste wijziging was dat een incentive (beloning) in de vorm van een iPad verloting werd ingevoerd met als doel de CAWI respons te verhogen. Deelnemers aan het onderzoek maakten dus kans op een prijs. Daarop nam de CAWI respons met 3,6 procentpunten toe, van 34,1% in 2017 naar 37,7% in 2018. Het is niet bekend of het invoeren van de incentive een effect had op de CAPI respons en dit was ook lastig te meten omdat er tegelijkertijd doelgroepenbenadering werd ingevoerd: de tweede wijziging.
2. De tweede wijziging was de gedeeltelijke invoering van de doelgroepenbenadering bij CAPI. Van bepaalde doelgroepen, waarvan bekend is dat zij goed via CAWI responderen, worden minder mensen herbenaderd voor CAPI. De hierboven beschreven uitdunning en herbenadering werden dus selectief. Het idee van de doelgroepenbenadering was dat de CV van de responskansen kleiner zou worden en hiermee uiteindelijk de maximale vertekening verkleind werd. Zo vindt de correctie voor vertekening deels vooraf plaats en wordt deze niet meer alleen overgelaten aan de achteraf uitgevoerde weging.

Met ingang van 2019 waren er kleine wijzingen in de doelgroepenindeling. Dit omdat de clusteringsanalyse opnieuw werd uitgevoerd, met recentere gerealiseerde responskansen als input, wat tot iets andere resultaten leidde. Stedelijkheidsgraad zat niet meer in de doelgroepenindeling van 2019 en er waren wijzigingen in de definities van migratieachtergrond en in de indelingen van de leeftijdscategorieën.
Er werd besloten om het aantal mensen dat voor CAPI werd benaderd gelijk te houden met het aantal van 2018: 8040 personen werden via CAPI herbenaderd. Door tegenvallende respons werden vanaf juli 2019 meer mensen voor CAWI-deelname benaderd om toch voldoende respons te verkrijgen. Het aantal mensen dat voor CAPI werd benaderd bleef gelijk. Dit zorgde ervoor dat het percentage CAPI herbenadering van 71,5% in 2018 daalde naar 69,7% in 2019.

In 2020³⁾ werden geen wijzingen doorgevoerd. De doelgroepenindeling bleef zoals in 2019 en de CAPI uitzet werd weer vastgesteld op 8040. Wel werd het percentage CAPI herbenadering per doelgroep licht gewijzigd, als gevolg van in 2019 waargenomen veranderingen in de responskansen per doelgroep per waarnemingsmethode.

2.2 Benaderstrategie GE/LSM-k met ingang van 2021: geoptimaliseerde doelgroepenbenadering

Met ingang van 2021 werd de doelgroepenbenadering bij de GE/LSM-k geoptimaliseerd. Een van de wijzigingen was dat de randvoorwaarde voor het aantal voor CAPI te benaderen personen werd losgelaten. Minimalisering van de CV werd het doel. De randvoorwaarde van een minimumaantal van in totaal 9.500 respondenten, ongeacht of deze via CAWI of CAPI deelnamen, bleef wel gehandhaafd.
Vanaf 2021 is de doelgroepenindeling voor de GE/LSM-k gebaseerd op inkomen, leeftijd en migratieachtergrond. Deze kenmerken sluiten aan bij de doelgroepenindeling van eerdere jaren. De precieze indeling van de doelgroepen stelden we vast door een clusteranalyse uit te voeren op responsdata uit de eerste helft van 2019. Uit deze analyse kwamen acht doelgroepen, zie tabel 2.2.1.

Leesvoorbeeld bij tabel 2.2.1: doelgroep 1 bestaat uit mensen met een migratieachtergrond van 0 tot en met 11 jaar uit huishoudens uit de inkomenscategorie laag of midden. En uit mensen met een migratieachtergrond van 12 tot en met 24 jaar uit huishoudens uit de inkomenscategorie midden.

Ten opzichte van de doelgroepen in 2020 is er in 2021 een leeftijdsgroep minder: voorheen werden 65-74 jaar en 75+ apart meegenomen, nu is er één groep voor 65+. Daarnaast zijn er op basis van verschillen in responskansen andere groepen samengevoegd tot één doelgroep. Dit leidde tot een aantal verschillen:

• In vergelijking met 2020 werden in 2021 meer mensen benaderd voor CAWI (van 17.112 in 2020 tot 19.632 in 2021).
• Het aantal mensen dat benaderd werd voor CAPI nam af (van 8.040 in 2020 tot 6.624 in 2021).

Het percentage personen uit de herbenaderbare CAWI nonrespons dat via CAPI zou worden herbenaderd in 2021 werd geschat op 55,2%⁴⁾.

Tabel 2.2.2 geeft een samenvatting van de waarneemstrategie bij de GE/LSM-k in de jaren 2014 tot en met 2021.

In 2020 hebben we de geoptimaliseerde benaderstrategie van 2021 gesimuleerd op de GE/LSM-k-data van de jaren 2014 tot en met 2019⁵⁾. Er is daarbij dus gedaan alsof in die jaren al de geoptimaliseerde benaderstrategie werd toegepast die pas vanaf 2021 daadwerkelijk is ingevoerd. Hierbij werd de verhouding CAWI-CAPI waarneming, uit het steekproefontwerp van 2021, per doelgroep gesimuleerd. Dit deed het CBS door het responsbestand van een bepaald jaar te pakken en daaruit met bootstrapping responsen te trekken. Deze nieuwe dataset had daarmee dezelfde omvang per doelgroep als in het steekproefontwerp van de GE/LSM-k van 2021. Dit gesimuleerde responsbestand werd vervolgens gewogen en op basis van dit gewogen bestand werden voor 17 kernvariabelen (tabel 3.1) nieuwe cijfers geschat. Dit gehele proces herhaalden we vervolgens 1000 keer en van deze 1000 uitkomsten berekenden we vervolgens het gemiddelde. Hieruit volgde dan per kernvariabele voor ieder jaar een gesimuleerde schatting.

De analyses werden per jaar gedaan op totaalniveau (alle respondenten uit de doelpopulatie) en voor de volgende deelpopulaties:

• leeftijd (0 t/m 17, 18 t/m 64, 65 of ouder)
• geslacht (man, vrouw)
• migratieachtergrond (NL, westers, niet-westers)
• inkomen (kwintiel 1 (laag), kwintiel 2 t/m 5).

De simulatieschattingen zijn vervolgens vergeleken met de eerder al gepubliceerde cijfers over de 17 kernvariabelen. De verschillen tussen de gesimuleerde en de gepubliceerde uitkomsten zijn vervolgens getoetst op statistische significantie.

Bij vijf kernvariabelen werden statistisch significante verschillen gevonden op totaalniveau tussen de gesimuleerde en de gepubliceerde cijfers. Die verschillen traden het meest op in de beginjaren van de GE/LSM-k, zie tabel 3.2.

Op totaalniveau werden bij de 12 overige kernvariabelen dus geen statistisch significante verschillen gevonden⁶⁾.

Dat de meeste en grootste verschillen werden gevonden in de beginjaren van de GE/LSM-k komt doordat de veranderingen in de waarneemstrategie vanaf 2014 stap voor stap hebben plaatsgevonden. De eerdere jaren wijken daardoor het meest af van de per 2021 doorgevoerde geoptimaliseerde doelgroepenwaarneming.

Voor de vijf kernvariabelen waarbij op totaalniveau statistisch significante verschillen werden gevonden in tenminste 1 jaar, worden in het vervolg van deze paragraaf de gesimuleerde cijfers en de gepubliceerde cijfers getoond op totaalniveau, zowel grafisch als in tabelvorm (grafiek 3.3 tot en met tabel 3.12). Dit om inzicht te krijgen in de omvang en richting van de verschillen en het verloop ervan in de tijd. In de bijlage zijn voor elk van de vijf betreffende kernvariabelen de cijfers per deelpopulatie te vinden. Verschillen die vet zijn weergegeven, zijn statistisch significant.

In deze nota is beschreven welke veranderingen sinds 2014 zijn doorgevoerd in het dataverzamelingsproces van de GE/LSM-k en is ook ingegaan op de redenen voor die veranderingen. Belangrijke veranderingen waren:

• De invoering van vaste CAPI-omvangen door middel van aselecte uitdunning in 2017.
• De gedeeltelijke invoering van doelgroepenbenadering en de invoering van incentives in 2018.
• De invoering van de geoptimaliseerde doelgroepenbenadering in 2021.

Ook is voor 17 kernvariabelen van het onderzoek gesimuleerd hoe de uitkomsten over de jaren 2014-2019 er waarschijnlijk hadden uitgezien als de huidige waarneemstrategie, die sinds 2021 in gebruik is, in al die jaren al in gebruik was geweest.
Uit die simulatie komt naar voren dat er voor 12 van de 17 kernvariabelen geen statistisch significante verschillen zouden zijn geweest. Bij de overige vijf variabelen is dat echter wel het geval. Daar lijkt sprake van methodebreuken als gevolg van de doorgevoerde wijzigingen. Bij die variabelen zien we dat vooral de uitkomsten van de oudere onderzoeksjaren afwijkend uit de simulatie komen. Dit hangt waarschijnlijk samen met de stapsgewijs doorgevoerde veranderingen. Elke wijziging kan een effect hebben en de optelsom van die effecten kan dus groter worden naarmate er over de tijd meer veranderingen zijn doorgevoerd. De simulatie geeft een beeld van het totale effect van de veranderingen. Het is niet aan te geven welk deel daarvan veroorzaakt wordt door selectie-effecten (doen er andere mensen mee?) en welk deel door mode-effecten (geven mensen via internet een ander antwoord dan via een aan-huis-interview?). Het CBS, RIVM en Trimbos-instituut willen in 2022 proberen meer zicht te krijgen op het effect van mode. De bevindingen van dat onderzoek zullen apart worden gepubliceerd.

CBS, RIVM en Trimbos-instituut adviseren gezamenlijk om de oorspronkelijk gepubliceerde cijfers, over de periode sinds 2014 te blijven zien als dé uitkomsten van de GE/LSM-k. Deze cijfers zijn onder andere te vinden op CBS-Statline. Een belangrijke reden hiervoor is de bevinding dat bij de meeste van de onderzochte variabelen geen sprake was van statistisch significante afwijkingen tussen de gepubliceerde en de gesimuleerde uitkomsten. Een andere reden is de wetenschap dat aanpassingen aan het proces van dataverzameling onvermijdelijk zijn bij een langlopend onderzoek als de GE/LSM-k. Veranderingen zullen ook in de jaren vanaf 2022 blijven optreden. Het streven daarbij zal altijd zijn om, gegeven bepaalde randvoorwaarden, een zo representatief mogelijk beeld van de gezondheid en leefstijl van de Nederlandse bevolking te geven. Het is echter niet uitgesloten dat aanpassingen in de methode in sommige gevallen invloed kunnen hebben op de schattingen. Ook zonder aanpassingen in het onderzoeksproces zullen wijzigingen optreden. De verhouding tussen de aandelen CAWI en CAPI in de respons verandert bijvoorbeeld door veranderingen in de bereidwilligheid om mee te doen aan het onderzoek.

Om de gesimuleerde uitkomsten van de jaren 2014-2019 te kunnen reproduceren heeft het CBS een bestand beschikbaar gesteld met daarin de daarvoor benodigde doelgroepsimulatie-weegvariabelen. Elke oorspronkelijke respondent uit de jaren 2014-2019 kan met behulp van dat bestand worden voorzien van een simulatiegewicht. De beschikbaarstelling gebeurt via CBS-Microdataservices en het bestand kan gebruikt worden door onderzoekers die aan de voorwaarden voor het gebruik van microdata (via Remote Access) voldoen. Door de doelgroepsimulatie-weegvariabele van bijvoorbeeld 2014 te koppelen aan het reguliere 2014-bestand van de GE/LSM-k, kunnen zowel de oorspronkelijk gepubliceerde uitkomsten als de simulatie-uitkomsten bepaald worden.

Gesimuleerde en gepubliceerde uitkomsten over het gebruik van niet-voorgeschreven medicijnen, naar achtergrondkenmerken

De achterliggende vraagstellingen over het niet-voorgeschreven medicijngebruik zijn te vinden via deze webpagina: Vragenlijsten Gezondheidsenquête vanaf 2014 (cbs.nl)

Gesimuleerde en gepubliceerde uitkomsten over roken, 18 jaar of ouder, naar achtergrondkenmerken

De achterliggende vraagstellingen over roken zijn te vinden via deze webpagina: Vragenlijsten Gezondheidsenquête vanaf 2014 (cbs.nl)

Gesimuleerde en gepubliceerde uitkomsten over dagelijks roken, 18 jaar of ouder, naar achtergrondkenmerken

De achterliggende vraagstellingen over dagelijks roken zijn te vinden via deze webpagina: Vragenlijsten Gezondheidsenquête vanaf 2014 (cbs.nl)

Gesimuleerde en gepubliceerde uitkomsten over overmatig alcoholgebruik, 18 jaar of ouder, naar achtergrondkenmerken

De achterliggende vraagstellingen over overmatig alcoholgebruik te vinden via deze webpagina: Vragenlijsten Gezondheidsenquête vanaf 2014 (cbs.nl)

Gesimuleerde en gepubliceerde uitkomsten over voldoen aan de beweegrichtlijnen, 12 jaar of ouder, naar achtergrondkenmerken