2. Onderzoeksmethode

2.1 Inleiding

In de MBW worden ontwikkelingen bekeken aan de hand van drie analyses: de positie van Nederland binnen de EU, de trendmatige ontwikkeling en de recente jaarmutatie. Voor het vergelijken van de positie van Nederland met andere EU-landen is het belangrijk dat het niveau (de waarde) van de indicator onderling kan worden vergeleken. De trendmatige ontwikkeling wordt bepaald op de middellange termijn. Dit betekent dat er een trendperiode van acht jaar wordt gebruikt. Op basis van de data van deze jaren wordt een lineaire trend geschat (y=ax+b) waarbij een significante waarde van a bepaalt of de trend stijgt of daalt.

Door trend en positie voor alle Europese landen te vergelijken met de waarden voor Nederland kan worden onderzocht of Nederland bijvoorbeeld voorloopt en uitloopt of juist achterloopt en verder achterop raakt. Om een dergelijke vergelijking zinvol te maken moeten de gebruikte data (paragraaf 2.2) aan bepaalde kwaliteitscriteria voldoen. De opgestelde criteria worden in de  paragraaf 2.3 toegelicht. Aan de hand van deze criteria kan de bruikbaarheid van een indicator in een trend-positie vergelijking worden ingeschat (hoofdstuk 3). Voor een trend-positie vergelijking zijn minimaal tien EU-landen nodig met geschikte tijdreeksen.

Aangezien in de MBW & SDG’s Eurostat de grootste bron is voor internationale vergelijking wordt in dit onderzoek uitsluitend gebruik gemaakt van data afkomstig van Eurostat.¹⁾ Het onderzoek betreft een eerste verkenning van de bruikbaarheid van deze data waardoor slecht een beperkte selectie van deze indicatoren kan worden onderzocht. De geselecteerde indicatoren representeren een verscheidenheid aan onderwerpen.

In de originele datasets kunnen breuken en uitbijters zitten waardoor er geen betrouwbare trend kan worden berekend. Wanneer dat het geval is wordt het berekenen van de trend gedaan op basis van data gecorrigeerd voor dergelijke breuken en uitbijters. De originele data, die ook gebruikt worden voor het bepalen van de positie, worden hierbij niet vervangen. In hoofdstuk 4 wordt deze methode toegelicht.

2.2 Indicatoren en beschikbare informatie

Om een representatief beeld te kunnen geven is bij het selecteren van de indicatoren gezorgd voor een goede spreiding van onderwerpen, datatypen (index, percentages en absolute waarden) en vormen van dataverzameling. Zo komen de indicatoren terug in de Monitor Brede Welvaart binnen de verschillende thema’s, dimensies en de Sustainable Development Goals.

Van deze indicatoren zijn op de website van Eurostat de data voor alle landen te downloaden. Hiernaast kunnen ook bijbehorende ‘flags’ of markeringen, weergegeven per observatie, worden gedownload Deze markeringen geven extra informatie over een datapunt. Eurostat definieert onder andere flags voor breuken (breaks: b) in de data, of er een afwijkende definitie (definition differs: df) wordt gehanteerd, of het cijfers met een lage betrouwbaarheid betreft (low reliability: u), of het een schatting (estimation: e) betreft en of het cijfer nog voorlopig (provisional: p) is. Aan een observatie kunnen meerdere van deze flags worden meegegeven.

Verder zijn op de Eurostat website uitgebreide metadata beschikbaar.²⁾ Deze metadata zijn voor elke indicator op dezelfde manier gestructureerd en bevat veel relevante informatie over de opgestelde kwaliteitscriteria (zie paragraaf 2.3). Wel verschilt de mate van detail van deze metadata per indicator. Zo zijn er indicatoren waarvoor de metadata enkel ingaan op het achterliggende raamwerk voor het opstellen van de data (zie kolom raamwerk). Voor andere indicatoren zijn meer onderwerp- of indicatorspecifieke metadata aanwezig. 

2.3 Kwaliteitscriteria

In dit onderzoek zijn verschillende kwaliteitscriteria opgesteld die belangrijk zijn om aan te voldoen om tot een informatieve vergelijking te komen tussen internationale reeksen. Door reeksen aan deze criteria te toetsen kan met meer zekerheid worden gezegd of de onderlinge relatie tussen landen werkelijke ontwikkelingen weerspiegelen en niet voortkomen uit verschillende methoden of inconsistenties in de data. De tijdreeksen kunnen worden beoordeeld op in hoeverre ze voldoen aan deze criteria. Aan de hand hiervan kan worden besloten of een indicator in een trend-positievergelijking meegenomen kan worden.

In dit onderzoek zijn vier kwaliteitscriteria gedefinieerd: tijdigheid, nauwkeurigheid en plausibiliteit, consistentie en vergelijkbaarheid (tussen landen). Deze criteria zijn geïnspireerd op de  Europese Code of Practice voor statistiek, waar ook een kwaliteitsraamwerk bij hoort. Deze richtlijnen zijn leidend voor het CBS als het gaat om datakwaliteit en zetten de standaard voor de statistische bureaus in de Europese Unie. De praktijkcode bestaat uit 16 beginselen met betrekking tot het institutionele kader, statistische procedures en statistische output. Voorbeelden van deze beginselen zijn: sterk kwaliteitsbewustzijn, deugdelijke methoden, nauwkeurigheid en betrouwbaarheid, tijdigheid en punctualiteit en samenhang, vergelijkbaarheid en consistentie.  In het definiëren van de vier kwaliteitscriteria ligt de focus op (zo veel mogelijk meetbare) eisen die kunnen worden getoetst aan de hand van de tijdreeksen en de metadata. De tijdreeksen worden in het volgende hoofdstuk getoetst aan deze criteria die hieronder in meer detail worden uitgediept. 

Nauwkeurigheid en plausibiliteit

Nauwkeurigheid en plausibiliteit gaan over de mate van waarschijnlijkheid dat de gerapporteerde statistiek de werkelijkheid benaderd. Het beoordelen van de nauwkeurigheid en plausibiliteit van de tijdreeks begint bij het vaststellen van de bron van de tijdreeks. Indicatoren kunnen worden opgesteld vanuit bestaande brondata waarvoor specifieke kwaliteitsraamwerken gelden waarvan de implementatie wordt getoetst (in dit geval) door Eurostat. Informatie hierover is te vinden in de uitgebreide metadata op de website van Eurostat. Ook wordt via contactpersonen van het CBS bij Eurostat en personen binnen het CBS die betrokken zijn bij het opstellen van deze brondata hierover meer informatie opgehaald. Er zijn echter ook statistieken die buiten een dergelijk raamwerk worden opgesteld, wat een inschatting van de betrouwbaarheid minder eenvoudig maakt.

Voor het bepalen van een trend is het verder belangrijk om na te gaan of deze datapunten geen uitbijters bevatten. Tijdreeksen kunnen extreme waarden bevatten, die uitbijters worden genoemd. Het aantal uitbijters kan bijdragen aan een inschatting van de nauwkeurigheid en plausibiliteit van een tijdreeks.

Tijdigheid

Het vergelijken van tijdreeksen is alleen informatief wanneer van deze tijdreeks recente data beschikbaar zijn. We noemen een reeks tijdig genoeg wanneer in een trendperiode (minimaal acht jaar) het meest recente datapunt niet ouder is dan vijf jaar voor het einde van deze periode. De tijdigheid is dan t-5. Wanneer er bijvoorbeeld een trendperiode van 2015-2024 wordt beschouwd, mag het meest recente datapunt niet ouder zijn dan 2019. Tijdreeksen die niet aan deze basisvoorwaarde voldoen zijn niet geschikt voor analyse. Voor de tijdreeksen die hier wel aan voldoen kan de tijdigheid verschillen, waarbij t-1 het hoogst haalbare is. 

Daarnaast wordt geïnventariseerd wat het eerste en het laatste jaar is met een observatie voor Nederland, het aantal landen met data vanaf 2005 en hoeveel resultaten nog voorlopig zijn. Deze gegevens vormen de basis voor de mogelijkheid tot het opstellen van een tijdreeks met voldoende data om een uitspraak te doen over de tijdigheid van de indicator. Verder is voor het aantal landen vanaf 2005 gekozen om een beeld te krijgen van de doorlooptijd van de statistiek, en daarmee een beeld kan geven voor de andere kwaliteitscriteria vanwege eventuele langlopende kwaliteitsraamwerken.

Consistentie

Om van een tijdreeks een trend te kunnen bepalen moeten er voldoende datapunten beschikbaar zijn. Omdat y = ax + b twee onbekenden bevat, zijn minimaal drie datapunten nodig om een trend te kunnen vaststellen. Bovendien wordt de trend bepaald voor de middellange termijn: de afgelopen acht jaar. Hiermee is de basiseis voor een consistente tijdreeks minimaal drie datapunten in de afgelopen acht jaar. Tijdreeksen die hier niet aan voldoen zijn niet geschikt voor analyse.  Voor de tijdreeksen die hier wel aan voldoen kunnen klassen worden toebedeeld op basis van het aantal beschikbare datapunten in de trendperiode.

Deze datapunten moeten voor het bepalen van een trend verder onderdeel zijn van een consistente reeks zonder wijzigingen in methoden (breuken). Tijdreeksen bevatten vaak breuken. We onderscheiden methodebreuken en trendbreuken. COVID zorgde voor veel trendbreuken in bijvoorbeeld data van ziekenhuizen. Een wijziging in een definitie van bijvoorbeeld gezonde levensverwachting levert een methodebreuk op. De aanwezigheid van breuken hoeft niet te betekenen dat de reeks ongeschikt is voor een trend-positie vergelijking. Breuken kunnen namelijk worden gerepareerd waardoor consistente reeksen ontstaan voor het bepalen van een trend. De methode om breuken te repareren wordt verder beschreven in hoofdstuk 4.

Een bepaalde mate van garantie dat de tijdreeks wordt gecontinueerd is ook onderdeel van het criterium consistentie. De beoordeling hiervan vindt echter al plaats wanneer een indicator wordt opgenomen in de MBW en was daarom geen onderdeel van dit onderzoek. 

Vergelijkbaarheid

Tot slot is een vergelijking van de trend en positie van landen onderling alleen informatief wanneer de data vergelijkbaar zijn met die van andere landen. Over de (geografische) vergelijkbaarheid wordt informatie gegeven in de metadata van Eurostat. Wanneer landen dezelfde methoden en definities hanteren is de tijdreeks vergelijkbaar. Methoden en definities worden vastgelegd in onderliggende raamwerken vanuit Eurostat. De mate van detail in deze raamwerken geeft een indicatie voor de vergelijkbaarheid van de opgeleverde data.

Hiernaast is de flag ‘df’, voor een afwijkende gehanteerde methode ten opzichte van de methode die door Eurostat in het raamwerk wordt voorgesteld, ook bepalend voor de vergelijkbaarheid. Wanneer de definitie afwijkt kan de positie tussen landen niet direct worden vergeleken. Een verschil in definitie kan ook voor een vergelijking van de trendontwikkeling een probleem vormen. Wanneer een land een andere definitie hanteert voor een indicator zal ook de ontwikkeling van de indicator anders zijn dan voor andere landen. Een trend kan dan niet meer goed vergeleken worden.

De kwaliteitscontrole door Eurostat wordt in dit onderzoek als leidend gezien vanwege de geldende kwaliteitseisen die Euostat hanteert. Er is niet gekeken naar landelijke kwaliteitsrapportages. Op basis van enkel de tijdreeksen en flags van Eurostat kan worden besloten een land uit de trend- en positievergelijking te halen.