3. Beoordeling van kwaliteitscriteria

3.1 Inleiding

De dertien geselecteerde indicatoren worden in dit hoofdstuk beoordeeld op de vier geïntroduceerde kwaliteitscriteria. Per criterium zijn een aantal (meetbare) sub-criteria onderscheiden op basis waarvan de indicator wordt getoetst.  

Om een indicator op te nemen in de trend-positievergelijking moeten minimaal 10 landen (inclusief Nederland) kunnen worden vergeleken en daarmee aan de kwaliteitseisen voldoen. De criteria worden beoordeeld aan de hand van de data met bijbehorende flags en beschikbare metadata. Deze informatie is geraadpleegd in januari 2026. Verder zijn de bevindingen getoetst bij, en eventueel aangevuld door, experts op het gebied van deze (bron)data binnen het CBS (met uitzondering van ‘vogels boerenland’). 

Per criterium wordt voor de indicatoren een klasse toebedeeld: Laag (L), Midden (M) of Hoog (H). Om meer nuance te kunnen aanbrengen is een klasse hiertussen, bijvoorbeeld midden tot hoog (M-H), ook mogelijk. De vier kwaliteitscriteria worden eerst individueel beschreven en beoordeeld, waarna een algemene klasse wordt gegeven voor de indicator. De klassen moeten worden gezien als een indicatie van de bruikbaarheid van de tijdreeksen voor een trend-positievergelijking en dus niet van de algemene kwaliteit van de statistiek. 

3.2 Nauwkeurigheid en plausibiliteit

In Tabel 3.2.1 zijn de resultaten van de analyse voor de criteria nauwkeurigheid en plausibiliteit opgenomen. De kwaliteit van de brondata is voor een groot deel bepalend voor de kwaliteit van de resulterende indicator. Afhankelijk van de brondata geldt er bijvoorbeeld een handleiding met bijbehorende kwaliteitseisen voor het opstellen van de statistieken. Eurostat en de lidstaten hechten veel belang aan de kwaliteit van de statistieken en door Eurostat worden hier voor sommige indicatoren uitvoerige kwaliteitschecks op gedaan. In de metadata wordt vaak uitspraak gedaan door Eurostat over de kwaliteit van de statistiek, zie de kolom ‘kwaliteit en plausibliteit uit metadata’. 

Voor bijna alle (bron)statistieken bestaan er raamwerken vanuit Eurostat (met uitzondering van ‘vogels boerenland’). Het detailniveau van deze raamwerken en de kwaliteitsgarantie hangt onder andere af van de leeftijd van de statistiek (zie ook de tabel voor tijdigheid in de volgende paragraaf). Zo zijn de raamwerken van bijvoorbeeld de Nationale Rekeningen (ESA) en de EU-SILC al lang in ontwikkeling en wordt kwaliteit op deze manier bovengemiddeld geborgd (M-H of H). Andere statistieken als de ‘toegevoegde waarde milieusector’ zijn relatief nieuw (verplicht sinds 2017) en daarom nog volop in ontwikkeling, wat invloed heeft op de nauwkeurigheid en plausibiliteit van de data (M).

De manier van dataverzameling heeft hiernaast ook invloed op de kwaliteit. Data kunnen worden opgesteld vanuit registerdata of door middel van (telefonische) enquêtes. Hoe data verzameld worden kan overigens ook voor één indicator per land verschillen. Landen kunnen hiernaast ook een combinatie van deze methoden voor het opstellen van  een indicator gebruiken. Het is lastig om een waardeoordeel aan de manier van dataverzameling toe te kennen. Sommige informatie kan alleen worden verkregen vanuit enquêtes zoals ‘milieuproblemen’ (M-H), of op basis van een zo goed mogelijke inschatting vanuit beschikbare informatie zoals ‘stikstofoverschot’ (M). De regulatie van de steekproef van een enquête, zoals de omvang of spreiding, heeft invloed op de nauwkeurigheid van de resultaten. Hoe groter de steekproef met bijbehorende eisen, hoe nauwkeuriger de resulterende statistiek zal zijn (M tot M-H). Een aantal statistieken wordt opgesteld vanuit registerdata, wat de nauwkeurigheid over het algemeen bevordert (M-H tot H). Tot slot zijn er ook statistieken waarvoor, afhankelijk van de beschikbare bronnen, een combinatie van registerdata en enquêtedata wordt gebruikt of  waarvoor de gebruikte bronnen per land verschillen. Dit heeft, naast mogelijke invloed op de kwaliteit, ook gevolgen voor de vergelijkbaarheid (M tot M-H).

Van de geselecteerde indicatoren is er geen indicator waar het op basis van plausibiliteit en nauwkeurigheid direct wordt afgeraden om een trend-positievergelijking te maken. De insteek van Eurostat is ook om data te publiceren met voldoende kwaliteit om een informatieve vergelijking tussen landen te kunnen maken. Voor drie indicatoren is de klasse M toebedeeld, vier krijgen de klasse M-H mee en voor zes wordt de kwaliteit en plausibiliteit van de indicator als hoog beoordeeld.

3.3 Tijdigheid

In onderstaande tabel is het resultaat te zien voor het criterium tijdigheid. Voor alle indicatoren voldoet een groot genoeg aantal landen (minimaal tien, inclusief Nederland) aan de basiseis voor tijdigheid namelijk t-5. De data voor de indicator ‘vogels boerenland’ worden door steeds minder landen data aangeleverd. Waar tussen 2010 en 2016 nog 22 landen data aanleverden zijn dit er in 2021 maar 16 en in 2022 slechts 12. Wanneer indicatoren in een trend-positievergelijking worden opgenomen moet periodiek gecontroleerd worden of nog steeds voldoende landen aan het criteria voor tijdigheid voldoen. De indicator ‘stikstofoverschot’ wordt vanaf verslagjaar 2026 verplicht, wat het aantal landen dat kan voldoen aan het criterium tijdigheid zal verhogen. 

Het hoge aantal voorlopige cijfers bij ‘individuele consumptie’ en ‘gewerkte uren in de zorg’ komt waarschijnlijk voort uit de recente vijfjaarlijkse revisie van de Nationale Rekeningen.³⁾ Over het algemeen geldt voor cijfers in de Nationale Rekening wel een hoge tijdigheid.

Voor een aantal van de indicatoren komt het laatste datapunt uit 2023. Aan deze indicatoren is de klassen M-H toebedeeld. Opvallend is dat dit ook data vanuit de EU-SILC betreft terwijl deze altijd snel beschikbaar zijn op basis van de Verordening, daarom hebben deze indicatoren alsnog de klasse H toebedeeld gekregen.

Het criterium tijdigheid lijkt op basis van deze analyse in de meeste gevallen geen obstakel te zijn voor de toepassing van een indicator in een trend-positievergelijking. Wel loopt voor een aantal indicatoren de tijdigheid achteruit waardoor het aan te raden is om het criterium tijdigheid van t-5 periodiek te controleren.

3.4 Consistentie over tijd

Klassen voor consistentie worden gebaseerd op een combinatie van het aantal landen dat voldoet aan het criterium van aantal landen met minimaal drie datapunten in de afgelopen acht jaar en aanvullende achtergrond informatie uit de metadata. Bij elke reeks wordt door voldoende landen (minimaal tien) voldaan aan het basiscriterium van minimaal drie observaties in de afgelopen acht jaar (minimaal 19, maximaal 28). De indicator ‘toegevoegde waarde milieusector’ is een relatief nieuwe statistiek waardoor methoden die  landen hanteren momenteel nog in ontwikkeling zijn. Hierdoor veranderen definities en methoden nog in de loop der tijd of worden ze aangescherpt. Door deze wijzigingen is een vergelijking (en het berekenen van een trend) voor een land momenteel nog beperkt informatief (L-M). 

Voor sommige reeksen worden breuken gerepareerd door Eurostat, bijvoorbeeld voor ‘langdurige werkloosheid’. In dit geval zijn er dan geen breuken aangegeven in de data maar wordt in de metadata benoemd of breuken al gecorrigeerd zijn. Er zijn ook reeksen waarvoor, per land per jaar, wel wordt aangegeven dat er breuken in de reeks aanwezig zijn. Deze breuken kunnen met behulp van het schatten van een dummy-variabele op basis van een sterk correlerende reeks van een ander land, worden gecorrigeerd. Hierdoor kan er als nog een brouwbare trend worden bepaald waarbij de originele reeksen niet worden gewijzigd. Met behulp van deze methode hoeft de aanwezigheid van breuken geen grote gevolgen te hebben voor de bruikbaarheid van de data. Deze methode wordt uitgewerkt in hoofdstuk 4 en als voorbeeld toegepast op de reeksen ‘relatieve armoede’ en ‘gezonde levensverwachting mannen’. Aan deze indicatoren kan daarom voor het criterium consistentie alsnog een Midden tot Hoge klasse worden toebedeeld. Wel zijn er een aantal indicatoren (zie tijdigheid) waarvoor steeds minder landen data lijken aan te leveren, wat consistentie in de toekomst zou kunnen belemmeren. Dit leidt nu niet tot de toedeling van een lagere klasse, maar geeft wederom aan dat de toebedeling van klassen periodiek zou moeten worden herzien.

Slechts één indicator zou op basis van het criterium consistentie afvallen voor een trend-positievergelijking, namelijk ‘toegevoegde waarde milieusector’. Het overgrote deel is goed te vergelijken, acht indicatoren worden geclassificeerd als M-H en voor vier indicatoren wordt de vergelijkbaarheid over de jaren als hoog gezien. 

3.5 Vergelijkbaarheid tussen landen

Voor twee indicatoren wordt  in de metadata door Eurostat nadrukkelijk afgeraden om een directe vergelijking van de data te maken tussen landen, resulterend in klasse L. Zo wordt een vergelijking van de positie voor ‘vogels boerenland’ afgeraden. Deze indicator betreft een indexcijfer waardoor de ‘positie’ erg afhankelijk is van de stand in het indexjaar, die niet altijd even nauwkeurig is bepaald. Voor ‘stikstofoverschot’ wordt een vergelijking over het algemeen afgeraden door verschillende methoden en bronnen. 

De indicator ‘toegevoegde waarde milieusector’ valt ook nog niet goed te vergelijken tussen landen, omdat de statistiek nog in ontwikkeling is en landen elk in een verschillend stadium van implementatie verkeren. Tot slot wordt de indicator ‘totale woonquote’ op vergelijkbaarheid als laag geclassificeerd, woonlasten worden verschillend gemeten en niet alle landen houden zich aan de door Eurostat voorgeschreven definitie.

Wederom zorgt een uitgebreid raamwerk met kwaliteitschecks vanuit Eurostat ervoor dat voor een groot aantal indicatoren de vergelijkbaarheid tussen landen als midden tot hoog kan worden omschreven. Vaak zijn definities goed afgebakend maar kan er nog verschil optreden in de door landen gehanteerde methoden en gebruikte bronnen. Dit hangt onder anderen af van de beschikbaarheid van bijvoorbeeld registerdata, waarvan in Nederland relatief veel beschikbaar is. Ondanks de verschillende manieren van dataverzameling wordt de vergelijkbaarheid van de methoden tussen landen wel door Eurostat gecontroleerd en deze wordt in de metadata beschreven.

Voor drie indicatoren wordt momenteel een trend-positievergelijking afgeraden door een te beperkte vergelijkbaarheid van de data tussen landen, één indicator krijgt de klasse M toebedeeld. Voor vier indicatoren is de verglijkbaarheid goed met een klasse van M-L en voor vijf indicatoren wordt de vergelijkbaarheid tussen landen als hoog gezien.

3.6 Geschiktheid per indicator

In onderstaande tabel worden de gecombineerde klassen per indicator gegeven (‘Totaal’). De laagst toegekende klasse per kwaliteitscriterium bepaalt hierbij de bruikbaarheid van een indicator. Hoe lager de toebedeelde klasse, des te voorzichtiger moet worden omgegaan met het trekken van conclusies uit een trend-positievergelijking.

Voor vier van de 13 indicatoren valt een trend-positie vergelijking momenteel in meer of mindere mate af te raden, namelijk: ‘toegevoegde waarde milieusector’, ‘vogels boerenland’, ‘totale woonquote’ en ‘stikstofoverschot’ (klasse L tot L-M). Er is één indicator waarvoor in zijn totaliteit de klasse M wordt toebedeeld. Voor vier indicatoren wordt een klasse M-H gegeven en voor vier indicatoren wordt de toepasbaarheid als hoog ingeschat (na correctie van breuken en uitbijters). De vergelijkbaarheid tussen landen lijkt het vaakst een belemmering te vormen. Op het criterium tijdigheid werd een vergelijking voor geen enkele indicator afgeraden.

De hoogste klassen worden toebedeeld aan economische indicatoren. Deze zijn in vergelijking met indicatoren gerelateerd aan milieu langer in ontwikkeling en vaak nauwkeuriger te bepalen. Verder kan de geschiktheid van een indicator wijzigen over tijd. Zo wordt ‘stikstofoverschot’ vanaf verslagjaar 2026 een verplichte statistiek waardoor de klassen voor alle kwaliteitscriteria naar verwachting zullen toenemen. Een periodieke toetsing, bijvoorbeeld om de vijf jaar, is om deze reden gewenst om de betrouwbaarheid te garanderen.