5. Conclusies en aanbevelingen

In dit rapport is een methode voor het bepalen van de bruikbaarheid van internationale reeksen in een trend-positie vergelijking voor indicatoren uit de MBW onderzocht. Zo zijn er kwaliteitscriteria opgesteld waaraan indicatoren kunnen worden getoetst: nauwkeurigheid en plausibiliteit, tijdigheid, consistentie over tijd en vergelijkbaarheid tussen landen. Ook is een methode ontwikkeld om van reeksen met breuken en uitbijters een betrouwbare trend te kunnen bepalen.

In de beoordeling van de geschiktheid van een indicator is de laagste classificering van de kwaliteitscriteria doorslaggevend. Van de onderzochte indicatoren waren er vier indicatoren die afvielen: ‘toegevoegde waarde milieusector’, ‘vogels boerenland’, ‘totale woonquote’ en ‘stikstofoverschot’. Voor twee van deze indicatoren werd ook in de metadata van Eurostat een vergelijking tussen landen afgeraden. Aan de andere kant waren er ook veel indicatoren met een bovengemiddelde ofwel hoge vergelijkbaarheid. Wanneer er aan een indicator een gemiddelde bruikbaarheid wordt toegekend moet voorzichtig worden omgegaan met het trekken van conclusies op basis van een trend-positie vergelijking. In deze analyse was er één indicator welke in zijn totaliteit als gemiddeld geclassificeerd werd: ‘neonatale sterfte’.

Aan de hand van de in dit onderzoek geformuleerde criteria kunnen in de toekomst meer indicatoren op eenzelfde wijze op bruikbaarheid worden getoetst. De metadata van Eurostat is in de analyse erg behulpzaam maar het doornemen hiervan kost relatief veel tijd. Om de informatie op waarde te kunnen schatten is het hiernaast voor indicatoren nodig geweest om de conclusies te toetsen bij experts binnen het CBS.

Voordat de metadata worden geanalyseerd kan op basis van meetbare minimale kwaliteitscriteria een eerste selectie worden gemaakt voor de toepasbaarheid van indicatoren in een trend-positievergelijking. Verder zou ervoor gekozen kunnen worden om indicatoren op basis van het achterliggende raamwerk te classificeren. Het achterliggende raamwerk en de looptijd hiervan blijkt veel informatie te geven over de indicatoren, hiernaast zijn voor een aantal indicatoren ook alleen metadata beschikbaar van het overkoepelende raamwerk en niet van de indicator zelf. Of de aanname van een gelijke classificering van de indicatoren binnen een raamwerk plausibel is, kan per raamwerk worden afgewogen.

Verder kan de bruikbaarheid van een indicator veranderen in de loop van de tijd. Zo kan een statistiek zich verder ontwikkelen (bijvoorbeeld ‘toegevoegde waarde milieusector’) of juist in nauwkeurigheid achteruit gaan in de tijd doordat minder landen data kunnen aanleveren (‘vogels boerenland’) of de kwaliteit van de brondata kan wijzigen (‘invoer fossiele energiedragers’). De bruikbaarheid van een indicator zal om deze reden bij voorkeur periodiek moeten worden herzien.

Voor toepasbaarheid in een trend-positievergelijking moet zowel de positie als de trend van een indicator te vergelijken zijn. Wanneer in een reeks breuken en uitbijters zitten kan er geen vergelijkbare trend worden bepaald. Met de in dit onderzoek ontwikkelde methode kunnen reeksen met behulp van een dummy-variabele worden geschat om te komen tot een gecorrigeerde reeks. Met deze consistente reeks kunnen betrouwbare trends worden geschat. Voor het bepalen van de trend is de data gecorrigeerd voor zowel breuken als uitbijters. Voor het bepalen van de onderlinge positie van landen kan ook een correctie worden gedaan van uitbijters van andere landen dan Nederland, dit gebeurt momenteel niet. Hierbij moeten de data van landen echter wel geschat worden en aangepast in de gepresenteerde reeksen, wat bij het bepalen van de trend niet het geval was.

De ontwikkelde methode voor het bepalen van betrouwbare trends in dit onderzoek kan direct worden toegepast op andere indicatoren. Wel is het toepassen van de methode mensenwerk en zal er geen sprake zijn van een volledig geautomatiseerd proces. Voorwaarde voor deze methode is ook dat Eurostat de methodebreuken blijft aangeven.

Indicatoren in de MBW kunnen worden getoetst aan de in dit onderzoek opgestelde criteria en reeksen kunnen voor een nauwkeurige trendbepaling worden ontdaan van breuken en uitbijters. Na een toetsing aan de kwaliteitscriteria en na eventuele correctie van de reeksen voor het berekenen van de trend, kan een indicator worden opgenomen in een trend-positie vergelijking in publicaties. De MBW bevat veel indicatoren en bovendien moet de bruikbaarheid periodiek worden herzien. Er zijn meerdere manieren voorgesteld voor het maken van een efficiëntieslag in de beoordeling van een indicator. Zo kan de controle van kwantitatieve kwaliteitscriteria worden geautomatiseerd, en kan ervoor worden gekozen om de focus te verleggen naar het overkoepelende raamwerk. Of de aanname, van een gelijke indeling van klassen voor de verschillende indicatoren binnen een raamwerk, opgaat voor het specifieke raamwerk kan worden geverifieerd bij een expert binnen het CBS.