Correcties in StatLinetabellen

Inleiding

CBS analyseert alle correcties in StatLinetabellen. Bij een correctie worden al gepubliceerde cijfers gewijzigd op een manier die niet in overeenstemming is met de publicatiestrategie. Het gaat meestal om aanpassing van cijfers die al als definitief waren gekenmerkt.

Correcties leiden tot acties om in de toekomst dit soort fouten te voorkomen. Het navolgende beschrijft de analyse van de correcties in 2015 en de genomen maatregelen. Hieruit volgen aanbevelingen om het aantal correcties in StatLine terug te dringen.

Correcties in 2015

Eind 2015 waren er 3842 tabellen op StatLine. Hiervan ondergingen er 202 een correctie. Bij 92 van deze correcties was er sprake van navolging van de correctie van een hoofdtabel, bijvoorbeeld omdat een tabel zowel een Nederlandse als een Engelse versie heeft, of omdat bepaalde cijfers in meerdere Nederlandstalige tabellen voorkomen. Daarmee bedraagt het aantal unieke correcties 110. De analyse richt zich op deze correcties. In onderstaande tabel wordt een samenvatting van de StatLinecorrecties gegeven. Er worden vier typen correcties onderscheiden.

Aantal unieke correcties naar type, 2015

Totaal Nieuwe aanvullende informatie Onjuiste berekening Technische verwerking niet juist Overig
Totaal 110 15 35 42 18

De correcties leiden in het algemeen tot maatregelen om een dergelijke fout in de toekomst te voorkomen. Ook andere processen kunnen deze maatregelen toepassen.

Ruwweg zijn de maatregelen in drie groepen in te delen:

  • Zorg voor een goede releaseplanning waardoor correcties minder vaak nodig zijn;
  • Zet een goed controlesysteem op, gebruik het en handhaaf het;
  • Maak het statistisch productiesysteem minder gevoelig voor fouten.

De volgende maatregelen zijn genomen:

  1. Onderzoek of ongeautoriseerde aanpassing van software mogelijk is;
  2. Bekijk of het gebruik van Excel verder teruggedrongen kan worden;
  3. Laat statistici expliciet hun eigen werkinstructie volgen;
  4. Bekijk of de huidige plausibiliteitscontrole afdoende is;
  5. Controleer extra op de handmatige bewerkingen;
  6. Controleer extra als bronnen, tabellen of definities gewijzigd zijn;
  7. Identificeer mogelijke bronnen en controleer op inconsistenties tussen verschillende bronnen en statistieken;
  8. Bekijk of de huidige plausibiliteitscontrole afdoende is;
  9. Voorkom correcties achteraf door eerder of beter te confronteren met andere bronnen of voorgaande perioden;
  10. Maak optimaal gebruik van de mogelijkheid om cijfers als voorlopig te kenmerken, zodat definitieve cijfers minder vaak aangepast hoeven te worden;
  11. Onderzoek of het validatieproces aangepast moet worden;
  12. Integreer controles in de programmatuur;
  13. Test aanpassingen proces en programmatuur zorgvuldiger;
  14. Controleer gebruik van de juiste versie van het bestand.

Conclusies en aanbevelingen

Op basis van de belangrijkste getroffen maatregelen door de statistische sectoren zijn er de volgende drie aanbevelingen:

  1. Niet alle statistieken passen de gebruikelijke publicatiestrategie toe om eerst voorlopige cijfers te publiceren en deze in een volgende publicatieronde definitief te maken. Aanpassen van definitieve cijfers worden gezien als correcties. Aanpassen van voorlopige cijfers worden gezien als updates. Maak daarom gebruik van de mogelijkheid om cijfers eerst als voorlopig te kenmerken, zodat definitieve cijfers minder vaak aangepast hoeven te worden;
  2. Als aanvulling op de bestaande richtlijn bij gebruik van Excelsheets: minimaliseer het aantal handmatige bewerkingen zowel binnen de Excelsheet als tussen Excelsheets als er een keten van sheets gebruikt wordt;
  3. Maak een overzichtelijke set van controles, pas deze daadwerkelijk toe en onderzoek periodiek of deze set compleet is.

Een bestaande maatregel als terugdringen van Excelgebruik zou kunnen worden gecombineerd met controle op het toepassen van de Excel-richtlijnen. Achterliggende gedachte is dat het ombouwen van ‘organisch gegroeide’ Excelsheets tot een aanvaardbare structuur wellicht net zo veel inzet vergt als het opzetten van een scriptprocedure in SPSS of R.
Bij maatregelen wordt gewag gemaakt van gebrek aan IT-capaciteit. Maar ook het goed opzetten van Excelsheets kan correcties voorkomen, en is door het betreffende team uit te voeren. Het scheiden van input, bewerkingen en output, en het minimaliseren van handmatige knip- en plakacties zijn basiselementen hierin. Ook het gebruik van een stappenplan en instellen van slimme controleregels kunnen fouten voorkomen.
Het aantal fouten kan ook teruggedrongen worden door meer gebruik te maken van beschikbare controlemogelijkheden als de tool StatControl.