7. Conclusies en aanbevelingen

Het doel van deze haalbaarheidsstudie was om in kaart te brengen wat de (on)mogelijkheden zijn om met registerdata van het CBS onderzoek te doen naar mogelijke gevolgen van de toeslagenaffaire voor gedupeerde ouders. Hiervoor is het volgende nagegaan:

1. Welke mogelijke gevolgen (uitkomstmaten) van de toeslagenaffaire te verwachten zijn, waarvoor een eenduidig mechanisme te verwachten is, welke valide te meten zijn met de bij het CBS beschikbare data, en waarvoor de aantallen voorafgaand aan dupering/selectie groot genoeg zijn om onderzoek te doen;
2. Of het mogelijk is om voor de geselecteerde uitkomstmaten een geschikte vergelijkingsgroep samen te stellen. Een geschikte vergelijkingsgroep (de smalle vergelijkingsgroep) is op relevante kenmerken vergelijkbaar met de gedupeerden groep;
3. In hoeverre de aantallen na dupering/selectie groot genoeg zijn om onderzoek te doen.

Dit hoofdstuk bevat de conclusies met betrekking tot de haalbaarheid van toekomstig onderzoek naar mogelijke gevolgen van de toeslagenaffaire voor gedupeerde ouders. Er wordt afgesloten met methodologische aanbevelingen voor toekomstig onderzoek.

7.1 Conclusies 

Op basis van stap 1 viel een aantal uitkomstmaten af voor deze haalbaarheidsstudie. Een deel viel af omdat er geen eenduidig mechanisme verwacht wordt. Dit betekent dat toekomstig onderzoek wellicht mogelijk is (zie de overzichtstabel 7.1.1 aan het eind van deze paragraaf voor de betreffende uitkomstmaten). Voor een aantal andere uitkomstmaten geldt dat deze zijn uitgesloten voor deze haalbaarheidsstudie vanwege beperkingen aan de data. Voor een deel van deze uitkomstmaten zijn de beperkingen aan de data niet dusdanig substantieel om onderzoek af te raden. Toekomstig onderzoek naar deze uitkomstmaten is wellicht mogelijk. Wel dient er in toekomstig onderzoek rekening te worden gehouden met deze beperkingen.

Voor een aantal van de uitkomstmaten is er sprake van dusdanige beperkingen aan de beschikbare data dat toekomstig onderzoek niet mogelijk is. Daarnaast blijkt het voor bepaalde uitkomstmaten niet mogelijk te zijn om onderzoek te doen omdat er geen registerdata bij het CBS beschikbaar is. Overzicht 7.1.1 geeft weer voor welke uitkomstmaten dit geldt. 
Ook is er in stap 1 gekeken naar aantallen voorafgaand aan dupering. Voor medicijngebruik bij verslavingsproblematiek geldt dat de aantallen dusdanig laag zijn dat het trekken van betrouwbare statistische conclusies in het geding kan komen. Daarom wordt toekomstig onderzoek naar deze uitkomstmaat niet mogelijk geacht. 

Op basis van stap 1, en de voor deze haalbaarheidsstudie beschikbare tijd, kon voor de volgende uitkomstmaten - die betrekking hebben op gedupeerde ouders⁴⁶⁾ - in deze haalbaarheidsstudie worden bekeken in hoeverre het mogelijk is een geschikte smalle vergelijkingsgroep samen te stellen (stap 2):⁴⁷⁾

Financiën en werk:
1. Huishoudinkomen;
2. Werkuren;
3. Vermogen van het huishouden;
4. Wanbetaler van de zorgverzekering;
5. Verandering van woonsituatie;
6. Baanbeëindiging.

Psychologische problemen en zorg:
7. In de ziektewet raken;
8. Medicijngebruik bij psychiatrische aandoeningen en psychologische problemen (psychofarmaca);
9. Gemaakte GGZ-kosten.

Justitie en veiligheid:
10. Geregistreerd als verdachte van een misdrijf.

In stap 2 is op basis van relevante kenmerken voor de kans op dupering⁴⁸⁾ een smalle vergelijkingsgroep samengesteld. Dit is gedaan door middel van een statistische matchingstechniek, waarbij gedupeerden worden gekoppeld (gematcht) aan vergelijkbare niet-gedupeerden. Matching is een in de wetenschap veel gebruikte methode om, wanneer een klassiek experiment niet mogelijk is, toch te kunnen kijken naar mogelijke gevolgen (in dit geval van dupering). Er liggen echter wel bepaalde aannames ten grondslag aan deze techniek (Zie Paragraaf 3.3.2).

Bij het vergelijken van de verdelingen op relevante kenmerken tussen de gedupeerdengroep en de smalle vergelijkingsgroep, dus na matching, waren er geen significante verschillen meer zichtbaar tussen de groepen. Dit was ook het geval wanneer de groepen vergeleken werden op de tien uitkomstmaten, gemeten in het jaar voorafgaand aan dupering/selectie. Het is derhalve voor deze tien uitkomstmaten mogelijk om de groep gedupeerden te vergelijken met een vergelijkbare groep niet-gedupeerden na dupering/selectie.

Er is ook bekeken in hoeverre de aantallen na dupering/selectie groot genoeg zijn om betrouwbare statistische conclusies te kunnen trekken. Voor alle tien de geselecteerde uitkomstmaten zijn de aantallen na dupering/selectie voldoende groot om onderzoek te doen. Voor registratie als verdachte van een misdrijf kan er sprake zijn van lage aantallen wanneer wordt uitgesplitst naar type delict. Dit geldt ook voor bepaalde uitkomstmaten wanneer wordt uitgesplitst naar het al dan niet hebben van een partner⁴⁹⁾, naar het stempel Opzet/Grove Schuld (met name voor de groep die dit stempel heeft gekregen), en voor uitsplitsingen naar de hoogte van de terugvordering. Dit laatste is onder andere afhankelijk van hoe de hoogte van de terugvordering wordt geoperationaliseerd (in hoeveel categorieën hoogte terugvordering wordt opgesplitst).

Concluderend is het technisch mogelijk gebleken om met registerdata van het CBS en data over de gedupeerden van Uitvoeringsorganisatie Herstel Toeslagen (UHT), onderzoek te doen naar de volgende uitkomstmaten: huishoudinkomen, werkuren, vermogen van het huishouden, wanbetaler van de zorgverzekering, verandering van woonsituatie, baanbeëindiging, in de ziektewet raken, medicijngebruik bij psychiatrische aandoeningen en psychologische problemen (psychofarmaca), gemaakte GGZ-kosten, en geregistreerd als verdachte van een misdrijf.

In onderstaande tabel wordt een overzicht gegeven van de conclusies van deze haalbaarheidsstudie. De toelichting die bij de in onderstaande tabel genoemde uitkomstmaten hoort is weergegeven in Bijlage 5.⁵⁰⁾  

7.2 Methodologische aanbevelingen voor toekomstig onderzoek

Voor de uitkomstmaten die zijn afgevallen voor deze haalbaarheidsstudie omdat er naar verwachting geen eenduidig mechanisme speelt (zie kolom 2 van Tabel 7.1.1), beveelt het CBS aan om bij vervolgonderzoek deze uitkomstmaten goed theoretisch te onderbouwen. Zorg voor een juiste interpretatie van de resultaten en breng alle mogelijke mechanismen nauwkeurig in kaart. Een ander aantal uitkomstmaten is afgevallen voor deze haalbaarheidsstudie omdat er beperkingen zijn aan de data. Deze beperkingen zijn echter niet zwaarwegend genoeg om toekomstig onderzoek af te raden (zie ook kolom 2 van Tabel 7.1.1). Voor deze uitkomstmaten geldt de aanbeveling om in toekomstig onderzoek rekening te houden met deze beperkingen.

Tot slot heeft het CBS voor toekomstig onderzoek naar mogelijke gevolgen van de toeslagenaffaire een aantal algemene methodologische aanbevelingen:

• Om onderzoek te doen naar mogelijke gevolgen van dupering door de toeslagenaffaire is het noodzakelijk om een passend onderzoeksdesign te gebruiken. Wanneer men, zoals in het geval van de toeslagenaffaire, te maken heeft met observationele data, kan er geen sprake zijn van een experimenteel design. Een veelgebruikt alternatief is dan het matchen van een geschikte smalle vergelijkingsgroep (controlegroep). Hierbij moet worden opgemerkt dat causale uitspraken dan niet mogelijk zijn. Het is aan te raden een geschikte vergelijkingsgroep samen te stellen, waarmee de gedupeerdengroep vergeleken kan worden. Dit is belangrijk omdat bekend is dat dit een zeer specifieke groep betreft, die zich niet goed laat vergelijken met een bredere populatie (zoals alle KOT-ontvangers).
• Wanneer men in toekomstig onderzoek kiest voor het samenstellen van een smalle vergelijkingsgroep via matching, dan is het wellicht nodig om exact matching te combineren met propensity score matching om vergelijkbare groepen te krijgen. Dit is voornamelijk afhankelijk van de uitkomstmaten waarin naar toekomstig onderzoek wordt gekeken.
• Wanneer men in toekomstig onderzoek kiest voor het samenstellen van een smalle vergelijkingsgroep via matching, is het raadzaam om  verschillende typen matching uit te proberen (bijvoorbeeld nearest neighbor en caliper matching) met verschillende achtergrondkenmerken, om te bekijken of de inhoudelijke conclusies onveranderd blijven.
• Het CBS beveelt aan om bij toekomstig onderzoek ook de gehele groep gedupeerd bevonden ouders op te vragen bij Uitvoeringsorganisatie Herstel Toeslagen (UHT). Dit om te bekijken in hoeverre deze groep op relevante kenmerken vergelijkbaar is met de groep integraal beoordeelden. Dit is belangrijk omdat het iets zegt over de mate waarin conclusies van toekomstig uit te voeren onderzoek gegeneraliseerd kunnen worden naar de gehele bij UHT bekende populatie gedupeerden. Het CBS beveelt aan om de uiteindelijke analyses wel te beperken tot de groep integraal beoordeelden, zoals in deze haalbaarheidsstudie is gedaan. Alleen voor deze groep is immers betrouwbare informatie beschikbaar over het moment waarop de dupering is ontstaan. Om ouders die slachtoffer zijn geworden van de toeslagenaffaire na dupering te kunnen vergelijken met een vergelijkbare groep niet-gedupeerden is het moment van dupering cruciaal.
• Het is raadzaam om in toekomstige analyses ook informatie over het stempel Opzet/Grove Schuld (mee te nemen. Het is aannemelijk dat de groep gedupeerden die dit stempel heeft gekregen van de Belastingdienst de meeste nadelige gevolgen ondervindt. Dit kan bijvoorbeeld gedaan worden door een aparte controlegroep te matchen voor gedupeerden die het stempel Opzet/Grove Schuld wel hebben gekregen en een controlegroep voor gedupeerden die het stempel niet hebben gekregen. De gedupeerden met het stempel Opzet/Grove Schuld kunnen vervolgens ook worden vergeleken met de corresponderende controlegroep.
• Het is raadzaam om in toekomstig onderzoek ook de hoogte van de terugvordering te bekijken. Het is aannemelijk dat de groep gedupeerden met de hoogste terugvorderingen de meest nadelige gevolgen ondervindt. Daarnaast beveelt het CBS aan om bij toekomstig onderzoek ook data over de gehele groep integraal beoordeelden op te vragen bij UHT. In deze haalbaarheidsstudie is uitsluitend gekeken naar de aanvragers waarvoor de hoogte van de terugvordering bekend is. Het is raadzaam om te bekijken in hoeverre deze selecte groep representatief is voor de gehele integraal beoordeelde groep.
• Deze haalbaarheidsstudie is uitgevoerd op basis van data van UHT tot en met augustus 2023. Het aantal aanmeldingen en afgeronde integrale beoordelingen bij UHT kan nog stijgen. Het is daarom belangrijk om bij toekomstig onderzoek de meest recente gegevens op te vragen bij UHT. Een gevolg van deze stijgende aantallen kan ook zijn dat toekomstig onderzoek naar bepaalde minder vaak voorkomende uitkomsten (bijvoorbeeld verdachten van bepaalde type delicten, of gebruik van medicatie bij verslaving) haalbaarder blijkt dan op basis van deze haalbaarheidsstudie het geval is.
• Indien informatie over aanvragers en partners geaggregeerd wordt, is het belangrijk om rekening te houden met het feit dat er veranderingen kunnen optreden in bepaalde uitkomstmaten (zoals baanbeëindiging, in de ziektewet raken, wanbetaler zorgverzekering) doordat er een nieuwe partner in beeld komt. In deze haalbaarheidsstudie is dat gedaan door alleen te aggregeren wanneer er sprake is van een stabiele partner. Voor uitkomstmaten die op huishoudniveau zijn bepaald is dit echter niet mogelijk. Voor inkomen kan ervoor gekozen worden om de invloed van veranderde samenstelling van het huishouden zo klein mogelijk te houden door te kijken naar het gestandaardiseerde huishoudinkomen. Dit lost het probleem echter slechts gedeeltelijk op. Een alternatieve, meer nauwkeurige oplossing is om inkomen (of een andere uitkomstmaat op huishoudensniveau) op persoonsniveau te bekijken en om daarbij rekening te houden met veranderende partnerrelaties.
• In deze haalbaarheidsstudie is een periode van drie jaar na dupering bekeken om mogelijke gevolgen in kaart te brengen met het oog op haalbaarheid van toekomstig onderzoek. In de uitvoering van toekomstig onderzoek is het relevant om te bekijken in hoeverre mogelijke gevolgen op de langere termijn meegenomen kunnen worden. Hierbij is het raadzaam om rekening te houden met de start van compensatie uitbetalingen door UHT, zodat de uitkomsten in de gedupeerdengroep nog niet beïnvloed kunnen zijn door deze uitbetalingen.