Jeugdbescherming en de toeslagenaffaire

5. Samenstellen smalle vergelijkingsgroep

5.1. Inleiding matching

Methodologisch gezien is de ideale manier om een causale relatie vast te stellen (zoals in dit geval tussen gedupeerdheid en kinderbeschermingsmaatregelen) een klassiek experiment. Dit betekent dat personen random (op basis van toeval) toegewezen worden aan een experimentele groep (in dit geval de gedupeerden) of aan een controlegroep (in dit geval de niet-gedupeerden). Het idee hierachter is dat verschillen op de afhankelijke variabele (in dit geval kinderbeschermingsmaatregelen) tussen de groepen dan enkel door de interventie komen (in dit geval door gedupeerdheid) en niet door eventuele andere verschillen tussen de groepen.

In dit geval zou dat betekenen dat je mensen op basis van toeval wel of geen slachtoffer had laten worden van de toeslagenaffaire. Dit is natuurlijk niet in lijn met de praktijk. Bekend is dat er door de Belastingdienst/Toeslagen bepaalde kenmerken gebruikt zijn in het risicoselectiemodel tijdens de toeslagenaffaire. In het vorige hoofdstuk is beschreven hoe de gedupeerden verschillen van niet-gedupeerden. Zo hebben gedupeerden vaker een lager huishoudinkomen. Zoals in het vorige hoofdstuk te zien is, hangen dergelijke kenmerken ook samen met de kans op het opgelegd krijgen van kinderbeschermingsmaatregelen in het gezin. Om te kunnen achterhalen of de toeslagenaffaire een rol heeft gespeeld bij de kans op het opgelegd krijgen van kinderbeschermingsmaatregelen (dus of kinderbescherming disproportioneel vaak voorkomt bij gedupeerden van de toeslagenaffaire) is het daarom niet zinvol om de gedupeerden te vergelijken met alle niet-gedupeerden. Je wilt de gedupeerden vergelijken met vergelijkbare niet-gedupeerden. Enkel dan zijn er zinvolle conclusies te trekken over de vraag of kinderbeschermingsmaatregelen disproportioneel vaak voorkomen bij kinderen van gedupeerden van de toeslagenaffaire.

Een veel gebruikte manier om groepen met elkaar te vergelijken als een klassiek experiment niet mogelijk is, is matching (Rosenbaum & Rubin, 1983). Door middel van deze techniek selecteer je niet-gedupeerden die lijken op de gedupeerden. Met andere woorden, je stelt een controlegroep samen van niet-gedupeerden die op relevante kenmerken vergelijkbaar zijn met de gedupeerden. Op die manier is het toch mogelijk om een kwantitatieve uitspraak te doen over of kinderbeschermingsmaatregelen disproportioneel voorkomen bij gedupeerden van de toeslagenaffaire. Deze controlegroep wordt in dit onderzoek de smalle vergelijkingsgroep genoemd (in tegenstelling tot de brede vergelijkingsgroep waar alle niet-gedupeerden in zitten). Meer informatie over deze techniek is onder andere te vinden in Caliendo & Kopeinig (2008).

5.2. Matching in dit onderzoek

5.2.1 Selectie kenmerken

Om door middel van matching een goede smalle vergelijkingsgroep samen te stellen is het belangrijk dat naar de juiste kenmerken gekeken wordt. Hier zijn meerdere voorwaarden aan verbonden. Zo is het belangrijk dat gekeken wordt naar de kenmerken voor dupering/selectie. Met andere woorden, de beide groepen (de gedupeerden en de smalle vergelijkingsgroep) moeten vergelijkbaar zijn wat betreft kenmerken voor dupering/selectie. Het uiteindelijke doel is namelijk om uitspraken te kunnen doen over of de toeslagenaffaire een rol heeft gespeeld (bij de kans op het opgelegd krijgen van kinderbeschermingsmaatregelen) en om dit te kunnen doen moeten beide groepen vergelijkbaar zijn op kenmerken waar de toeslagenaffaire (nog) geen invloed op heeft gehad. Dit is ook de reden dat in het vorige hoofdstuk gekeken is naar kenmerken in het jaar voor dupering/selectie. Daarnaast is het belangrijk dat naar kenmerken gekeken wordt die zowel samenhangen met de kans op gedupeerdheid als met de kans op het opgelegd krijgen van een kinderbeschermingsmaatregel. Enkel deze kenmerken zijn relevant bij het opstellen van een goede smalle vergelijkingsgroep (zie ook vorig hoofdstuk). Verder is het belangrijk dat alle kenmerken die potentieel relevant zijn meegenomen worden in het onderzoek. Als kenmerken die belangrijk zijn voor de kans op gedupeerdheid én de kans op het opgelegd krijgen van kinderbeschermingsmaatregelen niet meegenomen worden, kan een minder goede smalle vergelijkingsgroep opgesteld worden.31)

In het vorige hoofdstuk is beschreven welke kenmerken (in het multivariate logistische regressiemodel) het meest sterk samenhangen met gedupeerdheid en welke met de kans op het opgelegd krijgen van een kinderbeschermingsmaatregelen. Op basis van deze inzichten zijn de kenmerken geselecteerd die meegenomen worden in de matching om een geschikte smalle vergelijkingsgroep op te stellen. Meer specifiek worden in dit onderzoek onderstaande kenmerken meegenomen om een geschikte smalle vergelijkingsgroep op te kunnen stellen. Wat betreft demografische kenmerken wordt gekeken naar herkomst en leeftijd bij geboorte eerste kind. Wat betreft huishoudenssituatie naar huishoudtype, aanvraag kinderopvangtoeslag voor een niet-juridisch kind en naar het aantal jaar dat kinderopvangtoeslag is aangevraagd. Wat betreft sociaaleconomische positie worden huishoudinkomen, opleiding van de aanvrager en de aanwezigheid van wanbetalers van de zorgverzekering in het huishouden meegenomen. Tot slot worden GGZ-gebruik in het huishouden en de aanwezigheid van verdachten van misdrijven in het huishouden meegenomen in het model om de matchingsgroep samen te stellen. In de volgende tabel staat het model weergegeven.

Tabel 5.2.1. Gebruikte logistische regressiemodel voor matching (y = dupering)
Bs.e.Significant (p< 0,05)Odds ratio
Intercept-6,950,07Ja
Herkomstland
toeslagaanvrager
Nederland
referentiegroep
Herkomstland
toeslagaanvrager
Europa
(exclusief
Nederland)
0,640,07Ja1,90
Herkomstland
toeslagaanvrager
Turkije2,190,06Ja8,92
Herkomstland
toeslagaanvrager
Marokko1,760,07Ja5,82
Herkomstland
toeslagaanvrager
Suriname2,020,05Ja7,52
Herkomstland
toeslagaanvrager
Nederlandse
Cariben
1,790,06Ja5,99
Herkomstland
toeslagaanvrager
Overig
Buiten-Europa
1,060,05Ja2,89
Leeftijd bij
geboorte
eerste kind
Jonger dan
25 jaar
0,670,04Ja1,95
Leeftijd bij
geboorte
eerste kind
Tussen de
25 en 35 jaar
referentiegroep
Leeftijd bij
geboorte
eerste kind
Tussen de
35 en 55 jaar
-0,320,07Ja0,72
Leeftijd bij
geboorte
eerste kind
Aanvrager
heeft geen
juridisch kind
-0,930,59Nee0,40
Leeftijd bij
geboorte
eerste kind
Onbekend
HuishoudtypePaar met
kinderen
referentiegroep
HuishoudtypeEenouder-
huishouden
0,420,04Ja1,52
HuishoudtypeOverig of
onbekend
huishouden
-0,190,10Nee0,82
Aanvraag voor
niet-juridisch kind
Ja0,600,15Ja1,81
Aanvraag voor
niet-juridisch kind
Nee
referentiegroep
Aantal jaar
aanvraag
kinderopvangtoeslag
1 referentiegroep
Aantal jaar
aanvraag
kinderopvangtoeslag
20,590,05Ja1,80
Aantal jaar
aanvraag
kinderopvangtoeslag
31,160,05Ja3,18
Aantal jaar
aanvraag
kinderopvangtoeslag
41,390,06Ja4,03
Aantal jaar
aanvraag
kinderopvangtoeslag
51,430,06Ja4,16
Aantal jaar
aanvraag
kinderopvangtoeslag
61,100,06Ja3,00
Hoogste
opleidingsniveau
aanvrager
Laag
referentiegroep
Hoogste
opleidingsniveau
aanvrager
Middelbaar-0,020,04Nee0,98
Hoogste
opleidingsniveau
aanvrager
Hoog-0,500,06Ja0,61
Hoogste
opleidingsniveau
aanvrager
Onbekend-0,300,05Ja0,74
Inkomen
van het
huishouden
Laagste
20 procent
referentiegroep
Inkomen
van het
huishouden
Tweede
20 procent
-0,200,04Ja0,82
Inkomen
van het
huishouden
Derde
20 procent
-0,510,05Ja0,60
Inkomen
van het
huishouden
Vierde
20 procent
-0,930,07Ja0,39
Inkomen
van het
huishouden
Hoogste
20 procent
-1,350,09Ja0,26
Inkomen
van het
huishouden
Onbekend-0,230,13Nee0,79
Wanbetaler
zorgverzekeringswet
Ja1,270,04Ja3,56
Wanbetaler
zorgverzekeringswet
Nee
referentiegroep
GGZ-gebruik
in huishouden
Ja0,090,04Ja1,09
GGZ-gebruik
in huishouden
Nee
referentiegroep
Registratie
als verdachte
in huishouden
Ja 0,360,04Ja1,44
Registratie
als verdachte
in huishouden
Nee
referentiegroep
MacFadden R20,20

5.2.2. Methode matching

Er zijn meerdere manieren waarop deze kenmerken gebruikt kunnen worden om een geschikte smalle vergelijkingsgroep op te kunnen stellen. Eén manier om dit te doen is door middel van exact matching. Dit betekent dat je iemand selecteert uit de brede vergelijkingsgroep voor de smalle vergelijkingsgroep die exact hetzelfde kenmerk heeft als een gedupeerde. Zo zijn er bijvoorbeeld relatief veel gedupeerden met een Surinaamse herkomst. Bij exact matching zorg je ervoor dat je voor elke gedupeerde met een Surinaamse herkomst ook een niet-gedupeerde selecteert met een Surinaamse herkomst. Een andere manier om de kenmerken mee te nemen is door middel van propensity score matching. De propensity score van een aanvrager geeft de kans weer om gedupeerd te raken gegeven zijn/haar kenmerken. Er zijn vervolgens ook weer verschillende methodes om op basis van de propensity scores een niet-gedupeerde te selecteren voor elke gedupeerde. Een veel gebruikte methode is nearest neighbour matching. Dit houdt in dat uit de brede vergelijkingsgroep de persoon wordt geselecteerd waarvan de propensity score zo dicht mogelijk ligt bij de propensity score van de gedupeerde. Met andere woorden, per gedupeerde wordt iemand uit de brede vergelijkingsgroep geselecteerd die zo veel mogelijk dezelfde kans heeft om gedupeerd te raken (maar dat niet is) gegeven de kenmerken waar naar gekeken wordt. Een nadeel van nearest neighbour matching is dat de persoon met de dichtstbijzijnde propensity score, alsnog een persoon kan zijn die niet echt lijkt op de gedupeerde. Deze persoon heeft namelijk wel de dichtstbijzijnde propensity score, maar het verschil tussen beide scores kan vrij groot zijn. Een manier om hier mee om te gaan is caliper matching. Met deze techniek bepaal je vooraf hoe groot het verschil tussen de propensity scores mag zijn tussen de gedupeerde en een persoon uit de brede vergelijkingsgroep om deze persoon te selecteren voor de smalle vergelijkingsgroep. Wederom wordt de persoon gekozen met de propensity score het dichtst bij de score van de gedupeerde. Een voordeel van deze methode is dat het betere matches kan opleveren. Een nadeel van deze methode is dat mogelijk minder matches gevonden kunnen worden. Het kan namelijk voorkomen dat er voor een gedupeerde niemand te vinden is in de brede vergelijkingsgroep die een propensity score heeft die voldoende dicht bij de propensity score van de gedupeerde ligt om deze persoon te selecteren voor de smalle vergelijkingsgroep. Dit zou betekenen dat deze gedupeerde niet meegenomen kan worden in verdere analyses (om te onderzoeken of kinderbeschermingsmaatregelen disproportioneel voorkomen bij gedupeerden van de toeslagenaffaire).

In bovenstaande voorbeelden is steeds uitgegaan van de situatie waarin je per gedupeerde één persoon selecteert voor de smalle vergelijkingsgroep. Het is echter ook mogelijk om per gedupeerde meerdere vergelijkbare personen te selecteren voor de smalle vergelijkingsgroep. Bijvoorbeeld dat je per Surinaamse gedupeerde meerdere Surinaamse niet-gedupeerden selecteert (in het geval van exact matching) of dat je meerdere personen selecteert die dezelfde propensity score hebben als de gedupeerde (in het geval van nearest neighbour matching) of dat je meerdere personen selecteert die in het interval zitten dat je vastgesteld hebt als maximale afstand tussen de propensity scores (in het geval van caliper matching, dit wordt dan radius matching genoemd). Het is tot slot ook mogelijk om bovenstaande technieken te combineren (bijvoorbeeld exact matchen op een aantal variabelen en op andere variabelen propensity scores gebruiken om te matchen). Kortom, er zijn meerdere methodes om door middel van matching een smalle vergelijkingsgroep samen te stellen uit de brede vergelijkingsgroep.32)

 Omdat alle methodes voor- en nadelen hebben zijn in dit onderzoek meerdere (combinaties van) methodes verkend. In onderstaande tabel staan de methodes weergegeven die in dit onderzoek verkend zijn. Vanwege het belang van herkomst voor dupering (zowel statistisch als theoretisch) wordt voor dit kenmerk exact matching toegepast. Dit geldt ook voor het aantal kinderen in het huishouden. Dit kenmerk is niet meegenomen in bovenstaande model om de propensity scores te berekenen omdat het te sterk samenhangt met andere kenmerken (er is sprake van multicollineariteit met bijvoorbeeld type huishouden). Gezien het belang van dit kenmerk wordt dit op deze manier wel meegenomen (dit is dus het elfde kenmerk dat meegenomen wordt in de matching naast de 10 kenmerken zoals hierboven weergegeven). Tot slot worden de analyses per cohortjaar afzonderlijk uitgevoerd. Dit omdat de samenhang tussen de kenmerken en gedupeerdheid kan veranderen door de tijd heen, omdat het terugvorderingsbeleid van de Belastingdienst/Toeslagen over de tijd heen aanpassingen heeft gekend (zie bijvoorbeeld hoofdstuk 2).

Tabel 5.2.2. Overzicht gebruikte matchingsmethoden
Model1 of meerdere personen selecteren per gedupeerdeMatchingsmethode
11Exact op herkomst + aantal kinderen + cohortjaar nearest neighbour
21Exact op herkomst + aantal kinderen + cohortjaar caliper
3MeerdereExact op herkomst + aantal kinderen + cohortjaar nearest neighbour
4MeerdereExact op herkomst + aantal kinderen + cohortjaar radius

5.3. Resultaten matching

Het eerste model (één op één matching met nearest neighbour) is in dit onderzoek uiteindelijk gebruikt om de smalle vergelijkingsgroep samen te stellen. De reden hiervoor is dat via deze methode voor alle gedupeerden een geschikte match gevonden kon worden én dat voor alle kenmerken die in het model opgenomen zijn er geen significante verschillen meer waren tussen de gedupeerden en de niet-gedupeerden in de smalle vergelijkingsgroep. Dit geldt ook voor alle cohortjaren afzonderlijk.

Ter illustratie staan hieronder voor herkomst (meest bepalend voor dupering), voor type huishouden (bepalend voor kinderbeschermingsmaatregelen) en voor huishoudinkomen (voor beiden belangrijk) de verschillen tussen de groepen weergegeven.33)  Zoals in onderstaande figuren te zien is, zijn er duidelijke verschillen op deze kenmerken tussen de gedupeerden en de brede vergelijkingsgroep (zie ook vorige hoofdstuk), maar zijn er geen significante verschillen tussen de groep gedupeerden en de smalle vergelijkingsgroep. Dit geldt voor alle kenmerken die meegenomen zijn in het matchingsproces. Met andere woorden, door middel van matching is een smalle vergelijkingsgroep geselecteerd uit de brede vergelijkingsgroep die op belangrijke kenmerken vergelijkbaar is met de gedupeerden.

5.3.1. Verschillen tussen de drie groepen wat betreft herkomst
Category","Nederland","Europa (exclusief Nederland)","Turkije","Marokko","Suriname","Overig Buiten-Europa","Nederlandse Cariben Brede vergelijkingsgroep","78","6","2","2","3","8","1 Smalle vergelijkingsgroep","29","6","10","7","21","16","11 Gedupeerden","29","6","10","7","21","16","11Nederland (%)Europa (exclusief Nederland) (%)Turkije (%)Marokko (%)Suriname (%)Overig Buiten-Europa (%)Nederlandse Cariben (%)
Brede vergelijkingsgroep78622381
Smalle vergelijkingsgroep296107211611
Gedupeerden296107211611
Bron: CBS,

5.3.2. Verschillen tussen de drie groepen wat betreft huishoudinkomen
Category","Laagste 20 procent","Tweede 20 procent","Derde 20 procent","Vierde 20 procent","Hoogste 20 procent","Onbekend Brede vergelijkingsgroep","11","14","23","25","26","1 Smalle vergelijkingsgroep","46","25","16","8","4","2 Gedupeerden","44","24","17","9","4","2Laagste 20 procent (%)Tweede 20 procent (%)Derde 20 procent (%)Vierde 20 procent (%)Hoogste 20 procent (%)Onbekend (%)
Brede vergelijkingsgroep11142325261
Smalle vergelijkingsgroep462516842
Gedupeerden442417942
Bron: CBS,

5.3.3. Verschillen tussen de drie groepen wat betreft type huishouden
Category","Paar met kinderen","Eenouderhuishouden","Overige huishoudens Brede vergelijkingsgroep","79","14","7 Smalle vergelijkingsgroep","50","48","2 Gedupeerden","50","48","3Paar met kinderen (%)Eenouderhuishouden (%)Overige huishoudens (%)
Brede vergelijkingsgroep79147
Smalle vergelijkingsgroep50482
Gedupeerden50483
Bron: CBS,

31)Zoals in het vorige hoofdstuk getoond is, is het op basis van de beschikbare data mogelijk om de kans op gedupeerdheid en op het opgelegd krijgen van kinderbeschermingsmaatregelen redelijk goed te voorspellen (MacFadden R2 > 0,2).
32)Voor meer informatie over deze matchingsmethode (en overige matchingsmethodes die niet gebruikt worden in dit onderzoek) zie Caliendo & Kopeinig, 2008. In dit onderzoek wordt logistische regressie gebruikt als schattingsmethode. Dit is een veel gebruikte methode en bij dichotome variabelen vaak ook toereikend. Verder wordt zonder terugleggen geselecteerd. Dit omdat de brede vergelijkingsgroep groot genoeg is om zonder terugleggen geschikte matches te vinden.
33)Voor alle kenmerken is de standardized mean difference bestudeerd. Er zijn ook andere checks uitgevoerd om de kwaliteit van de matching(sgroep) te beoordelen. Zo zijn de common support figuren bestudeerd voor de verschillende methodes.