Jaarlijkse Monitor Onderwijsachterstandenindicator, 2017-2022

Het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) heeft het onderwijsachterstandenbeleid voor het primair onderwijs en het gemeentelijke onderwijsachterstandenbeleid herzien. In het nieuwe beleid maakt zij gebruik van de onderwijsachterstandenindicator die het Centraal Bureau voor de Statistiek (CBS) eerder in opdracht van het ministerie heeft ontwikkeld.¹⁾ Met deze indicator wordt voor alle peuters van tweeëneenhalf tot vier jaar en alle basisschoolleerlingen een onderwijsscore berekend. Conform de Besluiten²⁾ worden deze onderwijsscores geaggregeerd tot achterstandsscores per school en per gemeente. Zij drukken de verwachte onderwijsachterstandsproblematiek op scholen en in gemeenten uit, op basis waarvan OCW het onderwijsachterstandenbudget over de scholen en gemeenten verdeelt.³⁾ In 2019 was dit beleid voor het eerst van kracht.

De hoogte van de onderwijsscore wordt bepaald door omgevingskenmerken van de peuters en leerlingen: het opleidingsniveau van de vader, opleidingsniveau van de moeder, verblijfsduur van de moeder in Nederland, land van herkomst van de ouders, of ouders in de Wet Schuldsanering Natuurlijke Personen (WSNP) zitten en het gemiddelde opleidingsniveau van moeders op school. Deze kenmerken zijn voor veel, maar niet voor alle leerlingen bekend. Afhankelijk van de informatie die wel bekend is, zijn de ontbrekende waardes op verschillende manieren geïmputeerd. Figuur 1.1.1 geeft een schematisch overzicht van de modelvariabelen van de onderwijsachterstandenindicator en hun bijdrage aan de onderwijsscore.

Bij de ontwikkeling van de indicator is gebruik gemaakt van twee typen toetsgegevens: de eindtoetsscores van de Centrale Eindtoets (CET; in het dagelijks taalgebruik wordt dit ook wel de Cito-toets genoemd) en de scores op de Niet Schoolse Cognitieve Capaciteiten Test (NSCCT) als maat voor intelligentie. De NSCCT-scores zijn verkregen uit het Cohort Onderzoek Onderwijs Loopbanen (COOL^5-18). De meest recente gegevens die daarbij zijn gebruikt, hebben betrekking op het schooljaar 2013/’14. In dat jaar namen de leerlingen uit groep 5 uit het COOL-cohort van 2010/’11 deel aan de eindtoets van de basisschool. Verder zijn ook de NSCCT-scores uit het COOL-cohort van 2007/’08 gebruikt. De ontwikkeling en de toepassing van de indicator komt steeds verder uit elkaar te liggen. Als gevolg hiervan is het mogelijk dat de samenstelling van de populatie waarop de indicator wordt toegepast verandert, wat gevolgen kan hebben voor de werking van de indicator.

Om de onderwijsachterstandenindicator actueel te houden, wil het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) de indicator periodiek evalueren. Hierdoor kunnen nieuwe ontwikkelingen mee worden genomen in de indicator. Als input voor deze periodieke evaluatie is het wenselijk om jaarlijks de werking van de indicator te monitoren. Daarnaast zijn de coëfficiënten en schaalwaarden die worden gebruikt om de onderwijsscores vast te stellen recent herijkt (zie: herijking onderwijsachterstanden­indicator primair onderwijs 2021). Figuur 1.1.2 geeft een schematisch overzicht van de modelvariabelen van de onderwijsachterstandenindicator en hun bijdrage aan de onderwijsscore in het herijkte model. Op meetmoment februari 2022 is dit herijkte model voor het eerst gebruikt om onderwijsscores te berekenen. Het is daarom interessant om te kijken of het patroon van relaties tussen onderwijsscores en achtergrondkenmerken in februari 2022 afwijkt van het patroon uit voorgaande meetmomenten. Dit rapport is de vierde jaarlijkse monitor die wordt gepubliceerd.⁴⁾

Dit rapport beschrijft de opzet en de uitkomsten van de vierde jaarlijkse monitor. In hoofdstuk 2 worden de gebruikte data en methoden uiteengezet. Hoofdstuk 3 behandelt de resultaten van de frequentieanalyses en hoofdstuk 4 beschrijft de resultaten van de correlatie en regressieanalyses. Het rapport wordt in hoofdstuk 5 afgesloten met een samenvatting en conclusies.

1.1.1 Modelvariabelen en de mate waarin deze bijdragen aan de onderwijsscore in het originele model

2.1 Selectie en afbakening onderzoeksdata

Voor het uitvoeren van deze jaarlijkse monitor is een onderzoeksbestand samengesteld met daarin de gegevens van de kinderen die in de schooljaren 2016/’17 tot en met 2021/’22 aan de eindtoets van de basisschool hebben deelgenomen (zie tabel 2.1.1 voor het aantal kinderen naar eindtoetsaanbieder en schooljaar).⁵⁾ Voor de kinderen uit schooljaar 2021/’22 zijn zowel de onderwijsscores zoals berekend op de oude manier, als de onderwijsscores volgens het herijkte model gebruikt. Deze zijn respectievelijk terug te lezen in dit rapport als “2021/’22, okt” en “ 2021/’22 feb”. Van alle kinderen zijn de gegevens, zoals die in de analysebestanden van de onderwijsachterstandenindicator zijn opgeslagen, gekoppeld aan de eindtoetsgegevens uit het Stelsel van Sociaal-statistische Bestanden (SSB) van het CBS. De eindtoetsgegevens bestaan uit de eindtoetsscore, de aanbieder van de eindtoets en het uit de eindtoets voortvloeiende eindtoetsadvies. De keuze voor de eindtoetsscore is noodzakelijk omdat deze variabele is gebruikt als afhankelijke variabele bij de ontwikkeling van de indicator.

De onderwijsachterstandenindicator is oorspronkelijk ontwikkeld met behulp van de CET. Sinds de ontwikkeling van de onderwijsachterstandenindicator is het aandeel van deze eindtoets sterk gedaald. Om die reden is de variabele waarin de aanbieder van de eindtoets is vastgelegd, meegenomen in het onderzoeksbestand. Hierdoor kan ook worden bekeken hoe goed de indicator werkt voor leerlingen van scholen die een andere eindtoets gebruiken dan degene waar de indicator mee is ontwikkeld.

Omdat in principe verwacht mag worden dat de eindtoets, ongeacht de aanbieder, tot een vergelijkbaar advies voor het te volgen voortgezet onderwijs komt, is ook het eindtoetsadvies opgenomen in het onderzoeksbestand. Hierdoor wordt het ook mogelijk om de uitkomsten van de eindtoets over de gehele onderzoekspopulatie te vergelijken; ongeacht aan welke eindtoets de basisschoolleerlingen hebben deelgenomen.

De kinderen in de onderzoekspopulatie die voorkomen in de registraties van het COA en de IND, zijn uitgesloten van de analyses. De reden hiervoor is dat deze kinderen – ongeacht hun achtergrondkenmerken – allen dezelfde onderwijsscore krijgen toegewezen.⁶⁾ Doordat er voor deze kinderen geen verband is tussen hun achtergrondkenmerken en hun onderwijsscore, zou het opnemen van deze kinderen tot vertekening leiden van de uitkomsten van de analyses.

2.2 Gebruikte methoden

Om de werking van de onderwijsachterstandenindicator te kunnen monitoren, maken we gebruik van een drietal analyses: frequentieanalyses, correlatieanalyses en regressieanalyses. 

Bij de frequentieanalyses bekijken we in hoeverre de frequentieverdelingen over de jaren heen dezelfde patronen blijven volgen. Hiertoe splitsen we de frequentieverdelingen uit naar doelvariabelen (eindtoetsadvies en aanbieder eindtoets), de modelvariabelen die worden gebruikt bij de berekening van onderwijsscores en de soort imputatie (imputatie opleidingsniveau ouders en directe imputatie onderwijsscore). Bij de uitsplitsing naar de doelvariabelen kijken we alleen naar de drie grootste aanbieders van de eindtoets: CET, IEP en ROUTE 8. Vanwege de lage aantallen deelnemers nemen we DIA, AMN en Cesan niet mee in de analyses. We kijken bij deze analyse naar de frequentiedichtheid omdat dit een relatieve maatstaf is. Hierdoor kunnen we groepen van verschillende grootte makkelijker met elkaar vergelijken. 

Om het verband tussen de onderwijsscore en de eindtoetsscore te onderzoeken, voeren we een correlatieanalyse uit. Om een beeld te krijgen van de samenhang tussen de onderwijsscore en de eindtoetsscore kijken we naar de correlatiecoëfficiënt (r). In aanvulling op de correlatieanalyse onderzoeken we met behulp van regressieanalyse welk deel van de variantie in de eindtoetsscore met de onderwijsscore kan worden verklaard. Hierbij kijken wij alleen naar de leerlingen die de CET als eindtoets hebben gemaakt omdat de onderwijsachterstandenindicator hiermee is ontwikkeld. 

Bij de regressieanalyse maken we gebruik van een stapsgewijze aanpak. Vanuit een startmodel, met alleen de onderwijsscore als onafhankelijke variabele (ook wel voorspeller genoemd) en de eindtoetsscore als afhankelijke variabele, kijken we in hoeverre het toevoegen van variabelen met betrekking tot de beschikbaarheid van gegevens tot een beter model leidt. Daarvoor hebben we een drietal deelpopulatievariabelen gedefinieerd. Deelpopulatie 1 geeft aan in hoeverre het opleidingsniveau van de ouders bekend is. De verschillende categorieën voor deze variabele zijn weergegeven in tabel 2.2.1. Deelpopulatie 2 is een dichotome variabele die aangeeft of de onderwijsscore direct is berekend of is geïmputeerd. Deelpopulatie 3 is een combinatie van deelpopulatie 1 en deelpopulatie 2. De verschillende categorieën voor deze variabele zijn weergegeven in tabel 2.2.2. 

Om te beoordelen of het toevoegen van een variabele tot een beter model leidt voor wat betreft de verklaarde variantie, kijken we naar de aangepaste R². Deze maat van verklaarde variantie corrigeert voor het aantal voorspellers dat gebruikt wordt in een regressiemodel. Daarnaast kijken we naar het Akaike Information Criterium (AIC) voor extra zekerheid. Deze maatstaf corrigeert ook voor het aantal parameters in een model, en is een uitdrukking van de hoeveelheid misfit tussen het model en de data. In andere woorden: AIC drukt uit in welke mate het model de data goed beschrijft. Een lagere AIC is beter.

In dit hoofdstuk bekijken we de frequentiedichtheid van de onderwijsscores uitgesplitst naar eindtoetsadvies en eindtoetsaanbieder en de verschillende modelvariabelen van de onderwijsachterstandenindicator. Daarnaast beoordelen we de frequentiedichtheid van de onderwijsscores naar de verschillende methoden van imputatie. 

3.1 Onderwijsscores per schooljaar naar eindtoetsadvies en eindtoetsaanbieder

De figuren 3.1.1 tot en met 3.1.15 geven de frequentiedichtheid weer van de onderwijsscores per eindtoetsadvies en eindtoetsaanbieder uitgesplitst naar schooljaar. Vanaf het schooljaar 2018/’19 hanteert elke eindtoets dezelfde indeling van mogelijke toetsadviezen. Met uitzondering van het vwo-advies betreft dit altijd gecombineerde adviezen. In dit hoofdstuk beschouwen we enkel toetsadviezen die in de sinds het schooljaar 2018/’19 gebruikte indeling zijn opgenomen, zodat we voor deze toetsadviezen de frequentiedichtheden tussen jaren met elkaar kunnen vergelijken.⁷⁾ Door het verschil in indeling van toetsadviezen vóór het schooljaar 2018/’19 ten opzichte van die daarna, is de vergelijking van frequentiedichtheden voor toetsadviezen tussen deze perioden niet zuiver. Daardoor zijn de figuren voor toetsadviezen vóór 2018/’19 op veel minder onderwijsscores gebaseerd dan die daarna. 

De verwachting is dat kinderen met een lagere onderwijsscore gemiddeld een lager eindtoetsadvies hebben en dat kinderen met een hogere onderwijsscore gemiddeld een hoger eindtoetsadvies hebben. Daarnaast is de verwachting dat de verdeling stabiel is over de schooljaren en de verschillende type eindtoetsaanbieders heen.

De figuren 3.1.1 tot en met 3.1.15 laten zien dat de piek in de frequentiedichtheid stapsgewijs verschuift van links naar rechts met het stijgen van het eindtoetsadvies. Verder zien we dat het beeld ook stabiel is over de verschillende schooljaren. Dit is conform de verwachting. Wel lijkt er bij het vwo toetsadvies over de jaren heen een steeds grotere dichtheid rond een onderwijsscore van 538 te vallen. Daarnaast kunnen we uit deze figuren aflezen dat de frequentiedichtheden voor de drie grootste toetsaanbieders een vergelijkbaar beeld laten zien.