Jaarlijkse Monitor Onderwijsachterstandenindicator, 2017-2021

Het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) heeft het onderwijsachterstandenbeleid voor het primair onderwijs en het gemeentelijke onderwijsachterstandenbeleid herzien. In het nieuwe beleid maakt zij gebruik van de onderwijsachterstandenindicator die het Centraal Bureau voor de Statistiek (CBS) eerder in opdracht van het ministerie heeft ontwikkeld¹⁾. Met deze indicator wordt voor alle peuters van tweeëneenhalf tot vier jaar en alle basisschoolleerlingen een onderwijsscore berekend. Conform de Besluiten²⁾ worden deze onderwijsscores geaggregeerd tot achterstandsscores per school en per gemeente. Zij drukken de verwachte onderwijsachterstandsproblematiek op scholen en in gemeenten uit, op basis waarvan OCW het onderwijsachterstandenbudget over de scholen en gemeenten verdeelt³⁾. In 2019 was dit beleid voor het eerst van kracht.

De hoogte van de onderwijsscore wordt bepaald door omgevingskenmerken van de peuters en leerlingen: het opleidingsniveau van de vader, opleidingsniveau van de moeder, verblijfsduur van de moeder in Nederland, land van herkomst van de ouders, of ouders in de Wet Schuldsanering Natuurlijke Personen (WSNP) zitten en het gemiddelde opleidingsniveau van moeders op school. Deze kenmerken zijn voor veel, maar niet voor alle leerlingen bekend. Afhankelijk van de informatie die wel bekend is, zijn de ontbrekende waardes op verschillende manieren geïmputeerd. Figuur 1.1.1 geeft een schematisch overzicht van de modelvariabelen van de onderwijsachterstandenindicator en hun bijdrage aan de onderwijsscore.

Bij de ontwikkeling van de indicator is gebruik gemaakt van twee typen toetsgegevens: de eindtoetsscores van de Centrale Eindtoets (CET; in het dagelijks taalgebruik wordt dit ook wel de Cito-toets genoemd) en de scores op de Niet Schoolse Cognitieve Capaciteiten Test (NSCCT) als maat voor intelligentie. De NSCCT-scores zijn verkregen uit het Cohort Onderzoek Onderwijs Loopbanen (COOL5-18). De meest recente gegevens die daarbij zijn gebruikt, hebben betrekking op het schooljaar 2013/’14. In dat jaar namen de leerlingen uit groep 5 uit het COOL-cohort van 2010/’11 deel aan de eindtoets van de basisschool. Verder zijn ook  de NSCCT-scores uit het COOL-cohort van 2007/’08 gebruikt. De ontwikkeling en de toepassing van de indicator komt steeds verder uit elkaar te liggen. Als gevolg hiervan is het mogelijk dat de samenstelling van de populatie waarop de indicator wordt toegepast verandert, wat gevolgen kan hebben voor de werking van de indicator.

Om de onderwijsachterstandenindicator actueel te houden, wil het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) de indicator periodiek evalueren. Hierdoor kunnen nieuwe ontwikkelingen mee worden genomen in de indicator. Als input voor deze periodieke evaluatie is het wenselijk om jaarlijks de werking van de indicator te monitoren. Dit rapport is de derde jaarlijkse monitor die wordt gepubliceerd⁴⁾.

Dit rapport beschrijft de opzet en de uitkomsten van de eerste jaarlijkse monitor. In paragraaf 2 worden de gebruikte data en methoden uiteengezet. Paragraaf 3 behandelt de resultaten van de frequentieanalyses en paragraaf 4 beschrijft de resultaten van de correlatie en regressieanalyses. Het rapport wordt in paragraaf 5 afgesloten met een samenvatting en conclusies.

2.1 Selectie en afbakening onderzoeksdata

Voor het uitvoeren van deze jaarlijkse monitor is een onderzoeksbestand samengesteld met daarin de gegevens van de kinderen die in de schooljaren 2016/’17 tot en met 2020/’21 aan de eindtoets van de basisschool hebben deelgenomen (zie tabel 2.1.1 voor het aantal kinderen naar eindtoetsaanbieder en schooljaar)⁵⁾. Van deze kinderen zijn de gegevens, zoals die in de analysebestanden van de onderwijsachterstandenindicator zijn opgeslagen, gekoppeld aan de eindtoetsgegevens uit het Stelsel van Sociaal-statistische Bestanden (SSB) van het CBS. De eindtoetsgegevens bestaan uit de eindtoetsscore, de aanbieder van de eindtoets en het uit de eindtoets voortvloeiende eindtoetsadvies. De keuze voor de eindtoetsscore is noodzakelijk omdat deze variabele is gebruikt als afhankelijke variabele bij de ontwikkeling van de indicator.

De onderwijsachterstandenindicator is oorspronkelijk ontwikkeld met behulp van de CET. Sinds de ontwikkeling van de onderwijsachterstandenindicator is het aandeel van deze eindtoets sterk gedaald. Om die reden is de variabele waarin de aanbieder van de eindtoets is vastgelegd, meegenomen in het onderzoeksbestand. Hierdoor kan ook worden bekeken hoe goed de indicator werkt voor leerlingen van scholen die een andere eindtoets gebruiken dan degene waar de indicator mee is ontwikkeld.

Omdat in principe verwacht mag worden dat de eindtoets, ongeacht de aanbieder, tot een vergelijkbaar advies voor het te volgen voortgezet onderwijs komt, is ook het eindtoetsadvies opgenomen in het onderzoeksbestand. Hierdoor wordt het ook mogelijk om de uitkomsten van de eindtoets over de gehele onderzoekspopulatie te vergelijken; ongeacht aan welke eindtoets de basisschoolleerlingen hebben deelgenomen.

De kinderen in de onderzoekspopulatie die voorkomen in de registraties van het COA en de IND, zijn uitgesloten van de analyses. De reden hiervoor is dat deze kinderen – ongeacht hun achtergrondkenmerken – allen dezelfde onderwijsscore krijgen toegewezen⁶⁾. Doordat er voor deze kinderen geen verband is tussen hun achtergrondkenmerken en hun onderwijsscore, zou het opnemen van deze kinderen tot vertekening leiden van de uitkomsten van de analyses.

2.2 Gebruikte methoden

Om de werking van de onderwijsachterstandenindicator te kunnen monitoren, maken we gebruik van een drietal analyses: frequentieanalyses, correlatieanalyses en regressieanalyses.

Bij de frequentieanalyses bekijken we in hoeverre de frequentieverdelingen over de jaren heen dezelfde patronen blijven volgen. Hiertoe splitsen we de frequentieverdelingen uit naar doelvariabelen (eindtoetsadvies en aanbieder eindtoets), de modelvariabelen die worden gebruikt bij de berekening van onderwijsscores en de soort imputatie (imputatie opleidingsniveau ouders en directe imputatie onderwijsscore). Bij de uitsplitsing naar de doelvariabelen kijken we alleen naar de drie grootste aanbieders van de eindtoets: CET, IEP en ROUTE 8. Vanwege de lage aantallen deelnemers nemen we DIA, AMN en Cesan niet mee in de analyses. We kijken bij deze analyse naar de frequentiedichtheid omdat dit een relatieve maatstaf is. Hierdoor kunnen we groepen van verschillende grootte makkelijker met elkaar vergelijken.

Om het verband tussen de onderwijsscore en de eindtoetsscore te onderzoeken, voeren we een correlatieanalyse uit. Om een beeld te krijgen van de samenhang tussen de onderwijsscore en de eindtoetsscore kijken we naar de correlatiecoëfficiënt (r). In aanvulling op de correlatieanalyse onderzoeken we met behulp van regressieanalyse welk deel van de variantie in de eindtoetsscore met de onderwijsscore kan worden verklaard. Hierbij kijken wij alleen naar de leerlingen die de CET als eindtoets hebben gemaakt omdat de onderwijsachterstandenindicator hiermee is ontwikkeld.

Bij de regressieanalyse maken we gebruik van een stapsgewijze aanpak. Vanuit een startmodel, met alleen de onderwijsscore als onafhankelijke variabele (ook wel voorspeller genoemd) en de eindtoetsscore als afhankelijke variabele, kijken we in hoeverre het toevoegen van variabelen met betrekking tot de beschikbaarheid van gegevens tot een beter model leidt. Daarvoor hebben we een drietal deelpopulatievariabelen gedefinieerd. Deelpopulatie 1 geeft aan in hoeverre het opleidingsniveau van de ouders bekend is. De verschillende categorieën voor deze variabele zijn weergegeven in tabel 2.2.1. Deelpopulatie 2 is een dichotome variabele die aangeeft of de onderwijsscore direct is berekend of is geïmputeerd. Deelpopulatie 3 is een combinatie van deelpopulatie 1 en deelpopulatie 2. De verschillende categorieën voor deze variabele zijn weergegeven in tabel 2.2.2.

Om te beoordelen of het toevoegen van een variabele tot een beter model leidt voor wat betreft de verklaarde variantie, kijken we in eerste instantie naar de aangepaste r². Omdat deze maatstaf gevoelig is voor het aantal variabelen in een model, vergelijken we de verschillende modellen ook op basis van het Akaike Information Criterium (AIC). Deze maatstaf corrigeert voor het aantal parameters in een model.

In deze paragraaf bekijken we de frequentiedichtheid van de onderwijsscores uitgesplitst naar eindtoetsadvies en eindtoetsaanbieder en de verschillende modelvariabelen van de onderwijsachterstandenindicator. Daarnaast beoordelen we de frequentiedichtheid van de onderwijsscores naar de verschillende methoden van imputatie.

3.1 Onderwijsscores per schooljaar naar eindtoetsadvies en eindtoetsaanbieder

De figuren 3.1.1 tot en met 3.1.15 geven de frequentiedichtheid weer van de onderwijsscores per eindtoetsadvies en eindtoetsaanbieder uitgesplitst naar schooljaar. Vanaf het schooljaar 2018/’19 hanteert elke eindtoets dezelfde indeling van mogelijke toetsadviezen. Met uitzondering van het vwo-advies betreft dit altijd gecombineerde adviezen. In deze paragraaf beschouwen we enkel toetsadviezen die in de sinds het schooljaar 2018/’19 gebruikte indeling zijn opgenomen, zodat we voor deze toetsadviezen de frequentiedichtheden tussen jaren met elkaar kunnen vergelijken⁷⁾. Door het verschil in indeling van toetsadviezen vóór het schooljaar 2018/’19 ten opzichte van die daarna, is de vergelijking van frequentiedichtheden voor toetsadviezen tussen deze perioden niet zuiver. Daardoor zijn de figuren voor toetsadviezen vóór 2018/’19 op veel minder onderwijsscores gebaseerd dan die daarna.

De verwachting is dat kinderen met een lagere onderwijsscore gemiddeld een lager eindtoetsadvies hebben en dat kinderen met een hogere onderwijsscore gemiddeld een hoger eindtoetsadvies hebben. Daarnaast is de verwachting dat de verdeling stabiel is over de schooljaren en de verschillende type eindtoetsaanbieders heen.

De figuren 3.1.1 tot en met 3.1.15 laten zien dat de piek in de frequentiedichtheid stapsgewijs verschuift van links naar rechts met het stijgen van het eindtoetsadvies. Verder zien we dat het beeld ook stabiel is over de verschillende schooljaren. Dit is conform de verwachting. Daarnaast kunnen we uit deze figuren aflezen dat de frequentiedichtheden voor de drie grootste toetsaanbieders een vergelijkbaar beeld laten zien.