Herziening onderwijsachterstandenindicator vo

2.1 Doel

Het doel van de herijking is te bepalen in welke mate de omgevingskenmerken uit de po-indicator ermee samenhangen dat leerlingen in het vo beter of slechter presteren dan verwacht gezien hun intelligentie. Hierbij worden in principe dezelfde omgevingskenmerken behouden uit de po-indicator, maar het relatieve belang van de diverse kenmerken wordt opnieuw geschat. Op deze manier vinden we een herijkte onderwijsachterstandsindicator voor het vo. In het vervolg van dit rapport zullen we daaraan refereren als de “vo-indicator”, met de kanttekening dat de keuze aan OCW is of de herijkte indicator daadwerkelijk op deze manier zal worden ingezet.

De oorspronkelijke po-indicator is bepaald door een model te schatten voor schoolprestaties van leerlingen in het po, gemeten door de Cito-eindtoetsscore in groep 8. Om deze indicator te herijken is een maat nodig voor schoolprestaties in het vo. Anders dan bij het po is in het vo geen universele toets beschikbaar die schoolprestaties voor alle leerlingen op dezelfde manier meet. Bij de herijking die beschreven is in het eerdere leerplus-rapport is daarom alleen het onderwijsniveau dat een leerling in het vo volgt gebruikt als maat voor schoolprestaties. In het huidige onderzoek willen we dit uitbreiden met eindexamencijfers.

2.2 Data voor de herijking

Het model dat gebruikt is voor de nieuwe herijking wordt beschreven in hoofdstuk 3. Om dit model te kunnen schatten is per leerling de volgende informatie nodig:

• een intelligentiemeting;
• de omgevingskenmerken uit de po-indicator;
• vo-eindexamencijfers en het onderwijsniveau waarop de leerling examen doet.

Wat de eerste twee punten betreft maken we gebruik van dezelfde databronnen als bij het onderzoek waarin de po-indicator is bepaald. Voor de intelligentiemeting gebruiken we data uit het Cohortonderzoek Onderwijsloopbanen^5-18 (hierna: COOL-onderzoek) uit de schooljaren 2007/’08, 2010/’11 en 2013/’14. In dit onderzoek is bij een steekproef van leerlingen uit groep 5 van het po een proxy voor intelligentie gemeten met de zogenaamde niet-schoolse cognitieve capaciteitentest (nscct). De andere omgevingskenmerken zijn op het CBS beschikbaar uit registers. Net als bij de po-indicator zijn deze kenmerken gemeten op een peildatum in de buurt van 1 september in het schooljaar waarin de leerling in groep 8 zit.

Voor het kenmerk gemiddeld opleidingsniveau van moeders per (po-)school is een aanpassing nodig ten opzichte van de po-indicator. De betekenis van dit kenmerk verandert nu we kijken naar onderwijsachterstanden in het vo, aangezien de po-school waarop een leerling eerder heeft gezeten hooguit nog indirect invloed kan hebben op schoolprestaties in het vo. Vanuit een praktisch oogpunt zou het bovendien omslachtig zijn om dit kenmerk bij te houden voor leerlingen in het vo bij het berekenen van de indicator. We hebben dit kenmerk bij het herijken daarom in eerste instantie vervangen door het gemiddelde opleidingsniveau van moeders voor de vo-school waarop een leerling zit.

Eindexamencijfers zijn op het CBS integraal beschikbaar in een register. We hebben deze cijfers aangekoppeld voor alle schooljaren van 2013/’14 tot en met 2019/’20, het meest recente afgesloten schooljaar op het moment dat dit onderzoek plaatsvond. De oudste leerlingen voor wie in dit onderzoek een intelligentiemeting beschikbaar is zaten in 2007/’08 in groep 5, de jongste zaten in 2013/’14 in groep 5. Het is daarom vrijwel uitgesloten dat de oudste leerlingen vóór 2013/’14 eindexamen vo hebben gedaan. Anderzijds zullen de meeste leerlingen uit het jongste cohort ten tijde van dit onderzoek nog geen eindexamen hebben gedaan; deze kunnen daarom niet worden meegenomen bij het herijken van de indicator. Leerlingen uit het middelste cohort (in 2010/’11 in groep 5) die een vwo-opleiding volgen doen, bij een nominale looptijd vanaf groep 5, eindexamen in 2019/’20. Om een dataset te verkrijgen die voldoende dekking heeft over de volledige breedte van het vo is het daarom essentieel om ook het schooljaar 2019/’20 mee te nemen. In het bijzonder was het huidige onderzoek daarom niet goed mogelijk geweest ten tijde van de eerdere, verkennende herijking, toen de gegevens uit 2018/’19 en 2019/’20 nog niet beschikbaar waren.

Merk op: bij het jongste cohort ontbreken nog de examencijfers van (met name vwo-)leerlingen die langer dan zes jaar in het vo zitten voordat zij voor de eerste keer examen doen; bij de oudere cohorten zijn deze cijfers wel beschikbaar. Onder de oudere vwo-leerlingen voor wie in onze dataset wel examencijfers beschikbaar zijn heeft ongeveer 17% een vertraging opgelopen van minimaal een jaar. In het model in hoofdstuk 3 wordt rekening gehouden met de mogelijke invloed van een langere vo-tijd op de examencijfers.

Vanwege de maatregelen in verband met de COVID 19-pandemie zijn in het schooljaar 2019/’20 geen centrale eindexamens afgenomen, alleen schoolexamens. Om de beschikbare informatie voor alle jaren vergelijkbaar te houden hebben we ervoor gekozen om uit alle jaren alleen de schoolexamencijfers te gebruiken. Voor elke leerling is het gemiddelde cijfer berekend van alle schoolexamens die meetellen voor het diploma en waarvoor een geldig cijfer (tussen 1,0 en 10,0) beschikbaar is. Het maakt hierbij niet uit of de leerling geslaagd of gezakt is. Als een leerling in de onderzochte periode meer dan één keer eindexamen heeft gedaan, zijn we uitgegaan van het gemiddelde cijfer bij het eerste examen.

Uit een verkennende analyse blijkt dat de gemiddelde schoolexamencijfers in ons bestand in 2019/’20 gemiddeld 0,15 punt hoger liggen dan in 2018/’19. Deze verschuiving is echter niet selectief naar de kenmerken die in een rol spelen in de achterstandsindicator. In het bijzonder vinden we een vergelijkbare verschuiving van het gemiddelde cijfer tussen 2018/’19 en 2019/’20 bij alle herkomstgroeperingen. Voor het uitvoeren van de herijking is dit daarom geen bezwaar. Voor een uitgebreidere analyse van de schoolexamencijfers van 2019/’20 verwijzen we naar een rapportage door DUO.

Er zijn examencijfers beschikbaar voor 37 760 leerlingen uit het COOL-onderzoek. Daarnaast zijn er 3 385 leerlingen uit het COOL-onderzoek die praktijkonderwijs volgen in het vo en daarom geen eindexamen doen; ook deze leerlingen worden meegenomen bij het herijken van het model (zie paragraaf 2.3). Binnen deze selectie is een nscct-score bekend voor 13 493 leerlingen. Het model voor herijking wordt uiteindelijk geschat op deze steekproef. Ter vergelijking: voor het bepalen van de oorspronkelijke po-indicator was een steekproef van 13 466 leerlingen beschikbaar. De twee steekproeven hebben een vergelijkbare grootte maar overlappen slechts gedeeltelijk, omdat bij het bepalen van de po-indicator geen eindexamencijfers nodig waren maar juist wel Cito-eindtoetsscores in groep 8.

Uit een verkennende analyse blijkt dat de steekproef van 13 493 leerlingen voldoende representatief verdeeld is over de verschillende schoolniveaus in het vo. Ten opzichte van de populatieverdeling zijn vmbo-leerlingen licht oververtegenwoordigd en havo- en vwo-leerlingen licht ondervertegenwoordigd.

2.3 Schoolprestaties als combinatie van onderwijsniveau en examencijfer

Voor de nieuwe herijking willen we schoolprestaties in het vo meten door een combinatie van het gemiddelde examencijfer dat een leerling haalt en het niveau waarop hij/zij eindexamen doet. Met de gegevens die beschikbaar zijn kunnen zes onderwijsniveaus worden onderscheiden:
1. Praktijkonderwijs
2. Vmbo-basisberoeps
3. Vmbo-kaderberoeps
4. Vmbo-gemengd/theoretisch
5. Havo
6. Vwo

Bij de eerdere herijking werden 12 onderwijsniveaus onderscheiden in het vo. Niet al deze niveaus komen echter voor in eindexamenjaren; denk bijvoorbeeld aan gemengde brugklassen.

Het niveau Praktijkonderwijs wordt niet verder uitgesplitst omdat hiervoor geen examengegevens beschikbaar zijn. De andere vijf niveaus kunnen worden gedetailleerd op basis van het gemiddelde examencijfer dat een leerling haalt. Om de examencijfers te combineren met de bovengenoemde onderwijsniveaus, delen we deze cijfers in een beperkt aantal categorieën in op basis van kwantielen. Deze kwantielen worden bepaald op de bovengenoemde grotere steekproef van 37 760 leerlingen, inclusief de leerlingen uit het COOL-onderzoek voor wie geen nscct-score beschikbaar is. We hebben een aantal meer en minder gedetailleerde indelingen onderzocht, om te toetsen hoe gevoelig de uitkomsten van de herijking zijn voor de keuze van deze indeling. Tabel 2.3.1 tot en met Tabel 2.3.3 tonen alle indelingen die zijn onderzocht. (N.B. Voor het 0%- en 100%-kwantiel is hier steeds het theoretische minimum en maximum ingevuld, niet de laagste en hoogste waarde die toevallig voorkwam in de steekproef.)

De schoolprestatie van een leerling wordt nu gemeten door een variabele met als categorieën: het onderwijsniveau waarop de leerling examen doet gecombineerd met het kwantiel waarin het gemiddelde eindexamencijfer valt (behalve als het niveau Praktijkonderwijs is). Bij een indeling in drie, vier of vijf kwantielen heeft deze doelvariabele, respectievelijk, 16, 21 of 26 categorieën. Een natuurlijke vraag hierbij is of het behalen van een van de hoogste examencijfers op een bepaald niveau (zeg havo) op deze schaal moet worden gezien als een lagere of een hogere prestatie dan het behalen van een van de laagste examencijfers op het eerstvolgende niveau (in dit voorbeeld: vwo). In de analyses in hoofdstuk 3 worden beide varianten onderzocht, om na te gaan of deze keuze veel invloed heeft op de resulterende indicator.

3.1 Methode

De analysemethode die wordt gebruikt voor de herijking is, net als bij de oorspronkelijke po-indicator en de verkennende herijking uit het eerdere leerplus-rapport, een zogenaamd structureel vergelijkingsmodel. Het basismodel is schematisch weergegeven in Figuur 3.1.1.

Zoals genoemd in paragraaf 2.1 is het doel van de indicator om in beeld te brengen in welke mate kenmerken van de omgeving van leerlingen ermee samenhangen dat zij gemiddeld beter of slechter presteren dan verwacht gezien hun intelligentie. Binnen het structurele vergelijkingsmodel wordt daarom onderscheid gemaakt tussen enerzijds directe effecten van omgevingskenmerken op de schoolprestaties van leerlingen in het vo (de lichtblauwe pijlen in Figuur 3.1.1) en anderzijds indirecte effecten van deze omgevingskenmerken via intelligentie (de rode pijlen). In een indicator voor onderwijsachterstanden in het vo worden uiteindelijk alleen de lichtblauwe pijlen meegenomen: dit zijn namelijk de effecten van omgevingskenmerken die verklaren dat leerlingen met dezelfde aanleg (intelligentie) maar een andere omgeving gemiddeld verschillend presteren in het vo. Nadelige directe effecten van omgevingskenmerken leiden zo tot onderwijsachterstanden. Zie verder het eerste methodologische rapport van de po-indicator voor meer toelichting op het gebruikte model.

3.1.1. Schematische weergave van het structurele vergelijkingsmodel voor onderwijsachterstanden in het vo dat als basis dient voor de herijking van po-indicator

Ten opzichte van het oorspronkelijke model voor de po-indicator en het model voor de verkennende herijking is in het model uit Figuur 3.1.1 een extra kenmerk “vertraging vo” opgenomen om rekening te houden met leerlingen die tijdens hun vo-schoolloopbaan vertraging oplopen, bijvoorbeeld door zittenblijven of als gevolg van een overstap naar een ander onderwijsniveau vóór het eerste eindexamen. Het zou kunnen dat leerlingen die langer naar school gaan in het vo voordat zij voor de eerste keer eindexamen doen gemiddeld hogere cijfers halen dan leerlingen die de nominale looptijd aanhouden. Daarnaast zou het kunnen dat vertraging bij leerlingen met bepaalde omgevingskenmerken vaker voorkomt. Het resultaat zou dan kunnen zijn dat sommige directe effecten van omgevingskenmerken (lichtblauwe pijlen) niet zuiver worden geschat als geen rekening wordt gehouden met vertraging. Door het kenmerk vertraging op te nemen in het model via de extra effecten in Figuur 3.1.1 (groene pijlen) wordt dit gecorrigeerd. Net als intelligentie speelt vertraging in de uiteindelijke herijkte indicator geen rol; dit kenmerk wordt alleen meegenomen om de directe effecten van de andere omgevingskenmerken in de indicator zuiver te kunnen schatten. We maken hierbij alleen onderscheid tussen leerlingen die wel (gecodeerd als 1) of niet (gecodeerd als 0) minimaal één jaar vertraging oplopen gedurende het vo. Leerlingen met twee of meer jaren vertraging en leerlingen met één of meer jaren ‘versnelling’ komen in onze data sporadisch voor, te weinig om voor deze groepen aparte effecten te kunnen schatten.

In Figuur 3.1.1 is met een ovaal aangegeven dat intelligentie niet direct is waargenomen. De waargenomen nscct-score wordt in dit model gezien als een niet-perfecte meting van intelligentie. Zoals beschreven in het eerste methodologische rapport van de po-indicator is uit de literatuur bekend dat de nscct een betrouwbaarheid van 88% heeft voor het meten van intelligentie in groep 5. Bij het schatten van het model is daarom aangenomen dat 12% van de totale variantie in de nscct-scores veroorzaakt wordt door toevallige meetfouten. Verder is geprobeerd te corrigeren voor culturele vertekening van de intelligentiemeting naar opleidingsniveau en herkomst; zie het eerste methodologische rapport van de po-indicator voor meer informatie. In het vervolg beschrijven we alleen aspecten die spelen bij het schatten van het model in het vo die nieuw zijn ten opzichte van de aanpak die is gebruikt bij het schatten van het oorspronkelijke model voor de po-indicator; voor de rest is de aanpak zoals beschreven in het eerste methodologische rapport gevolgd.

Zoals beschreven in paragraaf 2.3 worden de schoolprestaties in het vo hier gemeten door een geordende categoriale variabele, waarbij het aantal categorieën afhangt van het aantal kwantielen van examencijfers dat wordt meegenomen. Om het model uit Figuur 3.1.1 op een valide manier te schatten moeten de categorieën van deze variabele worden afgebeeld op een intervalschaal. Dit laatste betekent dat de schaalwaarden die aan de categorieën hangen de volgende interpretatie hebben: als de categorieën A en B twee keer zover uit elkaar liggen als de categorieën B en C, dan is het verschil in schoolprestatie tussen categorie A en B ook twee keer zo groot als het verschil tussen categorie B en C. Als we de categorieën eenvoudig zouden nummeren als 1, 2, 3, …, hoort hierbij dus de impliciete aanname dat alle categorieën even ver uit elkaar liggen: de afstand tussen “Praktijkonderwijs” en “Vmbo-basisberoeps, eerste kwantiel” is even groot als die tussen “Vmbo-basisberoeps, eerste kwantiel” en “Vmbo-basisberoeps, tweede kwantiel”, enzovoort. Het is niet op voorhand duidelijk of dit een zinnige aanname is. Algemener is niet duidelijk wat de beste manier is om de schaalwaarden te kiezen in lijn met deze interpretatie.

Bij de herijking uit het eerdere leerplus-rapport (op basis van alleen onderwijsniveau) speelde dezelfde vraag. Er zijn toen twee varianten onderzocht:

• gebruik de gemiddelde score op de Cito-eindtoets in groep 8 van alle leerlingen in een bepaalde categorie als schaalwaarde voor die categorie, of
• gebruik een automatische procedure om, als onderdeel van het schatten van het model, schaalwaarden toe te kennen aan de categorieën zodat de verklaarde variantie van de schoolprestaties door het model maximaal is (“optimaal schalen”).

Een klein praktisch voordeel van de eerste variant is dat de categorieën worden afgebeeld op een vergelijkbare schaal als de Cito-score waarop de po-indicator is gebaseerd (d.w.z. waarden tussen 501 en 550). Dit maakt een vergelijking tussen de indicator vóór en na herijken iets eenvoudiger. Bij de tweede variant liggen de schaalwaarden rondom 0.

Beide varianten zijn ook in dit onderzoek uitgeprobeerd. Bij de eerste variant bleek dat de gemiddelde Cito-eindtoetsscore vooral verschilt tussen de onderwijsniveaus maar nauwelijks tussen de examenkwantielen binnen een onderwijsniveau. De uitkomsten van een verkennende analyse bij deze variant leken daarom sterk op die uit de eerdere herijking, waarbij alleen naar onderwijsniveau is gekeken. Aangezien we in het huidige onderzoek juist een verfijning willen aanbrengen in de meting van schoolprestaties binnen onderwijsniveaus, is daarom besloten om alleen verder te gaan met de tweede variant.

3.2 Resultaten

Bij het schatten van het model uit Figuur 3.1.1 moet nog een aantal keuzes worden gemaakt. We hebben de invloed op de uitkomsten onderzocht van de volgende keuzes:

• Aantal kwantielen examencijfers: drie, vier of vijf kwantielen meegenomen.
• Ordening van de categorieën: het hoogste kwantiel binnen onderwijsniveau X komt in de ordening vóór of na het laagste kwantiel binnen onderwijsniveau X + 1. In het eerste geval (“niet herordenen”) worden de examencijfers alleen gebruikt om de onderwijsniveaus nader te detailleren (waarbij, bijvoorbeeld, een vwo-niveau altijd wordt gezien als een betere prestatie dan een havo-niveau). In het tweede geval (“wel herordenen”) wordt het behalen van een van de hoogste examencijfers op een bepaald onderwijsniveau gezien als een betere prestatie dan het behalen van een van de laagste examencijfers op het volgende onderwijsniveau.
• Vertraging wel of niet opnemen in het model.
• Gemiddeld opleidingsniveau moeders per school wel of niet opnemen in het model. Een aanleiding om apart naar dit kenmerk te kijken is dat de interpretatie van dit kenmerk in een voor het vo herijkte indicator verschilt van de oorspronkelijke po-indicator (zie paragraaf 2.2).

We presenteren eerst de modeluitkomsten bij de volgende combinatie van keuzes: vijf kwantielen, niet herordenen, vertraging wel in het model, gemiddeld opleidingsniveau niet in het model. Daarna bespreken we het effect van andere keuzes op deze uitkomsten.

3.2.1 Resultaten basismodel

Figuur 3.2.1.1 toont de schaalwaarden van de 26 categorieën van schoolprestatie na “optimaal schalen” bij dit model. Door de automatische procedure is aan alle categorieën behalve de eerste en laatste een interval van schaalwaarden toegewezen; het middelpunt van elk interval is in de figuur aangegeven met een stip. Bij de eerste categorie horen alle schaalwaarden links van het eerste interval en bij de laatste categorie horen alle schaalwaarden rechts van het laatste interval. In de figuur is te zien dat de opeenvolgende categorieën grotendeels gelijkmatig zijn verdeeld over de schaal; alleen aan de onderkant en, in mindere mate, aan de bovenkant van de verdeling zijn de afstanden tussen de categorieën groter.

3.2.1.1 Categorieën van schoolprestatie in het vo (examencijfers in vijf kwantielen, niet herordenen) op een numerieke schaal, volgens “optimaal schalen"

Tabel 3.2.1.2 toont de geschatte directe effecten op schoolprestaties in het vo bij dit model. Voor opleidingsniveau en herkomst bevat het model verder aparte schaalwaarden per categorie; de schattingen van deze schaalwaarden staan in Tabel 3.2.1.3 en Tabel 3.2.1.4.

De eerste kolommen van Tabel 3.2.1.2 bevatten de geschatte coëfficiënten, standaardfouten en p-waardes van de directe effecten op schoolprestaties in het vo. De p-waarde is in dit geval de kans dat de geschatte coëfficiënt ook zou kunnen zijn gevonden als de werkelijke coëfficiënt gelijk is aan 0, gezien de bijbehorende standaardfout. Het blijkt dat alle kenmerken in het model een effect hebben dat significant van 0 verschilt. Bij verblijfsduur moeder verschilt de categorie “0-5 jaar” niet significant van de referentiecategorie (“10 jaar of langer”), maar de categorie “5-10 jaar” wel. De gevonden effecten van dit kenmerk in het vo zijn vergelijkbaar met de eerder gevonden effecten in het po; zie het eerste methodologische rapport van de po-indicator voor een bespreking van deze effecten. Vertraging heeft een licht-significant effect in de richting die we verwachtten: leerlingen die langer dan de nominale looptijd op een vo-school zitten voordat zij voor het eerst eindexamen doen presteren, gegeven alle andere kenmerken uit het model, gemiddeld iets beter.

Om het relatieve belang van de verschillende kenmerken onderling te vergelijken toont Tabel 3.2.1.2 ook de gestandaardiseerde coëfficiënten. Ter vergelijking zijn tevens de gestandaardiseerde coëfficiënten uit de oorspronkelijke po-indicator opgenomen in de tabel (laatste kolom). Te zien is dat het effect van intelligentie op schoolprestaties in het vo zwakker is dan in het po, terwijl het effect van de omgevingskenmerken, met name opleidingsniveau en herkomstgroepering, juist sterker is in het vo. Een gedeeltelijke verklaring voor deze sterkere invloed van de omgeving is dat we nu kijken naar schoolprestaties op latere leeftijd. De effecten van de achtergrondkenmerken op onderwijsachterstanden zijn al zichtbaar bij de overgang van po naar vo en werken daarna verder door gedurende het vo. Hierbij moet wel worden opgemerkt dat we schoolprestaties in het vo (noodgedwongen) hebben gemeten op een andere manier dan in het po, wat een gedetailleerde inhoudelijke vergelijking van de gevonden effecten tussen de twee modellen lastig maakt.

De verklaarde variantie in schoolprestaties in het vo is bij dit model 50,2%. Ter vergelijking: het model waarop de po-indicator is gebaseerd verklaarde 41,3% van de variantie in schoolprestaties in het po (zie het eerste methodologische rapport van de po-indicator). De verklaarde variantie in het vo bij de eerdere verkennende herijking was 37,2%. Door informatie over individuele verschillen in schoolprestaties binnen onderwijsniveaus toe te voegen aan de te verklaren variabele, kan door de omgevingskenmerken in het model dus meer van de variantie in schoolprestaties worden verklaard.

3.2.1.5 Totale bijdrage per categorie van herkomstgroepering aan de oorspronkelijke po-indicator en de herijkte vo-indicator

3.2.1.6 Totale bijdrage per categorie van herkomstgroepering aan de oorspronkelijke po-indicator en de herijkte vo-indicator

Om de bijdrage van een afzonderlijke categorie van opleidingsniveau of herkomstgroepering aan de herijkte indicator te vinden moet de coëfficiënt uit Tabel 3.2.1.2 worden vermenigvuldigd met de schaalwaarde van die categorie uit Tabel 3.2.1.3 of Tabel 3.2.1.4. Bijvoorbeeld: de totale bijdrage van de categorie “Hbo-, wo-master, doctor” van het kenmerk opleidingsniveau vader is 0,95 × 1,29 = 1,23. De resulterende bijdragen van alle categorieën zijn weergegeven in Figuur 3.2.1.5 (opleidingsniveau vader en moeder) en Figuur 3.2.1.6 (herkomst). Ter vergelijking worden ook de overeenkomstige bijdragen uit de po-indicator getoond. Merk op: de bijdragen met en zonder herijking liggen op verschillende schalen, en de absolute waarden van deze bijdragen zijn daarom niet direct met elkaar te vergelijken. Wel kan het patroon over de categorieën in deze figuren worden vergeleken.

In Figuur 3.2.1.5 is in grote lijnen hetzelfde patroon te zien in de bijdragen van de categorieën van beide opleidingsniveau-kenmerken vóór en na herijking. Een soortgelijke uitkomst werd ook gevonden bij de eerdere verkennende herijking (zie het eerdere leerplus-rapport). Voor zover er iets verandert kunnen we stellen dat de bijdragen van vader en moeder bij de laagste en hoogste opleidingsniveaus iets dichter bij elkaar liggen na herijking voor het vo.

Bij herkomstgroepering in Figuur 3.2.1.6 zijn grotere verschillen te zien tussen wel en niet herijken. Ten opzichte van de referentiecategorie “Nederland” zijn de bijdragen van de andere categorieën na de herijking iets opgeschoven naar rechts. Dat wil zeggen: de effecten van deze categorieën op schoolprestaties zijn in het vo minder negatief (in het geval van “Oost-Azië”: meer positief) dan in het po. Met name bij “Suriname en (voormalige) Nederlandse Antillen” en “Turkije” blijft wel een duidelijk negatief effect op schoolprestaties in het vo zichtbaar.

Bij de verkennende herijking op basis van alleen het onderwijsniveau (zie het eerdere leerplus-rapport) werd voor de schaalwaarden van herkomstgroepering een nog sterkere verschuiving in dezelfde richting gevonden. Door rekening te houden met individuele verschillen in schoolprestaties binnen een onderwijsniveau wordt dit resultaat nu genuanceerd: de verschillen in onderwijsachterstanden tussen herkomstgroeperingen zijn in het vo weliswaar minder groot dan in het po, maar bij bepaalde herkomstgroeperingen komen nog steeds duidelijk meer onderwijsachterstanden voor dan bij de referentiecategorie “Nederland”.

Tabel 3.2.1.7 toont de geschatte coëfficiënten van de directe effecten van omgevingskenmerken op vertraging in het vo (de groene pijlen in Figuur 3.1.1). Te zien is dat de meeste kenmerken geen significant effect hebben op vertraging. Alleen bij herkomstgroepering vinden we een licht-significant effect. Al met al lijkt het percentage kinderen dat één of meer jaren vertraging oploopt in het vo tamelijk gelijkmatig verdeeld te zijn naar de achtergrondkenmerken die in dit model zijn opgenomen.

3.2.2 Resultaten voor modellen met andere aantallen kwantielen en/of ordening

Het model uit paragraaf 3.2.1 is ook geschat voor vier alternatieve varianten van de te verklaren variabele schoolprestatie in het vo:

• drie kwantielen van examencijfers onderscheiden, categorieën niet herordend zoals beschreven aan het begin van paragraaf 3.2;
• drie kwantielen van examencijfers onderscheiden, categorieën wel herordend;
• vier kwantielen van examencijfers onderscheiden, categorieën niet herordend;
• vier kwantielen van examencijfers onderscheiden, categorieën wel herordend.

Tabel 3.2.2.1 toont de geschatte directe effecten van omgevingskenmerken op schoolprestaties volgens deze alternatieve indelingen. Ter vergelijking bevat de laatste kolom nogmaals de geschatte directe effecten uit Tabel 3.2.1.2. Te zien is dat de gevonden coëfficiënten nauwelijks verschillen tussen de vijf varianten. Ook de vorm van de verdeling van “optimaal geschaalde” schoolprestaties zoals in Figuur 3.2.1.1, de schaalwaarden van opleidingsniveau en herkomst zoals in Tabel 3.2.1.3 en Tabel 3.2.1.4 en de geschatte directe effecten van omgevingskenmerken op vertraging zoals in Tabel 3.2.1.7 zijn bij alle varianten nagenoeg hetzelfde (hier niet getoond).

De verklaarde varianties zijn bij de modellen uit Tabel 3.2.2.1 respectievelijk gelijk aan 50,3%, 48,3%, 50,4%, 49,8% en 50,2%. Ook in dit opzicht zijn de verschillen dus klein, zij het dat de verklaarde variantie iets lager is als de volgorde van de categorieën wordt aangepast.

3.2.3 Resultaten voor modellen zonder vertraging

De vijf varianten van het model uit Tabel 3.2.2.1 zijn ook geschat zonder dat vertraging is opgenomen in het model. Ook hier waren de verschillen in de modeluitkomsten steeds zeer klein. Gezien de beperkte invloed van vertraging op schoolprestaties en de zwakke samenhang met de andere omgevingskenmerken die zijn gevonden in paragraaf 3.2.1 is dit niet onverwacht. Kortheidshalve tonen we in Tabel 3.2.3.1 alleen de geschatte directe effecten bij een indeling met vijf kwantielen, met en zonder vertraging in het model. De verklaarde variantie van schoolprestaties in het vo is bij beide modellen 50,2%.

3.2.4 Resultaten voor modellen met gemiddeld opleidingsniveau moeders op school

Ten slotte bekijken we de invloed van het meenemen van het kenmerk gemiddeld opleidingsniveau moeders op school op de modeluitkomsten. Net als bij de po-indicator wordt dit kenmerk berekend door het gemiddelde te nemen van het opleidingsniveau van alle moeders op een school, gebruikmakend van de schaalwaarden voor opleidingsniveau moeder zoals in Tabel 3.2.1.3. Bij de herijkte indicator gaat het om de vo-school in plaats van de po-school waarop een leerling zit. Ook deze analyse is gedaan voor alle vijf de varianten van het model uit Tabel 3.2.2.1, met zeer vergelijkbare uitkomsten; we beperken ons hier opnieuw tot het bespreken van de variant met examencijfers in vijf kwantielen.

Tabel 3.2.4.1 toont de geschatte directe effecten van omgevingskenmerken op schoolprestaties in het vo voor het model met en zonder gemiddeld opleidingsniveau van moeders op school. Het toevoegen van dit kenmerk aan het model leidt tot een verschuiving in sommige coëfficiënten: met name de effecten van opleidingsniveau en herkomstgroepering worden minder sterk. Bovendien blijkt het gemiddeld opleidingsniveau een zeer sterk effect te hebben op de gemeten schoolprestaties. De verklaarde variantie van het model stijgt hierdoor van 50,2% naar 57,2%.

Deze sterke samenhang tussen gemiddeld opleidingsniveau en schoolprestaties lijkt echter vooral een artefact te zijn van de manier waarop schoolprestaties hier zijn gemeten. Het onderwijsniveau waarop een leerling examen doet is sterk bepalend voor zijn/haar positie op de gekozen schaal (zie Figuur 3.2.1.1). Tegelijk zien we in de data een duidelijk verband tussen het gemiddeld opleidingsniveau van moeders van leerlingen per onderwijsniveau (zie Tabel 3.2.4.2): hoe hoger het onderwijsniveau, des te hoger is het gemiddeld opleidingsniveau van de moeders. Hierbij moet ook worden bedacht dat op veel scholen maar een deel van alle mogelijke onderwijsniveaus wordt gegeven, zodat op deze scholen slechts een deel van het theoretische bereik van schoolprestaties uit Figuur 3.2.1.1 feitelijk voorkomt. Statistisch is het daarom begrijpelijk dat uit het geschatte model volgt dat het gemiddeld opleidingsniveau van moeders per school een goed verklarend kenmerk is voor schoolprestaties: het gemiddeld opleidingsniveau van alle moeders op een school is in feite een vrij goede proxy voor de combinatie van onderwijsniveaus die op die school worden gegeven en daarmee voor schoolprestaties zoals gemeten op de hier gebruikte schaal. Het verband dat we op deze manier vinden lijkt echter geen inhoudelijke verklaring te zijn voor werkelijke verschillen in onderwijsachterstanden tussen scholen. Het model zonder dit kenmerk lijkt daarom een betrouwbaardere basis voor een indicator voor onderwijsachterstanden in het vo.

Op verzoek van OCW is in dit rapport onderzocht of de po-indicator voor onderwijsachterstanden op een zinvolle manier herijkt kan worden zodat de resulterende vo-indicator toepasbaar is voor het schatten van het risico op onderwijsachterstanden in het vo. In het bijzonder was hierbij de vraag of het effect van herkomstgroepering op onderwijsachterstanden in het vo voldoende betrouwbaar kan worden geschat. Er is in dit onderzoek expliciet niet opnieuw gezocht naar de beste combinatie van omgevingskenmerken als verklaring voor onderwijsachterstanden in het vo: de kenmerken uit de bestaande po-indicator zijn als uitgangspunt genomen.

4.1 Conclusies met betrekking tot de herijking

Op basis van de resultaten in hoofdstuk 3 is onze belangrijkste conclusie dat een zinvolle herijking inderdaad mogelijk is. Dit door gebruik te maken van een model voor schoolprestaties in het vo, waarbij schoolprestaties worden gemeten door een combinatie van het onderwijsniveau waarop een leerling voor de eerste keer examen doet en zijn/haar gemiddelde schoolexamencijfer. Het meenemen van individuele informatie over examencijfers leidt tot een verfijning ten opzichte van de verkennende herijking uit het eerdere leerplus-rapport, waarbij alleen naar onderwijsniveau werd gekeken. Deze verfijning is nodig om te kijken of een beter model geschat kan worden én om het effect van herkomstgroepering op onderwijsachterstanden in het vo goed in beeld te brengen.

In hoofdstuk 3 is een aantal modelvarianten besproken. Vanuit methodologisch perspectief is het model dat in paragraaf 3.2.1 als basismodel is gepresenteerd te verkiezen. De verklaarde variantie in schoolprestaties in het vo is hierbij 50,2%. In dit model zijn de volgende keuzes gemaakt:

• De examencijfers zijn ingedeeld in vijf kwantielen.
• De examencijfers worden alleen gebruikt om de onderwijsniveaus nader te detailleren; er vindt geen herordening van categorieën plaats.
• Het model bevat een correctie voor vertraging gedurende het vo.
• Het kenmerk gemiddeld opleidingsniveau moeders per vo-school is niet opgenomen in het model.

De gevonden vo-indicator wordt nauwelijks beïnvloed door de eerste twee keuzes. Het aantal gebruikte kwantielen en de keuze om wel of niet te herordenen tussen onderwijsniveaus hebben weinig effect op de modeluitkomsten. Het gebruik van een indeling in meer kwantielen heeft in principe als voordeel dat gedetailleerdere informatie over individuele leerlingen wordt meegenomen. Hier zit wel een grens aan, omdat de behaalde examencijfers ook door toevallige factoren worden beïnvloed (heeft iemand bijvoorbeeld “een slechte dag” gehad?). Vanaf een zeker punt heeft het gebruik van een nog meer gedetailleerde indeling in examencijfers daarom geen meerwaarde, omdat bij verdere detaillering vooral extra ruis (meetonnauwkeurigheid) wordt toegevoegd die niet kan worden verklaard door de kenmerken uit het model. Gezien het feit dat de verklaarde variantie bij drie, vier en vijf kwantielen vergelijkbaar is, lijken alle indelingen die hier zijn bekeken voldoende gedetailleerd te zijn om de effecten van de omgevingskenmerken goed te kunnen schatten. Hoewel de keuze nauwelijks invloed heeft, is het dan aantrekkelijk om de meest gedetailleerde indeling te gebruiken, dat wil zeggen een indeling in vijf kwantielen.

De gevonden indicator wordt ook nauwelijks beïnvloed door de keuze om wel of niet te corrigeren voor vertraging gedurende het vo. In dit geval lijkt deze correctie niet per se noodzakelijk. Ons argument om de correctie toch op te nemen in het model is zodat deze mogelijkheid is ingebouwd in de aanpak, voor het geval deze later – bijvoorbeeld bij een toekomstige herziening van de indicator – wel nodig mocht blijken. Merk op: het feit dat een leerling langer of korter dan de nominale looptijd doet over een vo-opleiding is in dit onderzoek op zichzelf niet beschouwd als een lagere of hogere schoolprestatie.

Naast vertraging komt het ook voor dat leerlingen uitvallen uit het vo zonder diploma. Een beperking van dit onderzoek is dat leerlingen (buiten het praktijkonderwijs) die uitvallen zonder examen te doen niet zijn meegenomen bij het schatten van het model. Het is niet objectief duidelijk waar iemand die uitvalt zou moeten worden ingedeeld op de schaal voor schoolprestaties die hier is gebruikt. Verder is uitval in de praktijk lastig te meten: op basis van de beschikbare gegevens is vast te stellen dat iemand zonder diploma op een gegeven moment niet meer is ingeschreven in het vo, maar dat kan ook een andere reden hebben dan uitval (bijvoorbeeld emigreren, of onderwijs volgen in een buurland). En het kan ook zijn dat iemand tijdelijk stopt met het volgen van onderwijs maar later alsnog examen doet: dan lijkt het in eerste instantie uitval, maar is het uiteindelijk alleen vertraging.

Het gemiddelde opleidingsniveau van moeders per vo-school heeft, als dit kenmerk wordt opgenomen in het model, een sterk direct effect op schoolprestaties. Zoals besproken in paragraaf 3.2.4 lijkt dit echter vooral een artefact te zijn van de manier waarop schoolprestaties in dit onderzoek zijn gemeten, geen inhoudelijke verklaring voor werkelijke verschillen in onderwijsachterstanden tussen scholen. Omdat het opnemen van dit kenmerk in het model ook invloed heeft op de gevonden effecten van opleidingsniveau en herkomst, lijkt het vanuit methodologisch oogpunt beter om dit kenmerk weg te laten om vertekening in de geschatte effecten bij de andere kenmerken te voorkomen. Ook zonder dit kenmerk lijkt de verklaarde variantie door het model voldoende groot om een goede onderbouwing te geven voor een indicator voor onderwijsachterstanden.

Ten opzichte van de oorspronkelijke po-indicator zien we bij de gevonden vo-indicator enkele verschuivingen tussen de relatieve belangen van de omgevingskenmerken. Ook is het effect van sommige herkomstgroeperingen op onderwijsachterstanden volgens het model anders in het vo dan in het po. Het lijkt daarom inderdaad zinvol om de po-indicator te herijken voor gebruik als indicator voor onderwijsachterstanden in het vo.

4.2 Richting een vo-indicator voor het leerplusarrangement

Het schema in Figuur 4.2.1 laat zien hoe per leerling een onderwijsscore zou worden berekend volgens de herijkte vo-indicator, gegeven de omgevingskenmerken van de leerling. Deze score ligt rond 0 en kan zowel negatief als positief zijn. Bij leerlingen met een lagere (d.w.z. meer negatieve) onderwijsscore worden – gemiddeld over de populatie – meer onderwijsachterstanden verwacht.

Door deze onderwijsscores te aggregeren naar schoolniveau kan een indicator worden verkregen die als basis dient voor het verdelen van middelen om onderwijsachterstanden tegen te gaan; zie ook het kader “Hoe werkt de po-indicator” in hoofdstuk 1 van dit rapport. Uiteindelijk is het aan OCW om een definitieve keuze te maken voor een vo-indicator. Nadat de formule voor onderwijsscores per leerling definitief is gekozen moeten door OCW verdere keuzes worden gemaakt over de manier waarop die indicator in de toekomst wordt ingezet om de beschikbare middelen te verdelen over scholen in het vo. Bij dat laatste spelen keuzes als: hoe worden de onderwijsscores per leerling geaggregeerd naar scores per school, en is het wenselijk om een drempel in te bouwen op de score per school om versnippering van het beschikbare budget te voorkomen? In een vervolgonderzoek zullen diverse opties voor de aggregatie naar schoolniveau met elkaar worden vergeleken, als input voor het beslisproces van OCW.

Maarten Balvers – Inspectie van het Onderwijs
Monaim Benrida – Gelijke Kansen Alliantie
Mark de Boer – Dienst Uitvoering Onderwijs
Ankie Hermans – VO-raad
Lex Herweijer – Sociaal en Cultureel Planbureau
Gert-Jan Kloos – Edith Stein College
Anne-Fleur Roos – Centraal Planbureau
Paul Verstraten – Centraal Planbureau
Nico van Zuylen – VO-raad

Privacy is een groot goed. Ook als je niks te verbergen hebt, heb je heel wat te beschermen. Het CBS is het Statistisch Bureau van Nederland dat onafhankelijk onderzoek uitvoert. Het CBS werkt bij elk onderzoek met strenge eisen om data op een veilige manier te verwerven, te verwerken en te publiceren en is transparant over de manier van werken en de methodieken.   
 
Het CBS verzamelt gegevens van natuurlijke personen, bedrijven en instellingen. Dit is wettelijk vastgelegd in de CBS-wet en de Algemene Verordening Gegevensbescherming (AVG). Identificerende persoonskenmerken worden na ontvangst direct gepseudonimiseerd. Hierdoor kan het onderzoek alleen worden uitgevoerd op gegevens met een pseudosleutel. Bij publicatie zorgt het CBS er bovendien voor dat natuurlijke personen of bedrijven niet herkenbaar of herleidbaar zijn. Ook hanteert het CBS diverse maatregelen tegen diefstal, verlies of misbruik van persoonsgegevens. Het CBS levert geen herkenbare gegevens aan derden, ook niet aan andere overheidsinstellingen. Wel kunnen sommige (wetenschappelijke) instellingen onder strenge voorwaarden toegang krijgen tot gegevens met pseudosleutel op persoons- of bedrijfsniveau. Dit noemen we microdata.  
 
Voor meer informatie, zie onze website: www.cbs.nl/privacy.