van12tot18 agendavan12tot18 webshop
van12tot18 proefabonnementvan12tot18 estafette


btn lezen

scoren-op-de-internationale-lijstjesScoren op de internationale lijstjes

Rankings in het onderwijs

De allereerste poging om systematisch kenmerken van onderwijsinstellingen in kaart te brengen dateert van 1799. Met een enquête uitgebracht door ‘Agent van Nationale Opvoeding’ werd gepoogd een eerste ‘Overzicht van de toestand van scholen en onderwijs in Nederland’ te geven. Daaronder vielen zowel de toenmalige universiteiten en de Latijnsche, Fransche en Nederduitsche Scholen. In eindeloze tabellen is te lezen uit hoeveel zielen de gemeenschappen bestonden, hoeveel onderwijzers, bedienden en leerlingen er per school waren en wat de ‘jaarwedde’ was. Ook staat er informatie in over de fondsen die beschikbaar zijn en de middelen voor ‘minvermogende leerlingen’. Een deel van de informatie, zoals namen van personen en hun salaris, is tegenwoordig een stuk lastiger te vinden.

Meer dan 200 jaar later weten we veel meer over onderwijsinstellingen en is de behoefte aan steeds meer informatie alsmaar groter geworden. Rankings zijn populair omdat ze gebruikers een eenvoudig en snel beeld geven van de positie van landen of van instellingen. Maar ze leiden ook tot kritiek. Vergeten wordt soms dat rankings gebaseerd zijn op meerdere onderliggende indicatoren: het is de totaalpositie die het meeste aandacht krijgt. Dat is tegelijkertijd een valkuil van rankings. Ze zijn globaal en doen (te) weinig recht aan de complexiteit van datgene wat gemeten wordt.

In dit artikel zetten we de belangrijkste rankings op een rij. Het gaat om rankings die een directe of indirecte relatie hebben met het voortgezet onderwijs. Via nationaal en internationaal beleid hebben ook rankings die niet direct voortkomen uit het voortgezet onderwijs soms toch invloed. In de ‘longread’ op www.van12tot18.nl noemen we ook nog de drie belangrijkste rankings voor universiteiten, die in de beeldvorming over de kwaliteit van het Nederlandse onderwijs een grote rol spelen.

Programme for International Student Assessment - PISA
Veruit het bekendste internationaal vergelijkend onderzoek in het voortgezet onderwijs is het PISA-onderzoek, dat wordt uitgevoerd onder regie van de OESO. Sinds 2000 wordt om de drie jaar in een groot aantal landen een representatieve steekproef getrokken van 4.500 - 10.000 15-jarige scholieren in het onderwijs, die uitgebreid getoetst worden op leesvaardigheid, wiskunde, en natuurwetenschappen. Per peiling ligt de nadruk op een van deze drie domeinen. Naast deze vaste kern is er per editie een aanvullende component zoals probleem oplossen (2003), leesvaardigheid (2009), economie (2012) en financiële geletterdheid (2015).

PISA heeft veel invloed op het nationale beleid. De uitkomsten hebben tot grote verrassingen geleid: zo werd Finland ‘ontdekt’ als succesverhaal door de hoge PISA-scores en kreeg men in Duitsland te maken met de ‘PISA-Shock’. De resultaten uit 2000 waren voor Duitsland zo dramatisch dat men in het decennium erna serieus ging nadenken over het ondenkbare: namelijk dat er nationaal onderwijsbeleid zou komen. Veel deelstaten gebruiken de PISA-resultaten om hervormingen in het onderwijs te stimuleren. Het beleid van de OESO om alle data zoveel mogelijk openbaar te maken, helpt ook bij de verspreiding ervan.

De grote invloed van PISA op onderwijsstelsels is door velen bekritiseerd. Zo verscheen er in 2014 een open brief van meer dan 100 wetenschappers die zich zorgen maakten over de smalle definities van onderwijskwaliteit en het gebrek aan democratische controle op de OESO.

Trends in International Mathematics and Science Study - TIMSS
Sinds 1995 wordt wereldwijd elke vier jaar de kennis van leerlingen in de exacte vakken gemeten met een internationale TIMSStoets voor het basisonderwijs en/of het voortgezet onderwijs. In 2015 vond de laatste editie plaats, de resultaten zijn in november 2016 gepubliceerd. TIMSS geeft landen de mogelijkheid in kaart te brengen hoe goed hun leerlingen in de exacte vakken presteren in vergelijking tot andere landen. Via schriftelijke vragenlijsten voor leerlingen, leraren en schoolleiders wordt informatie verzameld over de onderwijscontext.

De dataverzameling van de TIMSS-onderzoeken richt zich op meerdere groepen leerlingen. Zo werden in het verleden groepen 5 en 6 van het basisonderwijs, leerjaar 1 en 2 van het voortgezet onderwijs en het laatste jaar van het voortgezet onderwijs ondervraagd. In 2015 deden leerlingen mee uit Grade 4. Daarnaast deed Nederland mee aan TIMSS Advanced 2008 (Grade 12).

De invloed van TIMSS op nationaal beleid is groot. Zo leidde een kleine daling in rekenvaardigheid tussen 1995 en 2007 tot de invoering van referentieniveaus voor taal en rekenen in 2010. Ook de afspraken die in hoofdlijnenakkoorden met de PO- en VO-raad zijn vastgelegd komen voort uit de constatering dat de basisvaardigheden onder druk stonden.

Een andere belangrijke constatering uit PIRLS (Progress in International Reading Literacy Study) en TIMSS 2011 was dat de prestaties van de leerlingen met het hoogste niveau achterbleven ten opzichte van leerlingen in andere landen. Nederland was goed in staat om het niveau van de zwakste leerlingen omhoog te krijgen, maar slecht in staat om leerlingen met een hoog niveau ook goed te laten presteren. De initiatieven om excellentie te bevorderen komen daar mede vandaan.

TIMSS wordt gecoördineerd door het TIMSS & PIRLS International Study Center te Boston onder leiding van het International Association for the Evaluation of Educational Achievement (IEA). Het Nederlandse aandeel van TIMSS wordt sinds 1995 uitgevoerd door de Faculteit Gedragswetenschappen van de Universiteit Twente.

Progress in International Reading Literacy Study - PIRLS
PIRLS is een internationaal vergelijkend onderzoek naar de vaardigheid in begrijpend lezen bij basisschoolkinderen na vier jaar leesonderwijs. Het onderzoek vindt elke vijf jaar plaats en aan het onderzoek nemen ongeveer 50 landen deel, 4500 leerlingen per land.

Eerdere PIRLS-metingen vonden plaats in 2001, 2006 en 2011. De Nederlandse resultaten van PIRLS-2011 zijn beschreven in een nationaal rapport. In 2016 heeft er weer een PIRLS-meting plaatsgevonden. PIRLS wordt geïnitieerd door de International Association for the Evaluation of Educational Achievement (IEA). Het Expertisecentrum Nederlands voert PIRLS in Nederland uit.

European Survey on Language Competences - ESLC
ESLC is een peilingonderzoek naar de vaardigheid in vreemde talen van leerlingen in Europa. In elk deelnemend land zijn de twee meest onderwezen vreemde talen getoetst, in Nederland zijn dit Engels en Duits. Er is ook achtergrondinformatie verzameld over onder andere de organisatie van het vreemdetalenonderwijs op scholen en de houding van leerlingen ten opzichte van het leren van vreemde talen. Het eerste peilingsonderzoek is gehouden in 2011. Aan het onderzoek deden meer dan 50.000 leerlingen mee uit 16 landen. Meerdere peilingsonderzoeken zullen mogelijk volgen, naar verwachting eens in de vier jaar.

PISA 2015 Wiskunde (2012) PISA 2015 Natuurwetenschappen (2012) PISA 2015 Leesvaardigheid (2012)  TIMMS 2015 Wiskunde (2012) TIMMS 2015 Natuurwetenschappen PIRLS 2011 Leesvaardigheid
1 Singapore
2 Hong Kong
3 Macao
4 Chinees Taipei
5 Japan
6 B-S-J-G
(China)
7 Korea
8 Zwitserland
9 Estland
10 Canada
11 Nederland (10)
1 Singapore
2 Japan
3 Estland
4 Chinees Taipei
5 Finland
6 Macao
7 Canada
8 Vietnam
9 Hong Kong
10 B-S-J-G
(China)
11 Korea
12 Nieuw Zeeland
13 Slovenië
14 Australië
15 United
Kingdom
16 Duitsland
16 Nederland (14) 
1 Singapore
2 Hong Kong
3 Canada
4 Finland
5 Ierland
6 Estland
7 Korea
8 Japan
9 Noorwegen
10 Nieuw Zeeland
10 Duitsland
10 Macao
11 Polen
12 Slovenië
13 Nederland (15) 
1 Singapore
2 Hong Kong
3 Korea
4 Chinees Taipei
5 Japan
6 Noord Ierland
7 Russische
Federatie
8 Noorwegen
9 Ierland
10 Engeland
10 Vlaanderen
11 Kazachstan
12 Portugal
13 VS
13 Denmark
14 Letland
14 Finland
14 Polen
15 Nederland (12) 
1 Singapore
2 Korea
3 Japan
4 Russische
Federatie
5 Hong Kong
6 Chinees Taipei
7 Finland
8 Kazachstan
9 Polen
10 VS
11 Slovenië
12 Hongarije
13 Zweden
14 Noorwegen
15 Engeland
15 Bulgarije
16 Tsjechische
Republiek
17 Kroatië
18 Ierland
19 Duitsland
19 Letland
20 Denmark
21 Canada
21 Serbia
22 Australië
23 Slovak
Republic
23 Northern
Ierland
24 Spain
25 Nederland 
1 Hong Kong
2 Russische
Federatie
3 Finland
4 Singapore
5 Noord-Ierland
6 VS
7 Denmark
8 Kroatië
9 Chinees Taipei
10 Ierland
11 Engeland
12 Canada
13 Nederland



Teaching and Learning International Survey - TALIS
TALIS is een internationaal vergelijkend onderzoek van de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO) onder leraren en schoolleiders over hun beroep en werkomgeving. TALIS geeft leraren en schoolleiders de kans zich uit te spreken over hun vak en hun school en levert door (internationale) vergelijkingen waardevolle inzichten op. TALIS werd voor het eerst uitgevoerd in 2008. De Nederlandse respons was toen te laag om volledig mee te kunnen doen in de internationale rapportages. In 2013 lukte dat wel. Er deden ruim 100.000 leraren en 10.000 schoolleiders mee uit 33 landen, waaronder ongeveer 2.000 leraren en 130 schoolleiders van bijna 130 scholen voor het voortgezet onderwijs in Nederland. In 2018 wordt het onderzoek opnieuw uitgevoerd, en doen er 47 landen mee. Nederland doet voor de derde keer mee in de onderbouw van het voortgezet onderwijs en voor de eerste keer in het basisonderwijs.

TALIS 2018 biedt leraren en schoolleiders de mogelijkheid zich uit te spreken over hun eigen professie en werkomstandigheden om zo een bijdrage te leveren aan nationale beleidsontwikkeling. Tevens krijgen leraren en schoolleiders een terugkoppeling van de resultaten van de eigen school, afgezet tegen andere scholen in Nederland.

Global Competitiveness Index - GCI
De GCI is vanaf 1997 een jaarlijkse index van het World Economic Forum waarin de concurrentiekracht van bijna 140 landen wordt beoordeeld op basis van een breed scala van 114 indicatoren die in 12 pijlers zijn ondergebracht. Onderwijs is een van de pijlers. Een belangrijk deel van de resultaten van de indicatoren is afkomstig van een jaarlijkse survey onder bedrijven.

De GCI heeft veel invloed op het nationale beleid. Zo nam de Tweede Kamer de motie-Hamer aan, waarin de regering werd opgeroepen om te zorgen dat Nederland tot de ‘top-5’ van de wereld zou gaan behoren. Op dat moment was Nederland net weggezakt naar plaats 10. Echter, op de pijler onderwijs stond Nederland toen al in de top-5, en die positie is in de afgelopen jaren vrij constant geweest. Inmiddels scoort Nederland nummer 4 van de wereld op de totale index en nummer 3 op de 5de pilaar van de index (Hoger onderwijs en training), waarvan het voortgezet onderwijs een subindicator is.
Ook het hoger onderwijs kent z’n eigen rankingen, zoals ARWU Shanghai ranking, de QS World University Ranking en de Times Higher Education Ranking. U vindt een beschrijving ervan in de langere versie van dit artikel op www.van12tot18.nl

ARWU – Shanghai ranking
De Academic Ranking of World Universities (ARWU) was de eerste wereldwijde universitaire ranking. Deze ranking wordt vanaf 2003 jaarlijks gepubliceerd door de Shanghai Jiao Tong Universiteit (daarom ook wel Shanghai ranking genoemd). De positie op de algemene Shanghai ranking wordt vastgesteld met indicatoren die vooral betrekking hebben op onderzoek: alumni en staf van een instituut die prijzen hebben gewonnen, hoog geciteerde onderzoekers, artikelen in gerenommeerde tijdschriften.

Twaalf Nederlandse universiteiten staan in de ranking 2016 in de top 400. Er zijn naar schatting bijna 1.200 universiteiten wereldwijd in de ranking opgenomen.

QS World University Ranking
De QS World University Ranking stelt een ranking van 800 topuniversiteiten samen en gebruikt hiervoor een zestal indicatoren: academische reputatie, werkgeversreputatie, citatiescore per faculteit, staf student ratio, het aandeel internationale studenten en het aandeel internationale staf. De rangorde van de universiteiten is een andere dan bij de Shanghai ranking. De QS ranking is vooral te karakteriseren als een ranking op basis van reputatie, terwijl de Shanghai ranking een ranking is die is gebaseerd op feitelijke wetenschappelijke prestaties. Net als veel andere rankings, kent ook QS een commercieel model. Universiteiten kunnen tegen betaling analyses en benchmarks ontvangen.

Times Higher Education Ranking
Het tijdschrift ‘The Times Higher Education’ publiceert sinds 2004 de THE World University Rankings. De ranking bestrijkt net als de QS ranking een breed palet aan universitaire activiteiten: onderwijs, onderzoek, citaties, inkomsten van bedrijven en internationale oriëntatie. De ranking kent subject-rankings op een zestal gebieden. Een derde van de scores is gebaseerd op een reputatie survey onder wetenschappers. De methodologie van deze ranking is al verschillende malen gewijzigd naar aanleiding van kritieken. Door de wijzigingen in de methodologie adviseert men de resultaten van het ene jaar niet te vergelijken met die van eerdere of latere jaren.

Beperkingen van rankings
Ranglijsten en ‘oliebollenlijstjes’ krijgen zowel veel kritiek als media-aandacht. Dat is voor sommigen een aantrekkelijke mix, en een van de redenen dat ranglijsten niet snel zullen verdwijnen. Te veel mensen en instellingen verdienen er bovendien aan. De drie belangrijkste databronnen voor ranglijsten (PISA, TIMSS en PIRLS) in het voortgezet onderwijs zijn in ieder geval relatief degelijk en uitgebreid. In het universitair onderwijs zijn de rankings vaak gebaseerd op veel minder betrouwbare data.

Toch moeten we er voorzichtig mee omgaan. Met name PISAresultaten, die door een toegankelijke website van de OESO werkelijk voor elke denkbare correlatie zijn gebruikt, schieten soms het doel voorbij. Rankings geven dan vooral een globaal beeld van de positie van landen, nationale onderwijssystemen en van individuele instellingen daarbinnen. Kleine veranderingen in de methodologie (welke indicatoren, hoe worden de data verzameld) kunnen leiden tot veranderingen in de lijst.

Ondanks alle kritiek zijn rankings niet meer weg te denken uit discussies over de prestaties van landen of de prestaties van instellingen. Om de resultaten van de rankings toch op een zinvolle manier te gebruiken, zouden ze vooral aanleiding moeten zijn om de bewustwording over specifi eke onderwerpen in het onderwijsbeleid en de onderwijspraktijk tot stand te brengen. Met andere woorden, als startpunt voor gesprek, met inachtneming van de doelstellingen en context van het onderwijssysteem of instelling.

Wilt u meer weten over de recente resultaten van het PISA-onderzoek, dan verwijzen we u graag naar de site van de VO-raad voor een samenvatting van het rapport door de VO-raad, https://www.vo-raad.nl/nieuws/vo-raad-in-reactieop-pisa-kritisch-kijkennaar-ruimte-voor-verbetering. En het rapport 'Resultaten PISA-2015 in vogelvlucht' en de bijbehore de Kamerbrief naar https://www.rijksoverheid.nl/ministeries/ministerie-van-onderwijs-cultuur-enwetenschap/documenten/rapporten/2016/12/06/resultaten-pisa-2015-in-vogelvlucht.


Reinout van Brakel is op dit moment domeinleider accountability bij VSNU, en was hiervoor onder andere beleidsonderzoeker bij Ecorys. Ook is hij de initiatiefnemer van de blog Onderwijs in Grafieken.

Abonneren >>
Inschrijven nieuwsbrief >>
Kennispartners >>