Internationaal vergelijken, moeten we dat willen? In gesprek met Roger Standaert

Het vrijkomen van de resultaten van internationale onderwijsvergelijkingen zorgt altijd voor nationale beroering, een kortstondige lawine van commentaren en een lang na-ijl-effect van het vanaf dat moment ontstane beeld. Nationaal onderwijsbeleid lijkt niet meer te kunnen zonder internationale grootheden. Niet iedereen is hiervan gecharmeerd. We spraken emeritus professor Roger Standaert, expert in en kritisch volger van internationale vergelijkingen.

Roger Standaert begon zijn loopbaan als lector in de lerarenopleiding na zijn studies pedagogische wetenschappen. In 1989 promoveerde hij op een vergelijkend proefschrift over het onderwijsbeleid in een aantal landen. Een aantal jaren later werd hij benoemd tot eerste algemeen directeur van de nieuw opgerichte afdeling Onderwijsontwikkeling, belast met het formuleren van eindtermen. Het werd pionierswerk waarvoor hij in 1994 de prijs van de Vlaamse Gemeenschap ontving. In 1997 werd hij voorzitter van het Consortium of Institutes for Development and Research in Education in Europe (CIDREE) en een jaar later werd hij professor vergelijkende pedagogiek aan de universiteit Gent. Zijn publicatie De becijferde school. Meetcultus en meetcultuur, uit 2014, kreeg veel aandacht vanwege de duidelijke standpunten.

Hoe is het begonnen?
Wanneer zijn we internationale vergelijkingen zo uitdrukkelijk in nationaal onderwijsbeleid gaan betrekken? Standaert: “Dat gebeurde zo rond de jaren 70. Toen kreeg de traditie van het internationaal leren van elkaar vanuit de economie een stevige boost. Daaraan ten grondslag lag de Human Capital Theory. Onderwijs, gezondheid en andere maatschappelijke organisaties zouden als menselijk kapitaal de economie vooruithelpen. Het was de start van vele studies naar het verband tussen onderwijs en economische groei, de zogenaamde Rate of Return. Men ging op zoek naar wetmatigheden om dergelijke verbanden op te sporen. De meest gebruikte parameters en indicatoren voor economische productiviteit waren en zijn nog steeds: het gemiddelde inkomen en het bruto binnenlands product. Het ging vaak om correlaties, die wel een verband geven, maar die te ruw waren om oorzakelijke verbanden eruit te distilleren. De evidente reden was, dat men de contexten niet onder controle had, zodat een verandering in systeem A wel goede resultaten opleverde, maar niet in systeem B.” 

We vinden, aldus Standaert, dit soort studies nu terug bij internationale toetsen, zoals de PISA-toetsen, of ook bij de TIMSS- en de PIRLS-toetsen. En inmiddels is de vergelijkende toetsbeweging ook big business geworden, privéconsortia beginnen er brood in te zien. Standaert: “Het organiseren van vergelijkende internationale toetsen zit dus in het kielzog van een economische benadering van het onderwijs. Het typische indicatorendenken vanuit de economie werd overgeplant naar indicatoren, die dan de bijdrage van het onderwijs aan de economie moesten verduidelijken. Daarbij was bij economen en ‘gelovige’ politici niet duidelijk dat het onderwijs niet over een vergelijkingsmaat als geldwaarde of geldpariteit beschikt. De aanname was dan dat dit wel zou kunnen door toetsresultaten, zeg maar punten te vergelijken.” Het is volgens Standaert ook niet toevallig dat een bij uitstek economisch georiënteerde organisatie als de OESO dit pad ging volgen, met onder meer de PISA-toetsen. Men veronderstelde dat de psychometrie erin zou slagen vergelijkbare internationaal geldende ‘telpunten’ (zoals geld) te ontwerpen bij de verwerking van landelijke schoolresultaten. Standaert: “Deze beweging hangt ook samen met een groeiend geloof in de exacte meetbaarheid van menselijk gedrag (in dit geval studieprestaties) via gestandaardiseerde tests. Een zekere euforie vanuit de Angelsaksische psychologie over metingen van intelligentie, schoolvorderingen en attitudes is daar niet vreemd aan.”

Dat Aziaten steeds goed presteren is goed te begrijpen als je de overmaat aan schaduwonderwijs en de loodzware prestatiedruk bij de ouders in rekening brengt. Moeten wij daarom die landen als spiegel gebruiken?

Roger Standaert

 

Vergelijken om van elkaar te leren
De belangrijkste bedoeling bij het vergelijken van onderwijssystemen is altijd geweest om na te gaan hoe men in het buitenland onderwijsproblemen oplost, zegt Roger Standaert. Daarbij geldt natuurlijk wel dat een onderwijssysteem ingebed zit in een geschiedenis en in een culturele context, die het onmogelijk maakt structuren, aanpakwijzen en oplossingen zomaar over te nemen. “Het is vergelijkbaar met het transplanteren van organen. Een orgaan dat getransplanteerd wordt, moet compatibel zijn met het organisme van de patiënt. Zo niet, dan wordt het afgestoten. Het is daarom lichtelijk naïef oplossingen vanuit het buitenland zomaar over te nemen.” Er is altijd een vertaalslag nodig om wat in het buitenland succes heeft, ook te doen slagen in het eigen onderwijssysteem. Je kunt vergelijken wat je wilt maar altijd zul je rekening moeten houden met de realiteit van de context. Standaert noemt: (1) het leren van de individuele leerling, (2) het lesgeven in de klas, (3) de schoolomgeving of het mesoniveau, (4) het macro of nationale niveau. De context is dus gelaagd en bovendien niet losstaand. 

Standaert: “De vier niveaus kunnen los van elkaar worden bestudeerd, maar beïnvloeden ook, trechtersgewijs, elkaar. Als je die contexten gaat inventariseren in landen op wereldschaal kom je uit bij een vrijwel onoverzichtelijk aantal specifieke kenmerken. Landen of groepen van landen bezitten een eigen culturele en historische context, die de grote lijst van contextfactoren kleurt in een bepaalde richting.” Het vergelijken van bijvoorbeeld China met Roemenië , Finland, Mexico of Vlaanderen wordt daarmee een heikele onderneming. Bij het rangschikken van landen meet het vergelijken zich erg grote pretenties aan, vindt Standaert. Dat gebeurt vaak aan de hand van zeer beperkte metingen. En de media versterken vaak de met veel statistisch jargon omgeven zogenaamde kwaliteitsrangschikkingen. Hij vindt dat onwenselijk. “Het is realistisch het te houden bij de traditie van het leren van elkaar, rekening houdend met diverse contexten. Je ziet hoe men in andere landen omgaat met kinderen, die thuis niet de onderwijstaal spreken, hoe men omgaat met verschillen in de klas, hoe men leerlingen burgerzin bijbrengt, hoe men de kwaliteit van het onderwijs interpreteert, enzovoort. Maar telkens kom je na zo’n bezoek – al of niet met een rapport – terug met de voeten op de eigen bodem. Recepten uit het buitenland moeten passen in de eigen receptuur.”

Cijfers als vereenvoudiging
Kenmerkend voor toetssystemen is dat je een cijferwaarde toekent aan gedrag: het kunnen rekenen met procenten, het kunnen uitleggen wat fotosynthese is of het toepassen van de dt-regel. Standaert: “Dat botst met de oervorm van het leren, die essentieel een relatie leraar-leerling is, of in onze tijd een relatie tussen lerende en een multimediale aanpak. Rembrandt heeft leren schilderen en Erasmus in het Latijn leren schrijven zonder punten. Later heeft men wel omwille van de eenvoud van communicatie cijfers op rapporten gezet. Zo blijkt of je goed zit of minder goed. Die cijfers pretenderen niet direct dat ze een wetenschappelijke schaal zijn zoals meters, frequenties, graden, voltages en dergelijke. Dat doen toetsen wel: je hebt immers cijfers nodig om te tellen of vergelijken. Maar we vergeten dan wel dat we daarvoor een aantal ‘subjectieve ‘ beslissingen moeten nemen. Hoe paradoxaal het ook klinkt, als je een cijfer zet op een gedrag - in ons geval een antwoord op een vraag - dan begint ook de subjectiviteit. Om een cijfer toe te kennen, ga je immers uit van aannames. 

Stel dat ik wil toetsen hoe het zit met het rekenen met procenten. Dan is mijn eerste aanname: ik kies één van de mogelijke oefeningen (met verschillende moeilijkheidsgraad) als vraag. Vervolgens besluit ik: ik zet op alle vragen van mijn toets één punt; dat rekent gemakkelijk. (Waarom één punt? Zijn alle inhouden en oefeningen even belangrijk en evenveel waard? Hoe weet je dat?) En: ik werk vaak met meerkeuzevragen of andere vormen van gesloten vragen omwille van de verwerking en gestandaardiseerde scoring. (Heb ik daarmee het denkproces van de leerling gevat?)

Nu ga ik een stap verder. Ik toets het omvangrijke domein wiskunde en niet alleen het procentrekenen. Ik moet dus uit de massale hoeveelheid van mogelijke oefeningen en vragen een keuze maken. Er komt dus een vierde aanname: ik tracht een zo representatief mogelijke staalkaart te maken van mogelijke vragen uit het hele gebied. Ik moet dus op een toets van één of twee uur zicht krijgen op het hele leergebied. Dan begint de discussie over de validiteit van een toets. In welke mate is die representatief? Maar het blijft een aanname en een keuze. Als instituut A een dergelijke toets maakt, dan zal die anders zijn dan als instituut B die toets maakt. Je kiest voor een bepaald toetsdesign. De alleenzaligmakende toets bestaat dus niet. Dan gaat het nog niet over de aannames waarbij we de ruwe resultaten van toetsen corrigeren voor bijvoorbeeld intelligentie, sociaal milieu, thuistaal, etniciteit, buurt… Telkens gaat het opnieuw om aannames, die je met een cijferwaarde bekleedt. Als je die cijferwaarden in je formule verandert, verandert ook de rangschikking van de resultaten.”

Ruis op wereldschaal
Als er al zoveel afhankelijk is van allerlei aannames in het proces van toetsen op kleine schaal, dan laten de opvattingen over internationaal vergelijken van Roger Standaert zich wel raden. “Vertaal al deze aannames op wereldschaal, dan moet je die aannames en mogelijke combinaties in het kwadraat bekijken. Het is daarom dat het maken van rangschikkingen van landen op basis van dergelijke toetsen geen zin heeft. Dat geldt a fortiori voor de PISA-toetsen omdat zij zich niet baseren op leerplannen, maar op zogenaamde competenties. Wie bepaalt die competenties? Bestaan er wereldeindtermen en zo ja wie bepaalt die dan? Toeval en eigen culturele kenmerken bepalen de uitslagen. Dat Aziaten steeds goed presteren is goed te begrijpen als je de overmaat aan schaduwonderwijs en de loodzware prestatiedruk bij de ouders in rekening brengt. Moeten wij daarom die landen als spiegel gebruiken? Als het over begrijpend lezen gaat, kom je terecht in grote discussies over wat ‘begrijpen’ is en hoe de structuur van een taal (beeldtaal tegenover fonetische) andere denkprocessen vergt.”

Zinvol vergelijken
Gezien de lage validiteit van de internationale toetsen qua inhouden, kun je de vraag stellen of er niet te veel aandacht wordt aan besteed. Maar, zo zegt Standaert, dan word je geconfronteerd met dikke volumes ‘gesofistikeerde statistische bewerkingen’. En die zijn ook wiskundig correct. “Maar jammer genoeg versluieren die mooie en duidelijke statistieken het palet van aannames die stap voor stap culmineren in een grote afstand tussen wat meester Jan en juf Fatima in de klas doen.” 

Is het deelnemen aan die toetsen dan helemaal geldverspilling? Toch niet, zegt Standaert. “Je kunt eender welke toets, zelfs als hij niet valide is, koppelen aan kenmerken van leerlingen en eventueel leraren. Bij die gemeenschappelijke toets kunnen analyses worden gemaakt naar verbanden met die kenmerken. Je ziet dan hoe verschillend die meespelen in andere landen. Bekend is bijvoorbeeld de grote impact van het sociaal-economisch milieu bij bepaalde landen. Of ook de thuistaal bijvoorbeeld. En dan heb je wel stof voor reflectie. En die kan dan dienen als knipperlicht voor verder onderzoek in eigen land. 

Als je de kwaliteit van het onderwijs wilt nagaan in je eigen land moet je inzetten op duidelijke doelen, die eigen zijn voor je land en die je zo concreet mogelijk maakt. Gewoon omdat iedere concrete doelstelling kan omgezet worden in verschillende mogelijke vragen of items. Ook daar maak je dus al een (zij het beperkte) keuze. Buitenlandse onderwijssystemen hebben andere doelen en andere configuraties van doelen en kunnen dus niet op basis van toetsen, maar op basis van hun initiatieven en werkwijzen een bijdrage tot de eigen kwaliteit leveren.”

We kunnen leren van andere onderwijssystemen. Maar, zo zegt Standaert, dat vergt een grondige studie van de systemen in kwestie, zodat de historische en culturele plaats van situaties, maatregelen en resultaten mee wordt verrekend. Want daarzonder is het onmogelijk om elementen uit een ander systeem over te planten in ons eigen onderwijs. Studieverblijven, thematische congressen, vragenlijsten, statistische data kunnen daarbij helpen.

“Inmiddels trappelt mijn trouwe Mechelse herder van ongeduld voor de dagelijkse wandeling. En ik bedenk nu dat onderwijssystemen eigenlijk zijn als honden. Een chow chow, een beagle, een dwergpinscher of een Hollandse herder? Het zijn allemaal honden, maar ze zijn toch zo verschillend.”

Roger Standaert begon zijn loopbaan als lector in de lerarenopleiding na zijn studies pedagogische wetenschappen. Vanaf 1976 tot 1989 gaf hij leiding aan een grootscheeps vernieuwingsproject voor het secundair onderwijs in Vlaanderen. Met medeauteur F. Troch ontving hij in 1980 de toenmalige driejaarlijkse staatsprijs voor het beste pedagogisch werk ‘Leren en Onderwijzen’. In 1989 promoveerde hij op een comparatief proefschrift over het onderwijsbeleid in een aantal landen. In 1991 werd hij benoemd tot eerste algemeen directeur van de nieuw opgerichte afdeling Onderwijsontwikkeling, belast met het formuleren van eindtermen. In 1994 ontving hij de prijs van de Vlaamse Gemeenschap voor zijn pionierswerk over eindtermen. In 1997 werd hij voorzitter van het Consortium of Institutes for Development and Research in Education in Europe (CIDREE). In 1998 werd hij professor vergelijkende pedagogiek aan de universiteit Gent. Naast een tiental boeken publiceerde hij talrijke bijdragen in binnenlandse en buitenlandse readers en tijdschriften, voornamelijk in verband met kwaliteitsborging en onderwijsbeleid. Momenteel is hij actief als expert in diverse nationale en internationale onderwijsprojecten. Zijn publicatie “De becijferde school. Meetcultus en meetcultuur”, kreeg heel wat aandacht omwille van de duidelijke standpunten. Meest recent is zijn boek, samen met M. Valcke: ‘Het onderwijsbeleid in Vlaanderen’.

Lees ook: https://www.researchgate.net/publication/317233298_The_OECD_and_Cold_War_Culture_thinking_historically_about_PISA

Delen: