Cijfergeven en technocratische tests: goed onderwijs kan ze missen als kiespijn

Over beoordelen schreef mijn mentor Wim Hofstee een principieel boek Principes van beoordeling. Methodiek en ethiek van selectie, examinering, en evaluatie. tinyurl.com/mtdrmhx9 Beoordelen in onderwijs is daar maar een onderdeel van, maar welk een enorme impact heeft het op onze levens! Dat beoordelen staat ook voortdurend ter discussie in diverse media en in de politiek. Wat zou het geweldig zijn een paar ankers te hebben waar die discussies een rustpunt kunnen vinden.

Serieuze verschillen, merkwaardige overeenkomsten

Het toetsen heeft geen eigen methodologie anders dan wat de traditie dicteert: het is ‘vijven en zessen’ geblazen, een taaie traditie van cijfergeven die toch pas dateert van halverwege de 19e eeuw. Hoe ingrijpend de wereld daarna ook veranderde, de cijfergewoonten zijn rotsvast (wet van Posthumus).

Het testen heeft wel een eigen methodologie, de psychometrie, die nogal ideologisch is bepaald. Er is niets objectiefs aan tests, behalve dat zij vaak automatisch zijn te scoren, wat op zich een verdienste van niets is. Deze testpsychologie kreeg een eeuw geleden een enorme oppepper door een Franse test, ontwikkeld door Alfred Binet die hij een intelligentietest noemde. Wat had hij daar spijt van. Er is een woord voor, en zelfs een test, dus intelligentie bestaat en kinderen verschillen erin. Zou het echt?

In de VS zagen testpsychologen al vroeg een markt voor hun IQ-tests (er moest in 1917 rap een leger op de been gebracht) en vervolgens ook voor tests in het onderwijs. Het toetsen werd leraren in de VS uit handen genomen en vervangen door talloze testjes, vaak in keuzevorm. Deze testpandemie sloeg in de zestiger jaren over naar Nederland: A.D. de Groot nam het virus mee vanuit de VS. Leraren werd verteld dat de enige goede toetsen vierkeuzetoetsen zijn. En zo raakte een traditie-gedreven toetspraktijk van leraren besmet met pseudo-wetenschappelijk jargon, gedachteloos ontleend aan een totaal andere discipline, de testpsychologie/psychometrie.

Want testpsychologie veronderstelt dat men voor tests niet specifiek is voorbereid. Terwijl voor toetsen juist de kern van de zaak is dat leerlingen er wel specifiek op zijn voorbereid: dat is immers de core business van onderwijs. Werelden van verschil. Ze verwarren is gekmakend.

Een belangrijke merkwaardige overeenkomst tussen onderwijs en testpsychologie is dat beide verzot zijn op rangordenen.

Het West-Europese onderwijs rangordent al sinds de middeleeuwen, met prijzen of aantrekkelijke banen als beloning voor de best presterenden. Dat alles om studenten te motiveren, ook al zag men wel in dat dit rangordenen voor de meeste studenten juist niet motiverend was.

De testpsychologie ontwerpt tests die een zo groot mogelijke spreiding in de doelgroep opleveren, een sterke rangorde dus, om zo beter te kunnen klassificeren of voorspellen. De IQ-test is daar het bekendste voorbeeld van.

Dubbel-blind onderzoek, moet dat dan?

Ik gebruik nu de methodologie/standaarden van de testpsychologie om helder te krijgen waar we in het onderwijs mee bezig zijn met onze permanente selectie. Niet om die selectie ‘beter’ te doen, maar om misstanden gericht te kunnen bestrijden.

Een voorbeeld. De testpsychologie schrijft voor dat het gebruik van de Eindtoets Basisonderwijs valide moet zijn, en anders stoppen ermee (‘Standards’ 2014 tinyurl.com/237skenc). Die validiteit moet in beginsel via dubbelblind experimenteel onderzoek worden bepaald. Het probleem is nu dat zo’n experiment om ethische en praktische redenen niet mogelijk is. Het is dus nooit gedaan! Op zo’n manier medicijnen in de markt zetten noemen we misdadig. Deze Eindtoets Basisonderwijs blaast kansen op eerlijk onderwijs het raam uit.

Maar die Eindtoetsen voorspellen toch redelijk waar leerlingen zich drie jaar later bevinden? Zeker, maar iedereen is op de hoogte van de voorspelling hè! Verwachtingen, verwachtingen. Placebo-effecten. Daarom is nu juist dubbelblind onderzoek nodig.

Cijfergeven = rangordenen, wist u dat?

Waar de testpsychologie sinds Binet’s intelligentietest van het rangordenen een wetenschap maakte, evolueerde het rangordenen in het onderwijs eerder al tot pseudo-gestandaardiseerd cijfergeven, waar het onderwijs in is blijven hangen: een lock-in. Bij de Franse Agrégation ontstond in een paar evolutiestappen halverwege de 19e eeuw uit het traditionele rangordenen het pseudo-gestandaardiseerde cijfergeven. De beste zijn van een kleine of juist een grote jaarklas is zo’n verschil dat met cijfergeven is op te vangen. Dit is een belangrijk historisch inzicht hoor! A.D. de Groot had bij zijn Vijven en zessen niet naar de historische wortels van cijfergeven gezocht. Die zijn ook lastig te vinden, ik kwam er zelf achter via een toevalsvondst bij André Chervel (zijn boek over de Agrégation).

De testpsychologie pakt het rangordenen rationeel aan door onderzoekmatig normtabellen op te stellen voor zijn doelgroepen. Zodoende bleek bijvoorbeeld dat de tabellen voor IQ-tests na enige tijd moesten worden bijgesteld omdat leerlingen doorheen de vorige eeuw steeds intelligenter bleken: het Flynn-effect.

Daartegenover zien we dat in het onderwijs iedereen zijn eigen ding doet met cijfergeven, slechts vaag geleid door noties als ‘een 5 is juist onvoldoende’. Die cijfers geven informatie over waar leerlingen in de onderlinge pikorde staan, maar dus weinig of geen inhoudelijke feedback op prestaties zelf.

Cijfergeven zit instructie en leren in de weg

Dat rangordenen en cijfergeven zit eerlijk onderwijs in de weg, elders meestal gelijke kansen genoemd. Dat geldt ook voor het rangordenen met leerlingvolgsystemen en andere intelligentietests. In de testpsychologie is het evident dat ruwe scores omgezet moeten worden naar testscores met behulp van de al genoemde normtabellen. Zo komen we aan een normaalverdeling voor intelligentie; maar dat is louter kunstmatig! In het onderwijs doen we dat anders: de basis is dat we antwoorden vakmatig beoordelen op hun juistheid. Daar is niets mis mee. En het is een goed uitgangspunt voor feedback naar leerlingen, of voor de leraar zelf uiteraard. Formatief toetsen. Maar vervolgens doen we iets merkwaardigs: we geven een waardering aan die antwoorden, een cijfer. Waar is dat voor nodig? Het heeft weinig of niets met onderwijs zelf te maken.

Onvoldoende/voldoende

Tot de pseudo-standaardisering van het cijfergeven hoort bovendien het stellen van een grens tussen ‘onvoldoende’ en ‘voldoende’ prestaties, in Nederland door wetgeving dàt er zo’n grens moet zijn. Niet hoe die is te bepalen, want dat is alweer zo’n onopgelost probleem, hoewel er veel schijnoplossingen zijn. Ik weet niet wat daar de historische wortels van zijn. Het is een cultureel fenomeen dat leraren, en zij niet alleen, behoefte hebben om verschillen tussen leerlingen op zo’n manier te benoemen. De ‘wetmatigheid van Posthumus’ laat dat zien: het zittenblijven/afstromen in de HBS, van 1870 tot 1940, was jaarlijks ca. 23%, wat er ook in de wereld veranderd mocht zijn. Dit zittenblijven heeft geen rationele basis.

Posthumus heeft laten zien dat leraren kennelijk niet anders kunnen dan telkens een vast percentage onvoldoende te geven en te laten zitten. Maar dat moet betekenen dat leerlingen als collectief evenmin bij machte zijn om dat traditionele patroon te doorbreken. Wat is er aan de hand met deze toetserij? Want laten we wel wezen, dit fenomeen is compleet in strijd met hoe langs rationele weg selectieprocedures worden ontworpen. Hier is iedere ratio ver te zoeken, behalve de ratio ‘we gaan het niet anders doen dan onze voorouders deden’.

Systemische krachten

Maar is het louter traditie? Of zijn er ook ‘systemische’ krachten aan het werk die we door die traditie heen niet goed in de peiling hebben? Vijven en zessen gaf al iets aan van onderlinge concurrentie van leraren. Zouden leraren misschien ook met leerlingen in concurrentie zijn? Wat denkt u? Socioloog James Coleman presenteerde een model voor zeg maar een ‘stilzwijgende onderhandeling’ tussen leraren en leerlingen. Dat gaat als volgt:

De leraren zetten hun cijfers in, in ruil voor tijdbesteding van hun leerlingen. Tegelijk zetten leerlingen hun tijdbesteding in om goede cijfers van hun leraren te krijgen. Een dynamisch systeem, waarin leraren en leerlingen elkaar in een houdgreep hebben, en geen van beide partijen in staat lijkt de beoordelingstradities te veranderen. Zou dat kunnen? Maar dit is in het onderwijs geen gezonde situatie hè! Dat cijfergeven, daar moeten we echt van af.

Toetsen integreren met instructie en leren

Cijfergeven gaat samen met moeilijke vragen stellen. Het is dus niet zo, helaas, dat weghalen van het cijfergeven (stop ermee, zegt Dylan Wiliam) voldoende is om een zuiver vakmatige beoordeling over te houden.

Opgaven wiskunde die leerlingen gemiddeld 40% fout maken mogen wiskundig gezien oké zijn, maar in het onderwijs is het niet professioneel om in toetsen vragen op te nemen die gemiddeld zo moeilijk zijn. Zij belemmeren leerlingen zich doeltreffend voor te bereiden: per definitie kunnen ze het dan collectief niet winnen van hun leraar. A.D. de Groot protesteerde tegen dit permanente selecteren. Moeilijke vragen zijn bovendien voor de meeste leerlingen demotiverend, zijn op zich geen goed leermoment, en zijn ook niet optimaal voor het consolideren van kennis.

Kwalitatief hoogwaardig onderwijs vraagt om veel toetsen als integraal onderdeel van instructie en leren. Die toetsen mogen juist niet moeilijk zijn. Dat is een totaal andere benadering dan die van de psychometrie die verschillen tussen leerlingen wil vastleggen. Dan zijn we niet meer met onderwijs bezig, maar met selectie. Maar dat is geen taak van onderwijs hè!

Recht – ethiek

Ik heb in het voorgaande niet benoemd dat het beoordelen van leerlingen, of dat nu door hun leraar, of technocratisch door een test of centraal examen gebeurt, onderworpen is aan grenzen die recht en ethiek stellen. Het recht: fair play en andere beginselen zoals die leven in het algemene rechtsbewustzijn van burgers. Ethiek: respecteer leerlingen, respecteer het recht, doe het goede.