Maatschappelijke verantwoordelijkheid voor kwaliteit

Toetskwaliteit is niet zo vanzelfsprekend als het lijkt. Wie dit als geen ander onderschrijft, is Theo Eggen. Tien jaar geleden hield hij zijn oratie met als titel ‘Kwaliteit van toetsen’ en nog steeds doet hij voortdurend onderzoek op dit vlak. Weten Eggen en Cito dan nog steeds niet genoeg van kwaliteit? Theo Eggen: ‘We weten veel bij Cito. We denken als organisatie niet voor niets nationaal en internationaal mee als er kwaliteitsstandaarden bepaald moeten worden. Maar het onderwijs verandert, digitale mogelijkheden veranderen, toetsbehoeften veranderen. Dus wat is kwaliteit? Het is geen statisch concept. Ook wij, met onze jarenlange expertise, worden gedwongen het idee van kwaliteit steeds opnieuw onder de loep te nemen.’

Toetskwaliteit is voor Cito zo belangrijk, dat het als eerste innovatiethema benoemd is in het Meerjarenbeleidsplan. Theo Eggen: ‘Bij Cito staan we voor kwaliteit. We voelen het als onze maatschappelijke verantwoordelijkheid om toetsen en examens van goede kwaliteit te ontwikkelen. Overdreven? Nou, nee. Mede op basis van onze meetinstrumenten worden in Nederland belangrijke toekomstbepalende beslissingen over leerlingen genomen. Bijvoorbeeld of je geslaagd bent of niet, of je gecertificeerd mag worden of niet. Daarom is kwaliteit zo belangrijk. Het is onze basis waarop het onderwijs moet kunnen vertrouwen.’

Kwaliteit ontstaat in interactie

Kijkt Cito tegenwoordig anders naar kwaliteit dan in het verleden? ‘Jazeker. We onderkennen dat kwaliteit tegenwoordig meer kanten heeft. Kijk, psychometrisch zijn we bij Cito een wereldspeler. Daar is geen woord aan gelogen. Het ging bij ons primair over de meetkwaliteit van een toets of examen: de productkwaliteit. We werkten dan ook vaak met vaste sets kwaliteitscriteria waar een toets aan moet voldoen. Zonder bijvoorbeeld verschil te maken tussen po en vo. Steeds vaker zien we dat we daarmee het kwaliteitsbegrip tekort doen.’

Je kunt verschillende toetsdoelen afwisselen: summatieve doelen om leereenheden af te sluiten en formatieve doelen die het leren actief ondersteunen.

En dus is het kwaliteitsbegrip tegenwoordig ruimer. Theo Eggen: ‘Bij kwaliteit gaat het niet alleen over de toets zelf, maar juist ook over het proces. Hoe is de afname georganiseerd en hoe gaat het nakijken in zijn werk? Hoe voelen leerlingen zich: zijn ze gemotiveerd? Vinden docenten een toets makkelijk bruikbaar en past deze bij maatschappelijke discussies die nu lopen? Als je vanuit al deze perspectieven naar kwaliteit kijkt, worden andere criteria belangrijk en krijgen andere aspecten meer gewicht. Meer dan ooit werken we daarvoor samen met leraren en leerlingen. Ook van scholen in het vo.’

Ergens tussen fancy en saai

Bij Cito wordt op dit moment veel onderzoek gedaan naar de kwaliteit van innovatieve vraagvormen. ’Want’, zo vat Theo Eggen het samen: ‘je moet innovatieve itemtypes alleen inzetten als het ook echt iets oplevert.’ Die stellingname vraagt om uitleg. ‘Toen wij ruim15 jaar geleden begonnen met digitale toetsen, ontstonden in het creatieve brein van onze ontwerpers allerlei nieuwe vraag- en toetsvormen. Maar als je iets kúnt maken, wil dat niet zeggen dat je het ook móet maken. Uiteindelijk is de inhoud van wat je wilt toetsen altijd leidend.’

Hij legt uit: ‘Eigenlijk heb ik voor docenten die digitale toetsen maken, maar één tip: ‘Wees conservatief en doe geen fancy dingen’. Sla ook niet door in saaiheid, maar voorkom dat een handeling op de computer het antwoord in de weg zit. Met als gevolg dat een leerling die het antwoord weet, dit verkeerd invoert vanwege het interactietype van de vraag. Overweeg dus: Maak ik het niet nodeloos ingewikkeld? Is ‘leuk’ een goed criterium? Werkt deze vraagvorm voor iedereen op dezelfde manier, ook als je dyslectisch of kleurenblind bent? Hebben leerlingen de vereiste digitale vaardigheden?'

Zoveel lesuren, zoveel toetsuren

Het kwaliteitsonderzoek naar innovatieve itemtypes loopt bij Cito al langer. Nieuwer is het onderzoek naar de kwaliteit van toetsprogramma’s in het vo. ’Er zijn scholen die – ik geef maar een voorbeeld – in de tweede klas een programma afdraaien met ‘elke week drie proefwerken’. Maar een vast aantal toetsmomenten levert nog geen kwalitatief goed programma’, weet Theo Eggen. ‘Een gebalanceerd toetsprogramma stel je samen over twee assen. Je moet kijken naar de inhoud: komen alle onderdelen evenwichtig aan bod? En naar de organiseerbaarheid voor zowel de school als de leerling. Het is bijvoorbeeld helemaal niet gek om het aantal toetsmomenten dat een vak mag gebruiken, te laten corresponderen met het aantal lesuren voor dat vak.’

Feitelijk benadrukt hij hiermee dat een gebalanceerd toetssysteem een goed doordacht geheel is. ‘Je kunt verschillende toetsdoelen afwisselen: summatieve doelen om leereenheden af te sluiten en formatieve doelen die het leren actief ondersteunen. De resultaten van de formatieve toetsen zijn dan gericht op het geven van feedback en niet op een cijfer. Als je deze doelen goed in balans houdt en verwerkt in een toetsprogramma, kun je echt iets doen aan toetslast.’

Formatief toetsen voor leerblokkades

Minder toetslast, omdat leerlingen formatieve toetsen niet hoeven voelen als toets. Een loze kreet van Cito? ‘Nee’, weet Theo Eggen: ‘want we doen binnen het kwaliteitsthema gedegen onderzoek naar formatief evalueren. We zitten daarvoor dicht bij scholen. En dat moet ook als je een instrument wilt maken dat leerlingen in hun leerproces ondersteunt. Het zou heel mooi zijn, als we met formatieve toetsen bijvoorbeeld kunnen opsporen waar blokkades in het leren zitten’.

Het onderzoek rondom formatief toetsen levert zijn eerste resultaten al op. ‘We weten nu dat wát je meet en de diepte die je meet, geschikt moeten zijn voor formatief handelen in de klas. Als docent moet je er in de klas direct wat mee kunnen doen. Weten wat je extra moet uitleggen, bijvoorbeeld. In een van de lopende onderzoeken ontwikkelen we hiervoor nieuwe typen rapportages en datavisualisaties die gebruikt kunnen worden bij toetsen.’ De volgende stap is dat leerlingen zelf eigenaar worden gemaakt van hun leerproces. Ook dat is een onderzoek dat Cito oppakt.

Praktische tools en meer kennis

Het is duidelijk: via het innovatiethema ‘Kwaliteit van toetsen’ bouwt Cito gestaag nuttige, nieuwe kennis op. En dan? ‘Dan vertalen we die kennis naar praktische innovaties. Zoals een prototype waarmee vo-scholen gebalanceerde toetsprogramma’s kunnen bouwen’ verklapt Theo Eggen. Ondertussen zoekt Cito naar manieren om de nieuwe kennis te delen met het onderwijs. ‘Die belofte van kennisoverdracht hebben we zwart op wit gezet. De komende jaren zorgen we ervoor dat scholen en docenten meer kennis krijgen over toetsen. Dat kan door cursussen te geven, maar we lanceren ook een digitale kennisbank. Specifiek voor mijn thema onderzoeken we hoe we innovatieve item-types met bewezen kwaliteit kunnen delen. En we ontwikkelen instrumenten waarmee docententeams samen aan toetsen kunnen werken. Als Cito willen we scholen echt helpen om goede toetsen in elkaar te zetten.’