Wat leert onderzoek ons over de kwaliteit van digitale leermiddelen? “Nou, Ik ben onlangs weer eens door de afgelopen 10 jaar Nederlands onderzoek gegaan, en dan valt vooral op dat er eigenlijk maar weinig onderzoek is naar de kwaliteit of effectiviteit van adaptieve digitale leermiddelen. NRO gaat in 2023 voor het eerst een programma opstarten waarin 13 projecten zijn goedgekeurd die de effectiviteit van digitale programma gaan onderzoeken. Ik ben daar blij mee, het wordt hoog tijd.”
Wat gek. Hoe komt dat denk je? “Leermiddelenonderzoek is altijd een ondergeschoven kindje geweest in Nederland. Ik denk dat dat te maken heeft met de bijzondere combinatie van de vrijheid van onderwijs en van een vrije leermiddelenmarkt. Waar andere landen centralistischer beleid voeren, stelt de Nederlandse overheid zich liever terughoudend op ten aanzien van leermiddelenkwaliteit. Dat betekent dat er ook nooit overheidsgeld is geweest voor onderzoeksprogramma’s. Daar komt nu dus beweging in.”
Maar zijn ze er wel, conclusies uit onafhankelijk onderzoek? “Zeker. En de onderzoeken die ik ken wijzen allemaal in dezelfde richting. Het positieve effect van adaptieve digitale programma’s is minimaal. Het zijn vooral de kinderen die het toch al goed doen, die ervan profiteren. Kinderen die moeite hebben met bijvoorbeeld taal, hebben er nauwelijks voordeel bij. En als ze dat wel hebben, dan komt dat vaak niet door de didactische kwaliteiten van een programma maar is dat eerder toe te schrijven aan het feit dat ze meer effectieve leertijd hebben, zoals dat bij sommige programma’s waarschijnlijk het geval is.”
Dus uitgevers staan misschien helemaal niet te trappelen om hun materiaal onafhankelijk te laten onderzoeken? “Uitgevers onderzoeken hun producten liever zelf. Niet zozeer omdat ze willen bijdragen aan de wetenschap. Voor hen is onderzoek eerder een marketing-instrument.”
Is het misschien ook heel lastig, leermiddelen onderzoeken op effectiviteit? Kom je niet terecht in de evidence-based discussie? “Dat is een argument dat ik wel vaker hoor. Ik zou daar twee dingen over willen zeggen. Onderzoek naar het effect van leermiddelen is zeker mogelijk, ook al is dat onderzoek in een context met veel factoren. In Amerika gebeurt dat gewoon. Maar in Nederland houden we niet zo van experimenten op school. En daarnaast: er is al zoveel bekend over het leren van leerlingen. Je hoeft helemaal geen vergelijkend onderzoek te doen, om toch met reden te kunnen zeggen: als ik naar deze methode kijk dan weet ik bij voorbaat dat de leerlingen hier niet zoveel van gaan leren. En dat baseer ik op alles wat we weten uit onderzoek naar motivatie, naar leerprocessen, naar belasting van kortetermijngeheugen, et cetera. Andersom, het zomaar onderzoeken op effect van je leermiddelen heeft weinig zin als je geen theoretisch kader hebt, waarbinnen je de resultaten van je onderzoek kunt duiden. Als je niet weet hoe het komt waarom je leerlingen het beter doen, wil dat nog niet zeggen dat dat morgen weer is, of ook geldt voor een andere klas met andere leerlingen of een andere leerkracht etc.. Dus als ik advertenties voor leermiddelen zie in de trant van ‘bewezen effectief’, dan denk ik: hoezo? Elk programma is effectief om de eenvoudige reden dat het gebruikt wordt. De vraag is alleen: op welke manier is het programma effectief? En hoe is het effectief? Voor alle leerlingen? En in vergelijking met andere methoden? Wat heb je nu bewezen?”
“Er vindt minder leren plaats achter het scherm damn leraren denken.”
Terug naar de kwaliteit van digitale leermiddelen, met name van de adaptieve middelen. Jij zet vanuit je kennis en ervaring vraagtekens bij het leereffect ervan? “We hadden het er al even over, adaptieve programma’s werken beter uit voor kinderen die het toch al goed doen, vaak ook omdat zij zelfstandiger door het programma kunnen. Een ander punt is de beperkte invulling van adaptiviteit. Men differentieert zelden in de instructie. Bij de meeste programma’s gaat het alleen maar om het aanpassen van de moeilijkheidsgraad van de opdrachten aan het niveau van de leerling. Het programma is erop gericht de leerling zo snel mogelijk naar dat vermeende niveau te leiden. Ik heb op de eerste plaats moeite met de aanname van ‘niveau’ als iets gefixeerds. En ik mis een leertheoretisch argument, zoals die van leerpsycholoog Vygotsky en zijn zone van naaste ontwikkeling. Je moet een kind juist uitdagen op een hoger niveau. Maar het programma straft je voor het maken van fouten, terwijl fouten maken onlosmakelijk verbonden is aan leren en verder komen. Als dat onvoldoende gebeurt blijkt dat het niveau van leerlingen eerder omlaag gaat dan omhoog. Verder zijn veel programma’s erg dwingend, er is vaak maar één manier toegestaan om tot een antwoord te komen terwijl kinderen vaak met talloze oplossingsstrategieën weten te komen. Die zoektocht en daarop feedback krijgen is leren. Maar er is nauwelijks tot geen feedback. Een vervelend toontje als je het fout doet. Een ‘joepie’ als je het goed doet. Maar een kind leert hier helemaal niets van. Leerlingen worden er balorig van. Ze hebben geen zin meer om hun best te doen.”
Ik meen me te herinneren dat de aantrekkelijkheid van digitale leermiddelen juist was dat leerlingen het leuk vonden. En dat ze juist meer fouten durfden te maken. Het bleef immers ‘tussen ons’, de computer en de leerling? “Dat was voor de tijd van de learner analytics. Nu telt iedere fout en kun je zelfs zien wie er in jouw klas ook een groen vinkje of een zwart kruisje scoort. Ik ken een leraar die die functie direct op zwart heeft gezet, want hij zag dat het tot toestanden leidde in de pauze. Pestgedrag. De functionaliteiten van programma’s zijn de pan uitgegroeid. Big brother is watching you. Hier zit een grote pedagogische kwestie en het is de uitkomst van iets dat zich al aftekende toen ICT in het onderwijs oprukte. Ik ben opgegroeid in de onderwijskunde in de jaren 70 en 80, , er was toen veel (onderzoeks-)aandacht voor innovatie, voor curriculum, voor didactiek, we waren bezig met theorievorming daarin, met vragen als: waartoe leren wij, waarom leren wij, hoe moeten we dat dan doen? Maar met de intrede van ICT verdwenen deze vragen als sneeuw voor de zon. Vanaf dat moment leek het alleen nog maar te gaan over wat er allemaal technologisch kon en in de toekomst zou kunnen. Wat de leerling ermee deed, waarom we zaken wel of niet zouden willen, wat het effect op de leraar was, op zijn didactisch handelen, het verdween allemaal naar de achtergrond.”
Tijd om dat weer naar de voorgrond te halen? Met welke aandachtspunten? “Leraren weten niet altijd wat hun leerlingen achter het scherm uitvoeren. Hoe ze omgaan met die programma’s. We hebben er vaak naar gekeken, we hebben er ook filmpjes van gemaakt, leraren schrikken er vaak van als we deze laten zien. Er vindt minder leren plaats achter het scherm dan leraren denken. Je moet als leraar echt weten waarom leerlingen fouten maken, en welke feedback hen verder helpt.
Verder mogen leraren meer regie nemen, minder volgzaam zijn als het om methoden en programma’s gaat. Die neiging was er toch al, en digitalisering heeft dat versterkt. Je moet er niet klakkeloos op vertrouwen dat het wel goed komt als je de programma’s maar doorloopt. Of denken dat de uitgever er wel goed over nagedacht zal hebben.
Kortom, goed onderwijs kunnen we niet alleen overlaten aan methoden, noch aan digitale programma’s. Onlangs stelde TeacherTapp de vraag: waarom gebruik je ict in de les? Er waren twee antwoordmogelijkheden: ‘omdat het er nu eenmaal is’ en ‘omdat het effectief is’. De meerderheid koos voor de eerste mogelijkheid. Daar schrok ik toch wel van. De leraar moet echt weer aan het roer. De leraar is belangrijk, hij moet zijn rol niet veronachtzamen, en kritischer zijn op de werkelijk toegevoegde waarde van al die programma’s.”
Maar er is beweging, stelden we eerder in dit gesprek vast? “Niet alleen bij onderzoekers, maar ook bij de scholen zelf. Ze willen ook steeds vaker weten wat de effectiviteit van programma’s is. Ze pleiten met ons voor een onafhankelijk platform waarop leermiddelen worden besproken. En ze willen hun afhankelijkheid van de grote uitgevers verminderen. Vanuit het Groeifonds zijn we nu betrokken bij een project om de kwaliteit van leermiddelen digitaal omhoog krijgen. We zijn bezig om bouwstenen te verzamelen voor een nieuw te ontwikkelen kwaliteitskader waaraan open leermateriaal moet voldoen, en ook waaraan leraren moeten voldoen om met dat materiaal te werken of te ontwikkelen. Dus ja, er is zeker beweging. Ik pleit er voor om deze beweging niet meer stil te laten vallen. Onderzoek is belangrijk maar het moet wel goed onderzoek zijn. Onderzoekers zouden vaker betrokken moeten zijn bij de ontwikkeling van leermiddelen, maar wel in een onafhankelijke positie. NRO zou dat moeten bewaken.”