Wat doet een modelleur? “Modellen bouwen. Maar: wanneer ik als modelleur een opdracht krijg om een model te maken, dan is mijn einddoel niet de creatie van een model. Mijn werkelijke einddoel is het vergroten van kennis en voeren van gesprekken door middel van een model. Dit betekent dat modelleren om meer vraagt dan alleen wiskunde. Het vraagt ook om begrijpend lezen, tekenen en communiceren. Het vraagt om goede en open gesprekken met als doel om in de denkwereld van een ander te kunnen treden. Eén model zegt daarom ook niets en kan niet los worden gezien van de modelmaker. Hoe wiskundig we het ook inrichten.”
In dit nummer komt de normaalverdeling een paar keer voorbij. Speelt de normaalverdeling een rol in modelleren? “Elke verdeling is een versimpeling van de werkelijkheid. Een wiskundige aanname die de wereld reduceert tot rekenen. Dit rekenen is mogelijk omdat een verdeling uit verschillende parameters bestaat die tezamen de verdeling zijn vorm geven. Bij de normaalverdeling zijn dat er twee: het gemiddelde en de variatie. En met die twee parameters kun je vormen maken die je als het ware als een mal over de geobserveerde data heen legt. Als het enigszins past kun je met de verdeling gaan rekenen. De normaalverdeling is de meest gebruikte verdeling van allemaal. Dit komt omdat veel onderdelen van onze wereld zich enigszins laten reduceren tot de normaalverdeling. Bekende voorbeelden zijn onze lengte en het gewicht. Ook worden algoritmes veelvuldig gebaseerd op de normaalverdeling, wat betekent dat we ervan uitgaan dat onderdelen van de data, en de verbindingen tussen onderdelen, een normaalverdeling volgen.”
“Afwijkingen op de norm zijn al snel aanleiding om te gaan onderzoeken, niet naar de norm zelf, maar naar redenen voor de afwijking.”
Wanneer moet je gaan opletten met die normaalverdeling? “De normaalverdeling is een intuïtief makkelijk te begrijpen verdeling. Zo weten we dat één standaarddeviatie links én rechts van het gemiddelde samen ongeveer 68% van het geheel vertegenwoordigt. Ook weten we dat bij een perfecte normaalverdeling het gemiddelde exact het 50ste percentiel beslaat. Het is dus eenvoudig te hanteren gereedschap. Zien we de normaalverdeling als een hamer zien, dan wordt alles toch al snel een spijker, juist omdat de hamer zo makkelijk in de hand ligt. Zo hebben we het IQ ook een normaalverdeling toebedeeld, maar in tegenstelling tot onze lengte kun je ons IQ niet direct observeren. We maken de werkelijkheid daarmee veel simpeler dan deze is. Alsof je een mal van een cirkel gebruikt om een ellips te beschrijven. Of een vierkant. Of een rechthoek. Zonder dat je het doorhebt.”
Je gaf onlangs op LinkedIn een voorbeeld van verkeerd gebruik van de wiskunde, nota bene afkomstig van de Onderwijsinspectie. Leg uit? “Een tijd geleden werd ik gewezen op een hele bijzonder ontwikkeling, namelijk de ‘onderwijs score vestiging’. Op de website van het ministerie van OCW staat haarfijn uitgelegd wat die score beoogt te tonen: ‘Met deze indicator bepalen we of een vestiging het voor elkaar krijgt om de hoeveelheid leerlingen die opstroomt en afstroomt min of meer in evenwicht te houden. Hiervoor vergelijken we het advies van de basisschool met de onderwijspositie in leerjaar 3.’ Het berekenen van deze indicator bestaat uit drie stappen: (1) voor elke leerling wordt bepaald wat de score is voor het verschil tussen het advies van de basisschool en de onderwijspositie in leerjaar 3, (2) alle verschilscores worden opgeteld en het totaal wordt gedeeld door het totaal aantal leerlingen, (3) dit getal wordt afgezet tegen de norm per vergelijkingsgroep. Voor alle soorten schoolsamenstellingen (bijv. vmbo-breed, of vmbo-tl/havo/vwo) gelden andere normen. Wat deze ‘score’ zo impactvol maakt is, dat scholen er hard op worden afgerekend wanneer ze onder de norm zitten.”
Wat zijn hier dan de denkfouten? “Zowel conceptueel als wiskundig slaat deze aanpak de plank compleet mis. Een norm is een construct - een samenstelling van – en als deze met twee decimalen achter de komma wordt gepresenteerd dan lijkt het getal nauwkeurig én veelzeggend. Maar schijnt bedriegt. Zo is deze norm onmogelijk te observeren en dat maakt het een cijfer met weinig context. Afwijkingen op de norm zijn al snel aanleiding om te gaan onderzoeken, niet naar de norm zelf, maar naar redenen voor de afwijking. Dit terwijl de kans dat de school precies op de norm zit nihil is. Niet alleen omdat het een specifiek getal is, maar meer omdat een puntscore op een verdeling een heel klein oppervlak van het geheel beslaat. Onder of boven de norm wordt nu gezien als een absoluutheid, maar hoeft dat niet te zijn. Een school kan een natuurlijke fluctuatie hebben die past bij de fluctuaties in de omgeving. Elke vorm van variatie wordt niet meegenomen, noch krijgt het de nodige erkenning. Deze manier van normering leent zich, ironisch, tot gedrag waarbij adviezen leidend zijn en voortgezet onderwijs er alles aan moet doen om hun scholieren vast te houden en deels op te laten stromen.”
Hoe had jij deze kwestie benaderd? “Ik had de norm losgelaten en de scholen met elkaar vergeleken, zonder direct te oordelen. Om te zien of scholen dicht bij elkaar in de buurt meer op elkaar lijken dan scholen verder weg. Ook was ik gesprekken aangegaan met docenten en de leiding van verschillende scholen om de gegevens meer context te geven. Er is maar zoveel wat je uit een cijfer kunt halen zonder er taal aan toe te voegen. Het gevaar van een norm is namelijk dat het al snel werkt als een korset – je dwingt scholen om in een keurslijf te passen waardoor uiteindelijk de ‘werkelijkheid’ gaat veranderen om tegemoet te komen aan het model. Een vergelijkbaar voorbeeld vinden we bij Dieselgate waarbij Volkswagen zijn auto’s heeft getraind om aan de norm te doen wanneer het moet, en niet wanneer het kan. De wereld werkt nou eenmaal niet via normen en elke toepassing leent zich tot modelmisbruik. De enige manier om dat tegen te gaan is om de norm los te laten, context toe te voegen, en de data meer ruimte te geven.”