Grenzen aan modellen

Modellen kunnen waardevol zijn als ze goed gebruikt worden. Maar niet alles kan. Hou rekening met drie belangrijke grenzen aan modellen als je modellen gebruikt of modeluitkomsten goed wil begrijpen.

A.

Zonder goede data geen goede modelresultaten​

Stop je rommel in een model, 
dan komt er ook rommel uit.

_

Modellen gebruiken data om uitkomsten uit te rekenen. Data zijn geen onderdeel van een model, maar input. Om goede data te vinden moeten modelleurs, ambtenaren, bestuurders en andere stakeholders vaak samenwerken.

Goede data zijn data van een betrouwbare bron, voor de juiste locatie, de juiste periode en de juiste schaal. Wat dat “juiste” inhoudt, hangt af van het model en het doel.

Data worden betrouwbaarder als je meerdere, van elkaar onafhankelijke bronnen kan gebruiken. Omdat er altijd onzekerheid zit in data, is er spreiding in de informatie van verschillende bronnen. Door verschillende bronnen te combineren krijg je inzicht in de spreiding en dus de onzekerheid van de modelinput.  

Beperkingen en onzekerheden in inputdata vertalen zich altijd door in modeluitkomsten.

Analogie

_

Voorbeeld

Een consumentenorganisatie wil het elektriciteitsverbruik van apparaten in woonkamers laten modelleren.

Het elektriciteitsverbruik van hele huishoudens is bekend. Helaas, deze data zijn niet op het juiste schaalniveau. De consumentenorganisatie heeft data op het niveau van de individuele apparaten nodig.

De consumentenorganisatie overweegt om data te verzamelen: gedurende een bepaalde tijd het elektriciteitsverbruik van elk apparaat in de woonkamers van een groep mensen meten. Dat is tijdrovend en duur, maar zorgt ook voor nieuwe inzichten.

Aan de slag

Ga je aan de slag, dan kom je het belang van data al snel tegen. Maak duidelijke afspraken over het gebruik van data in het modelleerproces:

  • Spreek duidelijk af welke data gebruikt worden en wie ontbrekende data verzamelt 
  • Zorg voor helderheid over het eigendom van data: gebruik je open of gesloten data?
  • Overleg of de verzamelde data geschikt zijn: zijn het “juiste” data voor het vraagstuk?
  • Evalueer kritisch of de uitkomsten logisch volgen uit de data 
  • Hou rekening met de beperkingen van data bij de beantwoording van het vraagstuk 
  • Benadruk de beperkingen in data als je de modeluitkomsten publiek maakt

Om de juiste hoeveelheid pasta te koken voor een grote groep, moet je een paar zaken weten. Die zaken kan je vergelijken met inputdata voor een model. Hoe groot is de groep? Kook je voor kinderen of voor volwassenen? Is pasta het enige gerecht, of is er (veel) andere keuze? 

Op basis hiervan bepaal je hoeveel pasta je moet koken. Als je deze informatie mist, is het erg waarschijnlijk dat je veel te veel, of juist veel te weinig pasta kookt. Dat ligt niet aan je kookkunsten. Het eten is even lekker! 

Ook modellen geven verkeerde uitkomsten als goede inputdata ontbreken. Zelfs een zeer goed model kan geen goede uitkomst geven zonder goede data.

Analogie

Om de juiste hoeveelheid pasta te koken voor een grote groep, moet je een paar zaken weten. Die zaken kan je vergelijken met inputdata voor een model. Hoe groot is de groep? Kook je voor kinderen of voor volwassenen? Is pasta het enige gerecht, of is er (veel) andere keuze? 

Op basis hiervan bepaal je hoeveel pasta je moet koken. Als je deze informatie mist, is het erg waarschijnlijk dat je veel te veel, of juist veel te weinig pasta kookt. Dat ligt niet aan je kookkunsten. Het eten is even lekker! 

Ook modellen geven verkeerde uitkomsten als goede inputdata ontbreken. Zelfs een zeer goed model kan geen goede uitkomst geven zonder goede data.

B.

Modellen zijn vereenvoudigingen van de realiteit

Een model kan inzichten bieden in het stukje van de realiteit dat het beschrijft. Over de weggelaten delen zegt het niets.

_

Verschillende modellen beschrijven verschillende delen van de realiteit. Daarmee laten ze ook verschillende delen weg. De gehele complexiteit van de wereld in een model vatten is onmogelijk. Vereenvoudigingen zijn daarom onontkoombaar. 

Vereenvoudigingen kunnen helpen om te focussen. Met de juiste vereenvoudigingen kan je het bos door de bomen weer zien, en daarmee betere inzichten in je vraagstuk krijgen.

Verschillen in vereenvoudigingen kunnen soms leiden tot schijnbare tegenspraken tussen de uitkomsten van modellen. Dit is één van de redenen waarom het belangrijk is om te begrijpen welke vereenvoudigingen in een model zitten. Vereenvoudigingen hebben ook vaak te maken met het doel van een model, daarover meer bij puntje C hieronder.

Vereenvoudigingen moeten goed afgestemd zijn op het vraagstuk dat je wil oplossen.

Analogie

_

Voorbeeld

Een thinktank wil de energievraag van alle sectoren in de Nederlandse economie in 2030 berekenen. De thinktank heeft enkel een ruwe schatting nodig. In overleg met een modelleur nemen ze aan dat het energieverbruik in alle sectoren jaarlijks met 2% zal dalen tussen 2020 en 2030. 

Even later wil de thinktank de beleidsmaatregelen voor energieverbruik in opslagcentra evalueren. Dit model is er niet geschikt voor omdat alle beleidseffecten tot één getal (2%) zijn vereenvoudigd.

Aan de slag

Als je met modellen of modelresultaten werkt, kan je niet om vereenvoudigingen heen. Hier moet je aan denken:

  • Bespreek wat de belangrijkste vereenvoudigingen en hun gevolgen zijn bij het opzetten van een model
  • Zorg bij het verzamelen van data dat de schaal van data overeenkomt met de schaal van vereenvoudigingen in het model 
  • Let extra goed op de gevolgen van de vereenvoudigingen tijdens de modelberekeningen 
  • Ga na welke invloed vereenvoudigingen hebben op de modeluitkomsten
  • Hou rekening met de vereenvoudigingen bij de beantwoording van de vraag De modeluitkomsten zeggen enkel iets over het gemodelleerde stukje realiteit 
  • Wees expliciet en duidelijk over de vereenvoudigingen bij communicatie naar de buitenwereld

Een kaart is een vereenvoudiging van de wereld. Het is ook een soort model. Een kaart is een goed middel om je route uit te stippelen.

Afhankelijk van het vervoersmiddel en hoe ver je wil gaan, heb je een kaart met een grotere of een kleinere schaal nodig. Een wandelkaart toont een kleine regio in groot detail. Een wegenkaart toont een grote regio, een heel land of continent, in veel minder detail.

Modellen werken gelijkaardig. De wegenkaart is niet “incorrect” omdat de wandelpaden er door vereenvoudigingen niet op staan. Het is nu eenmaal niet gemaakt om gebruikt te worden voor een wandeling. Aan de andere kant is het erg onpraktisch om een bak vol wandelkaarten te gebruiken voor een roadtrip met de auto.

Analogie

Een kaart is een vereenvoudiging van de wereld. Het is ook een soort model. Een kaart is een goed middel om je route uit te stippelen.

Afhankelijk van het vervoersmiddel en hoe ver je wil gaan, heb je een kaart met een grotere of een kleinere schaal nodig. Een wandelkaart toont een kleine regio in groot detail. Een wegenkaart toont een grote regio, een heel land of continent, in veel minder detail.

Modellen werken gelijkaardig. De wegenkaart is niet “incorrect” omdat de wandelpaden er door vereenvoudigingen niet op staan. Het is nu eenmaal niet gemaakt om gebruikt te worden voor een wandeling. Aan de andere kant is het erg onpraktisch om een bak vol wandelkaarten te gebruiken voor een roadtrip met de auto.

C.

Elk model heeft zijn eigen doel

Gereedschap moet je juist gebruiken. Een put met een hamer graven is verloren moeite.

_

Modellen zijn gereedschap. Elk (type) model is gemaakt voor een bepaald doel: een bepaald type vraagstukken oplossen. 

Het is belangrijk het juiste (type) model te kiezen. Soms is dat één model. Voor complexere vraagstukken zijn soms combinaties van modellen nodig: “treintjes” waarbij de output van één model de input van een ander model is. 

Voor andere vraagstukken kan het waardevol zijn om dezelfde vraag aan verschillende modellen voor te schotelen. Samen kunnen ze meer nuance geven. Het verschil in uitkomsten van de verschillende modellen kan inzichten geven in verbanden en onzekerheden.

Het gekozen model, of combinatie van modellen, moet goed passen bij het vraagstuk. 

Analogie

_

Voorbeeld

Een onderzoeksinstelling heeft een model ontwikkeld om de mogelijkheden voor de warmtetransitie in de gebouwde omgeving te analyseren. Gebruikers zoals gemeenten zijn vaak op zoek naar modellen met dit doel.

Het model is echter niet geschikt om de impact op elektriciteitsnetten te berekenen. Om de belasting van de elektriciteitsnetten in de toekomst te berekenen, heeft een netbeheerder een eigen model ontwikkeld. De netbeheerder combineert het eigen model met het warmtetransitiemodel én met modellen die de verduurzaming van de mobiliteit, de industrie, en de landbouw inzichtelijk maken. Deze modellen zijn complementair en kunnen samen een breed beeld bieden.

Aan de slag

De juiste modelkeuze heeft gevolgen doorheen het modelleerproces. Hier moet je aan denken

  • Bespreek uitgebreid waarom je voor een bepaald (type) model kiest om het vraagstuk in kwestie op te lossen 
  • Interpreteer de uitkomsten in overeenkomst met het doel van het model 
  • Hou het doel van het model ook in gedachten bij de beantwoording van de vraag 
  • Communiceer het doel van het model bij de publicatie van de resultaten 

Een kaart is een soort model. Een “gewone” kaart heeft als doel de weg te wijzen. Het bevat geen informatie over bijvoorbeeld de bodemsoort.

Specialistische kaarten in een atlas bevatten die informatie wel. Wie wil weten of de bodem geschikt is om een bepaald gewas te kweken, moet de bodemkaart gebruiken. Net als een “gewone” kaart kan de bodemkaart in groot detail een kleine regio tonen, of in het algemeen de bodem van een land of een continent laten zien.

Bij een aanleg van een nieuwe wandelroute kan de wandelkaart gecombineerd worden met een bodemkaart om na te gaan of de vele wandelaars niet voor bodemerosie van gevoelige bodems gaan zorgen. Afzonderlijk zijn beide kaarten onvoldoende.

Analogie

Een kaart is een soort model. Een “gewone” kaart heeft als doel de weg te wijzen. Het bevat geen informatie over bijvoorbeeld de bodemsoort.

Specialistische kaarten in een atlas bevatten die informatie wel. Wie wil weten of de bodem geschikt is om een bepaald gewas te kweken, moet de bodemkaart gebruiken. Net als een “gewone” kaart kan de bodemkaart in groot detail een kleine regio tonen, of in het algemeen de bodem van een land of een continent laten zien.

Bij een aanleg van een nieuwe wandelroute kan de wandelkaart gecombineerd worden met een bodemkaart om na te gaan of de vele wandelaars niet voor bodemerosie van gevoelige bodems gaan zorgen. Afzonderlijk zijn beide kaarten onvoldoende.