Modelstappen

Een modelstudie systematisch aanpakken helpt om een heldere uitkomst te krijgen. Deze pagina biedt houvast voor het gesprek tussen een ambtenaar, bestuurder of andere stakeholder die model wil gebruiken, en een modelleur die een model aanbiedt. Bij elke stap kan iedereen het voortouw nemen. De modelstappen geven inspiratie en informatie om het modelleerproces en elkaar beter te begrijpen.
_

Stap 0.

Je hebt een vraag

Je werkt aan de energietransitie. Dit is een complexe materie, er zijn veel vragen en uitdagingen. Om een bepaalde vraag op te lossen beslis je om de hulp van een expert modelleur in te roepen.

Voorbeeld

Voorbeeld

Een bewonerscoöperatie wil de warmtevoorziening in haar wijk verduurzamen. De bewoners hebben een aanpak in gedachten en komen naar de gemeente. De gemeente vraagt zich af of de gekozen aanpak wel wenselijk is en besluit een modelleur de maatschappelijke kosten te laten doorrekenen.

_

Stap 1.

Bespreek vraag en aanpak

Om een modelstudie goed op je vraag af te stemmen, is het belangrijk dat de modelleur de context van je vraag goed begrijpt. Waar gaan de modeluitkomsten voor gebruikt worden en door wie? Daarnaast zorgen goede afspraken over de aanpak voor een goed begrip tussen jou en de modelleur.

Vraag

Ga dieper in op je vraag.

Geef aan wat de achtergrond is van je vraag. Zo kan de modelleur inschatten welk model en welke aanpak goed zal passen.

Bedenk door wie en waarvoor de uitkomsten gebruikt zullen worden.

Elk model heeft immers zijn eigen doel. Ben je de enige gebruiker, of worden uitkomsten ook door anderen gebruikt? Welke belangen, interesses en wensen hebben andere stakeholders?

Bespreek welk soort uitkomst je zoekt en hoe die gebruikt zal worden.

Is dit een verkennende studie? Worden er besluiten genomen op basis van de modeluitkomsten? Ga hier in stap 2 dieper op in.

Aanpak

Bespreek welke veranderingen te voorzien zijn en welke invloed ze kunnen hebben op de studieaanpak.

Tijdens een studie kunnen er dingen veranderen. Externe ontwikkelingen kunnen invloed hebben op de studie, maar ook tussentijdse uitkomsten uit de studie zelf kunnen leiden tot veranderingen in de aanpak. Hoe ga je hiermee om?

Overleg met de modelleur of je vraag al helemaal scherp is.

Dat is niet altijd het geval, soms verandert de vraag tijdens de studie. In dat geval kan het extra waardevol zijn om in de aanpak ruimte voor iteraties te creëren.

Bespreek met de modelleur hoe jullie omgaan met onverwachte uitkomsten.

Misschien heb je al een bepaalde verwachting van de uitkomst van de studie. Toch kan een studie een andere uitkomst leveren. Hoe ga je hiermee om?

Bespreek modelonderhoud en eigendomsrechten.

Krijg je als gebruiker een model of alleen de modelresultaten? Als je een model krijgt, wordt het onderhouden? Bij wie liggen de intellectuele eigendomsrechten? Maak hier duidelijke afspraken over.

Voorbeeld

De modelleur en de gemeente gaan in gesprek. 

Ze bespreken de achtergrond van de vraag. De gemeente wil niet alleen de aanpak van de coöperatie laten doorrekenen, er moet een vergelijking komen met andere technieken. 

Tegelijk zijn niet alleen de kosten van belang, maar ook andere criteria. 

Samen komen de gemeente en de modelleur tot de conclusie dat er een onderliggende vraag is. De gemeente wil weten welke alternatieven er allemaal mogelijk zijn. 

De gemeente besluit om  duurzaamheidsparameters voor verschillende technieken door te laten rekenen.

Mogelijke nieuwe technieken of externe inzichten die tijdens de studie naar boven komen, worden niet meegenomen.

De gemeente hoopt dat de aanpak van de bewonerscoöperatie goed scoort, maar kijkt vooral uit naar de uitkomst van de studie.

_

Stap 2.

Kies samen een model

Als je voor een bepaald model kiest, moet je zeker zijn dat het geschikt is voor wat je wil. Dit kan je in drie stappen doen. Ten eerste moet het type uitkomsten overeenstemmen met jouw vraag. Ten tweede moet het model ook voldoen aan jouw randvoorwaarden. Ten derde, wil je vertrouwen krijgen in het model.

Focus op het type modeluitkomsten.

Elk model is een vereenvoudiging van de realiteit, en elk model heeft zijn eigen doel. Het type modeluitkomsten dat je krijgt hangt af van het type model. Bespreek wat voor type model de modelleur kan inzetten. Past dit soort uitkomsten bij je vraag? Als het niet goed past, wat zijn de mogelijkheden? 

Ga na of het model verder aan je wensen voldoet.

Moet het model interactief zijn? Wil je zelf input kunnen invullen? Moeten anderen ermee kunnen werken? In welke vorm wil je de uitkomsten zien? Om dit na te gaan, kan je bij een bestaand model vragen om een live demo of eerdere modeluitkomsten. 

Vergaar vertrouwen in het model.

Hiervoor heb je een referentiepiste en een technische piste. De keuze is aan jou.

Als je niet zelf enkele technische details onder de loep wil nemen, kan je de modelleur vragen om referenties van andere projecten. 

Voor de technische piste vraag je de modelleur om de werking van het model conceptueel uit te leggen.​ Hiervoor helpt modeldocumentatie die niet te technisch is, of een conceptueel en intuïtief te volgen diagram. Let in het bijzonder op twee aspecten: modelijking en modelvalidatie.
  • Hoe is het model geijkt? Hoe zijn de parameters in het model bepaald? Zijn ze bijvoorbeeld bepaald op basis van gemeten data of op basis van expertkennis? 
  • Hoe is het model gevalideerd? Hoe is gecheckt in welke gevallen het model gebruikt kan worden? Bijvoorbeeld, kan een model de huidige stand van zaken goed “voorspellen”?

Voorbeeld

De modelleur en de gemeente bespreken welk type model het beste bij de vraag zou passen. Een optimalisatiemodel komt ter sprake. Dit type model geeft echter alleen de technologie weer met de laagste kosten. Dat is niet wat de gemeente zoekt. 

De gemeente en de modelleur besluiten om een doorrekenmodel te kiezen. Het model berekent hoe elke warmtetechniek scoort op vijf aspecten. Dat is één van de vereenvoudigingen, want uiteraard zijn er veel meer aspecten. De gemeente en de modelleur bespreken ook de andere vereenvoudigingen in detail. 

Het doel van het model komt goed overeen met de vraag van de gemeente. Technieken kunnen overzichtelijk met elkaar vergeleken worden. De modelkeuze staat vast.

De gemeente vraagt om meer inzicht in het model. De modelleur maakt een conceptueel diagram dat de werking van het model uitlegt. Hierdoor rijzen vragen over twee van de parameters in het model. De modelleur zal deze parameters herijken op basis van expertconsultatie. 

De modeluitkomsten zullen gevalideerd worden door enerzijds een vergelijking met drie eerdere studies, en anderzijds een gesprek met een onafhankelijke onderzoeker.

_...%...X

Stap 3.

Bespreek aannames en vereenvoudigingen

Tijdens elke modelstudie moeten er keuzes gemaakt worden over aannames en vereenvoudigingen in een model. Aannames en vereenvoudigingen kunnen een zeer grote invloed hebben op de modeluitkomsten. Dit is dus een cruciale stap. Aangezien modelleren maatwerk is – jouw situatie en jouw doel zijn net anders – is het moeilijk om van een “standaard” lijst van aannames en vereenvoudigingen uit te gaan. Bespreek de mogelijkheden, keuzes en hun gevolgen in detail met de modelleur. 

Bespreek wat de belangrijkste aannames zijn en wat hun gevolgen voor de uitkomsten zijn.

Neem minimaal vijf aannames onder de loep, maar liever meer.

Bespreek ook de belangrijkste vereenvoudigingen en hun gevolgen voor de uitkomsten. 

Bekijk ook hier minimaal vijf vereenvoudigingen, maar liever meer.

Stem met de modelleur af wie de aannames en de vereenvoudigingen noteert.

Zo kunnen jullie er later altijd op terugvallen. Noteer ook alvast de verwachte gevolgen. Dit kan later helpen om de modeluitkomsten kritisch te bekijken.

Probeer om de effecten van de aannames en vereenvoudigingen visueel weer te geven.

Dat helpt om elkaar te begrijpen. Het is ook makkelijker voor anderen die later in de studie betrokken worden, of de uitkomsten zien. 

Indien er belangrijke stakeholders bij de studie betrokken zijn, ga na of zij akkoord zijn met de aannames, vereenvoudigingen en de gevolgen voor de uitkomsten.

Voorbeeld

De modelleur en de gemeente bespreken de aannames en vereenvoudigingen in het gekozen doorrekenmodel.

Ze nemen ook de aannames door. Een belangrijke aanname is het aandeel hernieuwbare elektriciteit. Dit is bepalend voor de duurzaamheid van elektrische verwarming. De modelleur en de gemeente besluiten om aan te nemen dat dit aandeel 66% zal zijn in 2030 op basis van de Klimaat- en Energieverkenning uit 2019.

Ze gaan dieper in op de vereenvoudigingen. Het model kan niet voor elk individueel gebouw de warmtetechnieken vergelijken. Daarom spreken de gemeente en de modelleur af dat de vergelijking gemaakt wordt voor twee “standaard” woningen, één “standaard” winkel, één school en één kantoorgebouw uit de gemeente. 

De gemeente en de modelleur spreken met de vertegenwoordigers van de bewonerscoöperatie. Zij vinden twee standaard woningen te weinig. De studie wordt uitgebreid naar vier standaard woningen. 

_M

Stap 4.

Verzamel data

Elke modelstudie vraagt om eigen data. Vaak gaat het om gedetailleerde of specifieke data die niet zomaar openbaar beschikbaar zijn. Bovendien zijn er onzekerheden verbonden aan data. Spreek met de modelleur af wie data verzamelt en hoe data gebruikt worden.

Spreek met de modelleur af wie ontbrekende data verzamelt.

Hoewel heel veel data beschikbaar zijn, ontbreken gedetailleerde of specifieke data vaak. Data zijn geen onderdeel van een model, maar een input ervoor. Alleen met goede input kan een model goede output leveren. 

Maak afspraken over het gebruik van de verzamelde data.

Kunnen deze data ook in andere studies gebruikt worden? Door jou? Door de modelleur? Zou je ze ook breed beschikbaar willen maken, bijvoorbeeld in de vorm van open data?

Bespreek welke data moeilijk te krijgen zijn.

Probeer in te schatten wat de gevolgen zijn van ontbrekende data. Soms kunnen ontbrekende data niet tijdig gevonden worden. Dan moeten er aannames gedaan worden, wat gevolgen heeft voor de modeluitkomsten. 

Bespreek hoe onzekerheden in data en in de uitkomsten worden weergegeven.

Hoewel data precies lijken, zijn er onzekerheden verbonden aan nagenoeg alle data. Deze onzekerheden zorgen voor onzekerheden in de modeluitkomsten. Onzekerheden in data kunnen best expliciet weergegeven worden. Bijvoorbeeld door een bereik weer te geven, of een gemiddelde, een maximum en een minimum.

Voorbeeld

De gemeente, de stakeholders en de modelleur hebben afgesproken om uit te gaan van vier types “standaard” woningen, één type winkel, één school en één kantoor. 

Om te weten wat deze standaarden zijn in de gemeente moeten bijkomende lokale data verzameld worden. 

De lokale ambtenaren kennen de gemeente het best. Daarom hebben ze afgesproken dat zij de data leveren. 

Verder hebben de modelleur en de gemeente besloten dat als de data niet tijdig gevonden kunnen worden, de modelleur nationale gemiddelden gaat gebruiken. Dat zou de uitkomsten minder specifiek voor de gemeente maken.

_

Stap 5.

Modelleur berekent modeluitkomsten

De modelleur past een bestaand model aan jouw wensen aan, of maakt een nieuw model. Zo zorgt ze ervoor dat het model past bij jouw vraag.

Wanneer het model klaar is, vertaalt de modelleur de aannames en andere vereenvoudigingen naar de instellingen van het model. De modelleur gebruikt de verzamelde data als input voor het model.

De modelleur gebruikt het model om uitkomsten te berekenen. 

Modellen maken is handwerk, daarom kunnen er fouten in sluipen. Alle fouten eruit halen kost tijd. Om dat te doen, checkt de modelleur de tussenuitkomsten, zelf of samen met jou. Dit is te vergelijken met het nalezen en verbeteren van een tekst. De tussenuitkomsten zijn slechts stappen in de richting van de einduitkomst.

Zoek samen naar een oplossing voor onverwachte zaken die tijdens het maken en/of instellen van het model opduiken. 

Stem geregeld af met de modelleur als een nieuw model ontwikkeld wordt, of als een bestaand model sterk moet aangepast worden.

Het is niet altijd mogelijk om alle effecten op voorhand te overzien. 

Zorg ervoor dat tussentijdse uitkomsten niet extern gedeeld worden.

Tussentijdse resultaten dienen om de werking van het model te checken, en om eventuele fouten te verbeteren.

Voorbeeld

De modelleur past een bestaand model aan de wensen van de gemeente aan. Ze verwerkt de aannames en vereenvoudigingen in de instellingen van het model. 

Ze past het model aan zodat alle gewenste warmtetechnieken een plek krijgen. 

Daarnaast breidt ze het model uit naar vier types “standaard” woningen, één type school, één type winkel, en één type kantoor.

De data zijn op tijd geleverd, maar niet in het juiste format. Het omzetten van data kost daarom wat meer tijd. 

De utiliteitsgebouwen modelleren vraagt ook meer werk, omdat het model oorspronkelijk alleen voor woningen bedoeld was. De modelleur en de gemeente stemmen tussendoor nog drie keer af. 

De modelleur deelt de tussenuitkomsten met de gemeente. Voor één warmtetechniek merken ze gekke waarden op. De modelleur loopt het model nog eens na, vindt en corrigeert de fout. 

_Resultaten

Stap 6.

Bespreek kritisch de uitkomsten

Als de modeluitkomsten klaar zijn, bespreek ze in detail met modelleur. In dit gesprek worden de modeluitkomsten duidelijk. Het levert ook nieuwe inzichten op. Neem hier voldoende tijd voor.

Bespreek of de modeluitkomsten duidelijk en logisch zijn.

Wat valt op? Wat is onverwacht? Wat is onduidelijk? Kunnen de uitkomsten verklaard worden door de aannames, vereenvoudigingen en gebruikte data? Moet er nog iets herzien worden?

Focus op de verhoudingen, verbanden en afhankelijkheden om inzichten te krijgen, niet op de kale cijfers.

Vraag om een gevoeligheidsanalyse om beter te begrijpen hoe variaties in inputdata de modeluitkomsten beïnvloeden.

Een gevoeligheidsanalyse is tegelijk geen tovermiddel; als de inputwaarden niet realistisch zijn, zijn de uitkomsten onbetrouwbaar.

Bespreek naast de modeluitkomsten ook de bijbehorende onzekerheid.

Wat betekent de onzekerheid voor het beantwoorden van de vraag?

Wees beducht voor schijnzekerheid.

Uitkomsten met cijfers na de komma hebben alleen betekenis als de inputdata en modelberekeningen echt zo precies zijn. Uitkomsten kunnen in ieder geval nooit nauwkeuriger zijn dan de inputdata. Vraag om de resultaten met bandbreedte die de onzekerheid tonen.

Voorbeeld

Uit de modeluitkomsten blijkt dat technieken verschillend scoren afhankelijk van het type standaard woning of gebouw.

Kosten hangen samen met de ouderdom en de isolatiegraad van een gebouw. Dit stemt overeen met de verwachtingen. 

Duurzaamheidscriteria hangen samen met aannames over het aandeel groene elektriciteit en de hoeveelheid en type materialen die bij de gebouwaanpassingen gebruikt worden.

Uit de gevoeligheidsanalyse blijkt dat de duurzaamheid van warmtepompen sterk afhangt het aandeel groene elektriciteit in de elektriciteitsmix.

De uitkomsten komen goed overeen met andere onderzoeken en met de kennis van een onafhankelijke onderzoeker. Dit valideert de uitkomsten.

_

Stap 7.

Formuleer een antwoord op de vraag

Het studieproces is voltooid. Het model heeft uitkomsten en inzichten opgeleverd die kunnen gebruikt worden om een antwoord op jouw vraag te formuleren.

Bespreek hoe de inzichten in verhoudingen, verbanden en afhankelijkheden helpen om jouw oorspronkelijke vraag te beantwoorden.

Hou daarbij ook rekening met de invloed van de gebruikte data, vereenvoudigingen en onzekerheden. 

Vraag om visualisaties zoals grafieken of tabellen.

Hou er tegelijk rekening mee dat één enkel plaatje ook weer een vereenvoudiging is die nooit alle informatie kan bevatten. 

Check of de context zoveel mogelijk in de plaatjes verwerkt is.

Dit is nuttig als de plaatjes los van het rapport of voor verdere uitleg gebruikt zouden worden.

Bespreek waarom het logisch is dat de modeluitkomsten jouw oorspronkelijke verwachting ondersteunen of juist tegenspreken.

Mogelijk had je een verwachting voor het begin van de studie. Is deze verwachting uitgekomen?

Evalueer of externe ontwikkelingen die tijdens de studie naar voor kwamen of nieuwe inzichten uit de studie een vervolgtraject vereisen.

Voorbeeld

De oorspronkelijke vraag van de gemeente was een vergelijking van verschillende warmtetechnieken. 

Een belangrijk inzicht uit de studie is dat de duurzaamheidsscores van de warmtetechnieken samenhangen met het type woning of gebouw, specifiek met het bouwjaar en de isolatiegraad. 

De modelleur en de gemeente besluiten om de uitkomsten weer te geven in spindiagrammen, één voor elk type gebouw. De onzekerheden worden ook op de grafiek weergegeven met een gekleurde band. Drie belangrijke aannames staan als voetnoot in de figuur.

De gemeente had gehoopt dat de aanpak die door de bewonerscoöperatie gekozen was sterk uit de vergelijking zou komen. Dat is ook zo voor een aantal duurzaamheidsaspecten, maar de maatschappelijke kosten vallen hoog uit, dat komt door hoge kosten voor de netbeheerder. Dit is een waardevol inzicht dat de gemeente wil gebruiken in verdere gesprekken met de bewoners en de netbeheerder.

_

Stap 8.

Gebruik de modeluitkomsten

Het studieproces is afgerond en heeft nieuwe inzichten opgeleverd. De uitkomsten kan je nu gebruiken om besluitvorming te ondersteunen. Je kan ze ook breed communiceren. Ze zijn wellicht niet alleen voor jou, maar ook voor andere stakeholders van belang. Duidelijke communicatie over de context en het doel van deze modelleerstudie is daarbij van groot belang.

Gebruik modeluitkomsten om besluitvorming te ondersteunen.

Een modelstudie geeft inzichten, mensen nemen de beslissingen. De modeluitkomsten kunnen alleen beslissingen ondersteunen in de context waarin ze gemaakt zijn, ze hangen namelijk samen met het modeldoel, de aannames en de vereenvoudigingen. Het is belangrijk dat dit duidelijk is voor alle betrokkenen in het besluitvormingsproces.

Communiceer uitkomsten in hun context.

Modeluitkomsten moeten in de juiste context geïnterpreteerd worden. Stakeholders die niet bij de studie betrokken waren kennen de context van de studie vaak niet goed. Om misverstanden te voorkomen is het belangrijk te bespreken hoe de uitkomsten van de studie in de juiste context naar buiten gebracht kunnen worden. Je kan bijvoorbeeld de modelleur om ondersteuning vragen voor het persbericht.

Bedenk ook hoe de communicatie het best aangepast kan worden aan de kennis en behoeften van verschillende stakeholders.

Niet iedereen is in dezelfde dingen geïnteresseerd.

Laat in de communicatie zo weinig mogelijk ruimte voor interpretatie.

Leg de context, vereenvoudigingen en aannames zo duidelijk mogelijk uit.

Communiceer met visualisaties.

Zorg ook hier dat de context, vereenvoudigingen, aannames en onzekerheden zoveel mogelijk met de plaatjes meegaan.

Zorg voor een goed begrip van onzekerheden.

Ook voor andere stakeholders is het van groot belang om de onzekerheden goed te begrijpen. Communiceer de uitkomsten met bandbreedte om schijnzekerheid te vermijden. Check met de modelleur of getallen afgerond zijn tot op het niveau dat zeker is. Vraag om een disclaimer over de onzekerheden.

Stem af met de modelleur hoe de informatie, die tijdens de studie verzameld is, gearchiveerd wordt.

Zo kan de verzamelde informatie ook later gebruikt worden.

Voorbeeld

De gemeente gaat aan tafel zitten met de vertegenwoordigers van het wijkinitiatief. Ze kennen de studie al een beetje want ze waren betrokken bij het vaststellen van aannames en vereenvoudigingen. Tijdens het gesprek gaan ze in op de kosten voor de bewoners en de hoge kosten voor de netbeheerder. Dat was een belangrijk inzicht uit de studie.

De inzichten zijn ook waardevol voor de gemeenteraad en de bewoners van andere wijken. De gemeente besluit om op basis van de modeluitkomsten en -inzichten een online tool te laten bouwen waar bewoners en ondernemers zelf warmtetechnieken kunnen vergelijken. 

In de communicatie benadrukt de gemeente dat in de studie standaard woningen en gebouwen zijn gebruikt. Het geeft een eerste richting, maar voor elk individueel huis of gebouw moet extra advies op maat ingewonnen worden.

GMP 2.0. Opzet YK 17.04.20

Extra voorbeeld modelijking

Een consumentenorganisatie wil weten hoe het energieverbruik van wasmachines samenhangt met de hoeveelheid was in de trommel. Goede cijfers voor dit verband ontbreken. Daarom meet de modelleur het energieverbruik van een wasmachine bij tien verschillende hoeveelheden was. Op basis hiervan bepaalt ze de getallen, de parameters, die dit verband beschrijven. 

Modelparameters bepalen op basis van inputdata (hoeveelheid was) en uitkomst (energieverbruik) heet modelijking. 

GMP 2.0. Opzet YK 17.04.20

Extra voorbeeld modelvalidatie

De modelleur heeft modelparameters voor het energieverbruik van wasmachines bepaald op basis van metingen van één wasmachine. Geldt dat model ook voor andere wasmachines?

De modelleur berekent het energieverbruik voor verschillende hoeveelheden was met het model. Ze meet ook het energieverbruik van vijf andere wasmachines met deze hoeveelheden was. 

Het verschil tussen modeluitkomsten en metingen is minder dan 10%. De modelleur besluit dat het model ook voor de andere wasmachines geldt. 

Modeluitkomsten vergelijken met een metingen die niet gebruikt waren om het model te maken heet modelvalidatie.

GMP 2.0. Opzet YK 17.04.20

Extra voorbeeld dataonzekerheden

Een milieuorganisatie wil weten hoeveel zonnestroom vorig jaar in Nederland geproduceerd is. De organisatie wil data van het CBS gebruiken.

Het CBS gebruikt een combinatie van databronnen om de zonnestroom te schatten. De schattingen zijn gebaseerd op een enquête met leveranciers van zonnepanelen, en een aantal kentallen. Het CBS geeft aan dat de onzekerheid op de data 20% is.

Het CBS rapporteert een zonnestroomproductie van ongeveer 5 TWh in 2019. Een onzekerheid van 20% komt overeen met 1 TWh. 

De milieuorganisatie besluit dat de echte productie tussen 4 en 6 TWh ligt.

Bronnen: 

GMP 2.0. Opzet YK 17.04.20

Extra voorbeeld gevoeligheidsanalyse

Een coöperatief gaat een windturbine plaatsen. Ze willen graag weten hoeveel windstroom ze zullen produceren. 

Voor hun locatie zijn geen data voor windsnelheid beschikbaar. Ze gebruiken data van een meetstation in de buurt. De gemiddelde windsnelheid bij het meetstation is 20 km per uur. 

Het coöperatief is benieuwd hoeveel windstroom hun turbine zal produceren als de windsnelheid bij hen 10% hoger of 10% lager ligt.

Ze rekenen de windstroomproductie door voor een gemiddelde snelheid van 18 km per uur en voor 22 km per uur. Bij 10% meer of minder wind is de windstroomproductie meer dan 30% hoger of lager! 

Deze gevoeligheidsanalyse leert dat een klein verschil in de input een groot verschil voor de output kan betekenen.