Een ambtenaar, bestuurder of andere stakeholder werkt aan de energietransitie. Dit is complexe materie, er zijn veel vragen en uitdagingen. Om een bepaalde vraag op te lossen beslist hij om je hulp als expert modelleur in te roepen. Stem je communicatie af op de vraag en het kennisniveau van de gebruiker.
Een bewonerscoöperatie wil de warmtevoorziening in haar wijk verduurzamen. De bewoners hebben een aanpak in gedachten en komen naar de gemeente. De gemeente vraagt zich af of de gekozen aanpak wel wenselijk is en besluit een modelleur de maatschappelijke kosten te laten doorrekenen.
Om een modelstudie goed op de vraag van de gebruiker af te stemmen, is het belangrijk dat je de context van de vraag goed begrijpt. Waar gaan de modeluitkomsten voor gebruikt worden en door wie? Daarnaast zorgen goede afspraken over de aanpak voor een goed begrip tussen jou en de gebruiker.
Vraag wat de achtergrond is van de vraag. Zo kan je beter inschatten welk model en welke aanpak goed zal passen.
Elk model heeft immers zijn eigen doel. Is de gebruiker ook de enige gebruiker, of worden uitkomsten ook door anderen gebruikt? Welke belangen, interesses en wensen hebben andere stakeholders?
Is dit een verkennende studie? Worden er besluiten genomen op basis van de modeluitkomsten? Ga hier in stap 2 dieper op in.
Tijdens een studie kunnen er dingen veranderen. Externe ontwikkelingen kunnen invloed hebben op de studie, maar ook tussentijdse uitkomsten uit de studie zelf kunnen leiden tot veranderingen in de aanpak. Hoe ga je hiermee om?
Dat is niet altijd het geval, soms verandert de vraag tijdens de studie. In dat geval kan het extra waardevol zijn om in de aanpak ruimte voor iteraties te creëren.
Misschien heeft de gebruiker al een bepaalde verwachting van de uitkomst van de studie. Toch kan een studie een andere uitkomst leveren. Hoe help je de gebruiker hiermee om te gaan?
Krijgt de gebruiker een model of alleen de modelresultaten? Als hij een model krijgt, wordt het onderhouden? Bij wie liggen de intellectuele eigendomsrechten? Maak hier duidelijke afspraken over.
De modelleur en de gemeente gaan in gesprek.
Ze bespreken de achtergrond van de vraag. De gemeente wil niet alleen de aanpak van de coöperatie laten doorrekenen, er moet een vergelijking komen met andere technieken.
Tegelijk zijn niet alleen de kosten van belang, maar ook andere criteria.
Samen komen de gemeente en de modelleur tot de conclusie dat er een onderliggende vraag is. De gemeente wil weten welke alternatieven er allemaal mogelijk zijn.
De gemeente besluit om duurzaamheidsparameters voor verschillende technieken door te laten rekenen.
Mogelijke nieuwe technieken of externe inzichten die tijdens de studie naar boven komen, worden niet meegenomen.
De gemeente hoopt dat de aanpak van de bewonerscoöperatie goed scoort, maar kijkt vooral uit naar de uitkomst van de studie.
Als je een bepaald model kiest, moet je zeker zijn dat het geschikt is voor wat de gebruiker wil. Dit kan je in drie stappen doen. Ten eerste moet het type uitkomsten overeenstemmen met de vraag van de gebruiker. Ten tweede moet het model ook voldoen aan randvoorwaarden. Ten derde, wil je de gebruiker vertrouwen geven in het model.
Elk model is een vereenvoudiging van de realiteit, en elk model heeft zijn eigen doel. Het type modeluitkomsten dat je krijgt hangt af van het type model. Bespreek wat voor type modeluitkomsten de gebruiker nodig heeft. Past dit soort uitkomsten bij zijn vraag? Als het niet goed past, wat zijn de mogelijkheden?
Moet het model interactief zijn? Wil de gebruiker zelf input kunnen invullen? Moeten anderen ermee kunnen werken? In welke vorm wil de gebruiker de uitkomsten zien? Om de mogelijkheden te illustreren, kan je bij een bestaand model een live demo of eerdere modeluitkomsten tonen.
Hiervoor heb je een referentiepiste en een technische piste. Wat past beter bij de gebruiker?
Als de gebruiker niet zelf technische details onder de loep wil nemen, kan je referenties van andere projecten aanbieden.
De modelleur en de gemeente bespreken welk type model het beste bij de vraag zou passen. Een optimalisatiemodel komt ter sprake. Dit type model geeft echter alleen de technologie weer met de laagste kosten. Dat is niet wat de gemeente zoekt.
De gemeente en de modelleur besluiten om een doorrekenmodel te kiezen. Het model berekent hoe elke warmtetechniek scoort op vijf aspecten. Dat is één van de vereenvoudigingen, want uiteraard zijn er veel meer aspecten. De gemeente en de modelleur bespreken ook de andere vereenvoudigingen in detail.
Het doel van het model komt goed overeen met de vraag van de gemeente. Technieken kunnen overzichtelijk met elkaar vergeleken worden. De modelkeuze staat vast.
De gemeente vraagt om meer inzicht in het model. De modelleur maakt een conceptueel diagram dat de werking van het model uitlegt. Hierdoor rijzen vragen over twee van de parameters in het model. De modelleur zal deze parameters herijken op basis van expertconsultatie.
De modeluitkomsten zullen gevalideerd worden door enerzijds een vergelijking met drie eerdere studies, en anderzijds een gesprek met een onafhankelijke onderzoeker.
Tijdens elke modelstudie moeten er keuzes gemaakt worden over aannames en vereenvoudigingen in een model. Aannames en vereenvoudigingen kunnen een zeer grote invloed hebben op de modeluitkomsten. Dit is dus een cruciale stap. Benadruk dit voldoende. Aangezien modelleren maatwerk is – elke vraag en elk doel zijn net anders – is het moeilijk om van een “standaard” lijst van aannames en vereenvoudigingen uit te gaan. Licht dit toe en bespreek de mogelijkheden, keuzes en hun gevolgen in detail met de gebruiker.
Neem minimaal vijf aannames onder de loep, maar liever meer.
Bekijk ook hier minimaal vijf vereenvoudigingen, maar liever meer.
Zo kunnen jullie er later altijd op terugvallen. Noteer ook alvast de verwachte gevolgen. Dit kan later helpen om de modeluitkomsten kritisch te bekijken.
Dat helpt om elkaar te begrijpen. Het is ook makkelijker voor anderen die later in de studie betrokken worden, of de uitkomsten zien.
De modelleur en de gemeente bespreken de aannames en vereenvoudigingen in het gekozen doorrekenmodel.
Ze nemen ook de aannames door. Een belangrijke aanname is het aandeel hernieuwbare elektriciteit. Dit is bepalend voor de duurzaamheid van elektrische verwarming. De modelleur en de gemeente besluiten om aan te nemen dat dit aandeel 66% zal zijn in 2030 op basis van de Klimaat- en Energieverkenning uit 2019.
Ze gaan dieper in op de vereenvoudigingen. Het model kan niet voor elk individueel gebouw de warmtetechnieken vergelijken. Daarom spreken de gemeente en de modelleur af dat de vergelijking gemaakt wordt voor twee “standaard” woningen, één “standaard” winkel, één school en één kantoorgebouw uit de gemeente.
De gemeente en de modelleur spreken met de vertegenwoordigers van de bewonerscoöperatie. Zij vinden twee standaard woningen te weinig. De studie wordt uitgebreid naar vier standaard woningen.
Elke modelstudie vraagt om eigen data. Vaak gaat het om gedetailleerde of specifieke data die niet zomaar openbaar beschikbaar zijn. Bovendien zijn er onzekerheden verbonden aan data. Spreek met de gebruiker af wie data verzamelt en hoe data gebruikt worden.
Hoewel heel veel data beschikbaar is, ontbreken gedetailleerde of specifieke data vaak. Licht toe dat data geen onderdeel van een model zijn, maar een input ervoor. Dat is niet voor alle gebruikers duidelijk. Alleen met goede input kan een model goede output leveren.
Kunnen deze data ook in andere studies gebruikt worden? Door jou? Door de gebruiker? Kunnen ze ook breed beschikbaar gemaakt worden, bijvoorbeeld in de vorm van open data?
Probeer in te schatten wat de gevolgen zijn van ontbrekende data. Soms kunnen ontbrekende data niet tijdig gevonden worden. Dan moeten er aannames gedaan worden. Licht toe wat dit voor gevolgen heeft voor de modeluitkomsten.
Nagenoeg alle data zijn onzeker. Dit is voor gebruikers vaak onduidelijk. Ook de gevolgen van onzekerheden in de modelinput op de modelresultaten zijn voor een gebruiker moeilijk in te schatten. Bespreek daarom hoe onzekerheden in de input zorgen voor onzekerheden in de modeluitkomsten. Geef onzekerheden in data en uitkomsten expliciet weer, bijvoorbeeld door een bereik weer te geven, of een gemiddelde, een maximum en een minimum.
De gemeente, de stakeholders en de modelleur hebben afgesproken om uit te gaan van vier types “standaard” woningen, één type winkel, één school en één kantoor.
Om te weten wat deze standaarden zijn in de gemeente moeten bijkomende lokale data verzameld worden.
De lokale ambtenaren kennen de gemeente het best. Daarom hebben ze afgesproken dat zij de data leveren.
Verder hebben de modelleur en de gemeente besloten dat als de data niet tijdig gevonden kunnen worden, de modelleur nationale gemiddelden gaat gebruiken. Dat zou de uitkomsten minder specifiek voor de gemeente maken.
Deze stap omvat het gros van het modelleerwerk. Zorg ook hier voor goede communicatie met de gebruiker. Dat zorgt voor betere afstemming en begrip.
Licht zo nodig toe hoe je een bestaand model aanpast aan de vraag van de gebruiker, of hoe je er een nieuw model voor bouwt. Leg uit dat je de context van de vraag vertaalt in aannames en vereenvoudigingen en instellingen van het model, en dat je de verzamelde data gebruikt als input.
Duid expliciet wat de status is van tussenuitkomsten. Het zijn slechts stappen in de richting van de einduitkomst, en worden vooral gebruikt om fouten te vinden en te corrigeren.
Het is niet altijd mogelijk om alle effecten op voorhand te overzien.
Tussentijdse resultaten dienen om de werking van het model te checken, en om eventuele fouten te verbeteren.
De modelleur past een bestaand model aan de wensen van de gemeente aan. Ze verwerkt de aannames en vereenvoudigingen in de instellingen van het model.
Ze past het model aan zodat alle gewenste warmtetechnieken een plek krijgen.
Daarnaast breidt ze het model uit naar vier types “standaard” woningen, één type school, één type winkel, en één type kantoor.
De data zijn op tijd geleverd, maar niet in het juiste formaat. Het omzetten van data kost daarom wat meer tijd.
De utiliteitsgebouwen modelleren vraagt ook meer werk omdat het model oorspronkelijk alleen voor woningen bedoeld was. De modelleur en de gemeente stemmen tussendoor nog drie keer af.
De modelleur deelt de tussenuitkomsten met de gemeente. Voor één warmtetechniek merken ze gekke waarden op. De modelleur loopt het model nog eens na, vindt en corrigeert de fout.
Als de modeluitkomsten klaar zijn, bespreek ze in detail met gebruiker. In dit gesprek worden de modeluitkomsten duidelijk. Het levert ook nieuwe inzichten op. Neem hier voldoende tijd voor.
Wat valt op? Wat is onverwacht? Wat is onduidelijk? Kunnen de uitkomsten verklaard worden door de aannames, vereenvoudigingen en gebruikte data? Moet er nog iets herzien worden?
Een gevoeligheidsanalyse is tegelijk geen tovermiddel; als de inputwaarden niet realistisch zijn, zijn de uitkomsten onbetrouwbaar.
Wat betekent de onzekerheid voor het beantwoorden van de vraag?
Uitkomsten met cijfers na de komma hebben alleen betekenis als de inputdata en modelberekeningen echt zo precies zijn. Leg uit dat uitkomsten nooit nauwkeuriger kunnen zijn dan de inputdata. Licht toe dat geen model de onzekerheid helemaal kan wegnemen. Toon uitkomsten met bandbreedte die de onzekerheid weergeeft.
Uit de modeluitkomsten blijkt dat technieken verschillend scoren afhankelijk van het type standaard woning of gebouw.
Kosten hangen samen met de ouderdom en de isolatiegraad van een gebouw. Dit stemt overeen met de verwachtingen.
Duurzaamheidscriteria hangen samen met aannames over het aandeel groene elektriciteit en de hoeveelheid en type materialen die bij de gebouwaanpassingen gebruikt worden.
Uit de gevoeligheidsanalyse blijkt dat de duurzaamheid van warmtepompen sterk afhangt het aandeel groene elektriciteit in de elektriciteitsmix.
De uitkomsten komen goed overeen met andere onderzoeken en met de kennis van een onafhankelijke onderzoeker. Dit valideert de uitkomsten.
Het studieproces is voltooid. Het model heeft inzichten en uitkomsten opgeleverd die gebruikt kunnen worden om een antwoord op de vraag van de gebruiker te formuleren.
Hou daarbij ook rekening met de invloed van de gebruikte data, vereenvoudigingen en onzekerheden.
Benadruk tegelijk dat één enkel plaatje ook weer een vereenvoudiging is die nooit alle informatie kan bevatten.
Dit is nuttig als de plaatjes los van het rapport of voor verdere uitleg gebruikt zouden worden.
Ga terug naar de oorspronkelijke verwachting die de gebruiker aan het begin van de studie had. Is deze verwachting uitgekomen? Zo niet, is het duidelijk waarom?
De oorspronkelijke vraag van de gemeente was een vergelijking van verschillende warmtetechnieken.
Een belangrijk inzicht uit de studie is dat de duurzaamheidsscores van de warmtetechnieken samenhangen met het type woning of gebouw, specifiek met het bouwjaar en de isolatiegraad.
De modelleur en de gemeente besluiten om de uitkomsten weer te geven in spindiagrammen, één voor elk type gebouw. De onzekerheden worden ook op de grafiek weergegeven met een gekleurde band. Drie belangrijke aannames staan als voetnoot in de figuur.
De gemeente had gehoopt dat de aanpak die door de bewonerscoöperatie gekozen was sterk uit de vergelijking zou komen. Dat is ook zo voor een aantal duurzaamheidsaspecten, maar de maatschappelijke kosten vallen hoog uit, dat komt door hoge kosten voor de netbeheerder. Dit is een waardevol inzicht dat de gemeente wil gebruiken in verdere gesprekken met de bewoners en de netbeheerder.
Het studieproces is afgerond en heeft nieuwe inzichten opgeleverd. De uitkomsten kunnen nu gebruikt worden om besluitvorming te ondersteunen. Ze kunnen ook breed gecommuniceerd worden. Ze zijn wellicht niet alleen relevant voor de gebruiker die de studie heeft laten uitvoeren, maar zijn ook voor andere stakeholders van belang. Duidelijke communicatie over de context en het doel van deze modelleerstudie is daarbij van groot belang.
Benadruk dat een modelstudie inzichten kan bieden, maar dat mensen de beslissingen nemen. De modeluitkomsten kunnen alleen beslissingen ondersteunen in de context waarin ze gemaakt zijn, ze hangen namelijk samen met het modeldoel, de aannames en de vereenvoudigingen. Het is belangrijk dat dit duidelijk is voor alle betrokkenen in het besluitvormingsproces.
Modeluitkomsten moeten in de juiste context geïnterpreteerd worden. Eindgebruikers die niet bij de studie betrokken waren kennen de context van de studie vaak niet goed. Om misverstanden te voorkomen is het belangrijk te bespreken hoe de uitkomsten van de studie in de juiste context naar buiten gebracht kunnen worden. Je kan bijvoorbeeld met de gebruiker overleggen over het persbericht.
Niet iedereen is in dezelfde dingen geïnteresseerd.
Leg de context, vereenvoudigingen en aannames zo duidelijk mogelijk uit.
Zorg ook hier dat de context, vereenvoudigingen, aannames en onzekerheden zoveel mogelijk met de plaatjes meegaan.
Ook voor andere stakeholders is het van groot belang om de onzekerheden goed te begrijpen Communiceer de uitkomsten met bandbreedte om schijnzekerheid te vermijden. Check of getallen afgerond zijn tot op het niveau dat zeker is. Zorg voor een disclaimer over de onzekerheden.
Zo kan ze ook later gebruikt worden.
De gemeente gaat aan tafel zitten met de vertegenwoordigers van de bewonerscoöperatie. Ze kennen de studie al want ze waren betrokken bij het vaststellen van de aannames en vereenvoudigingen. Tijdens het gesprek gaan ze in op de kosten voor de bewoners en de hoge kosten voor de netbeheerder. Dat was een belangrijk inzicht uit de studie.
De inzichten zijn ook waardevol voor de gemeenteraad en de bewoners van andere wijken. De gemeente besluit om op basis van de modeluitkomsten en -inzichten een online tool te laten bouwen waar bewoners en ondernemers zelf warmtetechnieken kunnen vergelijken.
In de communicatie benadrukt de gemeente dat in de studie standaard woningen en gebouwen zijn gebruikt. Het geeft een eerste richting, maar voor elk individueel huis of gebouw moet extra advies op maat ingewonnen worden.
Extra voorbeeld modelijking
Een consumentenorganisatie wil weten hoe het energieverbruik van wasmachines samenhangt met de hoeveelheid was in de trommel. Goede cijfers voor dit verband ontbreken. Daarom meet de modelleur het energieverbruik van een wasmachine bij tien verschillende hoeveelheden was. Op basis hiervan bepaalt ze de getallen, de parameters, die dit verband beschrijven.
Modelparameters bepalen op basis van inputdata (hoeveelheid was) en uitkomst (energieverbruik) heet modelijking.
Extra voorbeeld modelvalidatie
De modelleur heeft modelparameters voor het energieverbruik van wasmachines bepaald op basis van metingen van één wasmachine. Geldt dat model ook voor andere wasmachines?
De modelleur berekent het energieverbruik voor verschillende hoeveelheden was met het model. Ze meet ook het energieverbruik van vijf andere wasmachines met deze hoeveelheden was.
Het verschil tussen modeluitkomsten en metingen is minder dan 10%. De modelleur besluit dat het model ook voor de andere wasmachines geldt.
Modeluitkomsten vergelijken met een metingen die niet gebruikt waren om het model te maken heet modelvalidatie.
Extra voorbeeld dataonzekerheden
Een milieuorganisatie wil weten hoeveel zonnestroom vorig jaar in Nederland geproduceerd is. De organisatie wil data van het CBS gebruiken.
Het CBS gebruikt een combinatie van databronnen om de zonnestroom te schatten. De schattingen zijn gebaseerd op een enquête met leveranciers van zonnepanelen, en een aantal kentallen. Het CBS geeft aan dat de onzekerheid op de data 20% is.
Het CBS rapporteert een zonnestroomproductie van ongeveer 5 TWh in 2019. Een onzekerheid van 20% komt overeen met 1 TWh.
De milieuorganisatie besluit dat de echte productie tussen 4 en 6 TWh ligt.
Bronnen:
Extra voorbeeld gevoeligheidsanalyse
Een coöperatief gaat een windturbine plaatsen. Ze willen graag weten hoeveel windstroom ze zullen produceren.
Voor hun locatie zijn geen data voor windsnelheid beschikbaar. Ze gebruiken data van een meetstation in de buurt. De gemiddelde windsnelheid bij het meetstation is 20 km per uur.
Het coöperatief is benieuwd hoeveel windstroom hun turbine zal produceren als de windsnelheid bij hen 10% hoger of 10% lager ligt.
Ze rekenen de windstroomproductie door voor een gemiddelde snelheid van 18 km per uur en voor 22 km per uur. Bij 10% meer of minder wind is de windstroomproductie meer dan 30% hoger of lager!
Deze gevoeligheidsanalyse leert dat een klein verschil in de input een groot verschil voor de output kan betekenen.
Selecteer de gewenste infographic
