Het bewijsmateriaalpakket: 8 punten die je moet voorbereiden vóór een ideeënsbeoordeling17 min lezen

Een beoordelingscommissie komt om tien uur bijeen met vijf agendapunten. Dit is wat er daadwerkelijk is ingediend:

• Een businesscase van veertig dia’s met een gerenderde mock-up en een omzetcurve over vijf jaar
• Twee alinea's die in een e-mail zijn geplakt
• Een spreadsheet waarvan het enige tabblad de naam “final v3” droeg”
• Een kaartspel van een sponsor die niemand in de zaal wilde uitdagen
• Een pakket dat de voor de hand liggende vragen beantwoordde nog voordat iemand ze had gesteld

Om elf uur is er één gefinancierd en zijn er vier dood.

Niemand in die kamer wisselde ideeën uit. Ze vergeleken hun voorbereiding en noemden het resultaat vervolgens een besluit.

Ervaren recensenten, objectieve criteria, oprechte bedoelingen. Wat hen aansprak, miste precies diezelfde acht dingen, en dat is een sjabloon probleem en goedkoop te verhelpen.

De recensie is meestal al kwijt voordat iemand gaat zitten

Die bijdragen waren bedoeld om te overtuigen en niet om beoordeeld te worden, en in geen enkele stond vermeld hoeveel het vertrouwen dat de cijfers verdienden.

De algemene toestand van besluitvorming binnen het bedrijf dat is niet bemoedigend, en het is de moeite waard om even bij deze cijfers stil te staan:

• Alleen 20% van de respondenten zeggen dat hun organisatie uitblinkt in besluitvorming
• 61% geven aan dat het grootste deel van hun tijd voor besluitvorming ondoelmatig wordt besteed, en 57% van de respondenten op C-niveau zeggen hetzelfde
• Slechts 37% geven aan dat hun beslissingen zowel van hoge kwaliteit als snel zijn
• Een typisch Fortune 500-bedrijf verliest ongeveer 530.000 dagen aan managementtijd per jaar als gevolg van gebrekkige besluitvormingsprocessen, ongeveer $250 miljoen aan lonen

De uitkomst staat dus al grotendeels vast voordat iemand aan tafel gaat. En de inbreng is het deel dat je daadwerkelijk kunt beïnvloeden.

In de praktijk wordt bij innovatiebeoordelingen dat alles in één uur samengevat, met concrete criteria en daadwerkelijke beslissingsbevoegdheid ter plaatse. Wat ontbreekt, is vergelijkbare input.

Een onderbuikgevoel vult de leemte op waar geen bewijs werd geleverd. Deelnemers die slecht voorbereid zijn, zijn vaak mensen die niets hebben gekregen waarop ze zich de moeite waard vonden om zich voor te bereiden.

De storingsoorzaken zijn meestal problemen met de invoer

Stage-Gate International, de organisatie van Robert Cooper, hanteert haar eigen lijst met storingsmodi bij poortvergaderingen:

• De opkomst was wisselend, en er ontbraken enkele sleutelfiguren
• Er is geen duidelijkheid over wie welke rol vervult
• Gebrekkige informatie ter ondersteuning van de besluitvorming
• Geen agenda of verloop dat naar een besluit toe leidt
• Ondoeltreffende beslissingscriteria
• Deelnemers die onvoldoende voorbereid zijn
• Gebrek aan integriteit, wat betekent dat mensen niet doen wat ze hebben toegezegd

Lees die lijst nog eens: aanwezigheid, duidelijkheid over rollen en integriteit zijn bestuursproblemen. Het grootste deel van wat overblijft, is terug te voeren op de invoer.

'Gebrekkige besluitvormingsondersteuning' is een omschrijving van wat er wel of niet is verspreid.

Het zit zo: veel innovatieprogramma’s pakken het verkeerd aan. Ze blijven zich richten op volume en streven naar meer inzendingen in de trechter.

De beperking zit hem in de manier waarop inzendingen worden beoordeeld: de kwaliteit van de beslissing gaat boven de kwantiteit van de ideeën. Meer ideeën via een beoordelingsproces dat geen onderscheid kan maken tussen de sterkte van een idee en de opmaak ervan, leidt alleen maar tot willekeurige keuzes.

Een standaardinvoerset is een gedocumenteerde hefboom

Dit is in de praktijk getest en er zijn meetresultaten beschikbaar.

Een groot bedrijf in de grondstoffensector legde strenge voorbereidingsvereisten over zijn vergaderingen:

• Sjablonen voor de voorbereiding van vergaderingen
• Gestandaardiseerde protocollen voor het voorbereiden van de lezing
• deadlines

Bain meldt dat de verandering de effectiviteit van de besluitvorming heeft verbeterd en ervoor heeft gezorgd dat het bedrijf zijn toonaangevende positie in de sector heeft behouden.

Voorbereiding was een van de vier veranderingen op dat gebied. De andere waren een duidelijker doel, vernieuwde agenda’s en een strakkere gang van zaken tijdens de vergaderingen.

Amazon hanteert de meest geciteerde variant van hetzelfde idee. De medewerkers daar gebruiken geen PowerPoint, maar schrijven verhalende memo’s van zes pagina’s.

De bijeenkomsten beginnen met een stil studiemoment, waarbij iedereen samen leest voordat er wordt gesproken.

Op zoek naar de waarheid versus verkopen

Bezos’ betoog ging over cognitie. Met dia’s kun je een zwak betoog verbergen achter opsommingstekens, terwijl een verhaal ervoor zorgt dat beweringen met elkaar in verband moeten staan of zichtbaar tekortschieten.

De PR/FAQ-formaat versterkt dit nog verder met een vaste veldstructuur:

• Kop en subkop
• Samenvattende alinea
• Probleemparagraaf
• Oplossing (alinea)
• Citaten en een gedeelte met tips voor beginners
• Eerst een externe FAQ, daarna een interne FAQ over financiën, marketing, ondersteuning, bedrijfsvoering, HR en meer

De recensenten lezen en maken 15 tot 20 minuten lang in stilte aantekeningen, voordat de discussie begint. Het doel van dit opzet wordt hier het treffendst samengevat in drie woorden: op zoek naar de waarheid versus verkoop.

Dat is precies het onderscheid dat een presentatie tot doel heeft te benadrukken. In de pitch worden de voordelen op de voorgrond geplaatst, terwijl de basisaanname op dia 34 naar de achtergrond wordt verdrongen.

Een pakket is zo ontworpen dat het kan worden beoordeeld, en op pagina één staat beschreven wat er zou weerleggen het idee. Structuur maakt creatief werk mogelijk.

De acht onderdelen van een bewijsmateriaalpakket

Bij elke aanmelding moeten dezelfde acht velden worden ingevuld, en het hieronder beschreven niveaumodel bepaalt hoeveel daarvan bij elke fase van toepassing zijn.

Vaste velden vervullen twee functies tegelijk. Ze zorgen ervoor dat vergelijkbare inzendingen, en ze maken omissies zichtbaar.

Er gelden geen uitzonderingen voor senior sponsors, en evenmin voor ideeën die “duidelijk” goed zijn. Het aantal wordt bepaald door het niveau, nooit door de sponsor.

Van de twee banen, zichtbaarheid is belangrijker, aangezien een leeg vakje een vraag is die het bestuur nooit hoefde te stellen. Elk vakje vormt de basis voor een daadwerkelijke beslissing.

De eerste vier velden bepalen de uitkomst

Veld 1 is het veld dat bij de meeste inzendingen wordt overgeslagen volledig. Een pakket dat niet geef de beslissing een naam waardoor het bestuur in het ongewisse blijft of het nu wordt geïnformeerd of om iets wordt gevraagd.

Noem het maar op, noem de vraagsteller en vertel wat er gebeurt als het bestuur zwijgt. De velden 2 tot en met 4 schieten elk op hun eigen manier tekort:

• Veld 2 wordt ingevuld door iemand binnen het bedrijf in plaats van door de persoon met het probleem
• Veld 3 wordt geschreven in een taal die alleen de auteur ervan kan ontcijferen
• Veld 4 wordt weergegeven als een enkel getal zonder zichtbare rekenkundige bewerkingen

Een handige test voor veld 2: het probleem formuleren in de woorden die de betrokken persoon zelf gebruikt. Als je dat niet kunt, beschrijf je een persoonlijke voorkeur.

Eén alinea is de beperking voor veld 3, en alles waarvoor een demo nodig is, is nog niet klaar voor een beslissing. Veld 4 is waar het spel zich afspeelt.

Vraag naar het verwachte rendement en de drie aannames waarop dit is gebaseerd, want een berekening die niet wordt getoond, kan niet worden betwist.

De velden vijf en zeven vertonen de snelste gedragsveranderingen

Bij inzendingen ontbreken deze twee elementen vaak, terwijl ze het gedrag juist het snelst beïnvloeden. Beide zorgen ervoor dat de inzender eerst met iets wordt geconfronteerd:

Doodscriteria zijn zo'n beetje het dichtst bij een oprechtheidstest dat een beoordelingsproces kan komen.

Teams die zich het hardst verzetten tegen veld 7, hebben het meestal het hardst nodig, en een bord waarop nooit iets wordt uitgeschakeld, is gewoon een wachtrij. Het bewijslogboek verandert de manier waarop inzendingen worden opgesteld.

Ontwerp het pakket aan de hand van je beoordelingscriteria

Het pakket vormt een input voor de criteria waarop jullie gatekeepers al een beoordeling geven.

Stage-Gate’s zes standaardcriteria vormen de gemeenschappelijke uitgangsbasis:

• Strategische pasvorm
• Product- en concurrentievoordeel
• Aantrekkelijkheid van de markt
• Technische haalbaarheid
• Synergieën met kerncompetenties
• Financiële beloning versus risico

Als je toets op zes punten scoort, moet het pakket ervoor zorgen dat alle zes punten kunnen worden beoordeeld zonder dat er een vervolg-e-mail nodig is.

Alles in het sjabloon dat niet aan een criterium voldoet, is versiering. Stel dus eerst je criteria op en koppel vervolgens elk veld aan het veld waarvoor het bedoeld is.

Elk overbodig veld komt in aanmerking om te worden verwijderd, en elk criterium zonder bijbehorend veld vormt de basis voor een terugkerend argument.

Nog een structurele regel, ontleend aan Het RAPID-model van Bain: het pakket heeft één auteur met naam.

Die aanbeveler beschikt over het nodige inzicht om dit op een eerlijke manier samen te stellen. In de documenten voor de commissie worden de meningsverschillen die het bestuur juist het meest moet zien, vaak gemiddeld weggefilterd.

Beoordeel het bewijs achter elke bewering

In 1951 werd in een National Intelligence Estimate gesteld dat een aanval op Joegoslavië als een “serieuze mogelijkheid” moest worden beschouwd.”

Sherman Kent, die later voorzitter werd van de Board of National Estimates, vroeg zijn collega’s wat zij onder die uitdrukking verstonden.

Hun antwoorden varieerden van Waarschijnlijk van 20% naar 80%. Geen van hen had zich gerealiseerd dat ze het oneens waren.

Kents oplossing bestond uit een zorgvuldig afgewogen woordkeuze, waarbij elke zin een kernwaarde en een marge bevatte:

• Vrijwel zeker, rond 93%
• Waarschijnlijk rond 75%
• De kansen liggen ongeveer gelijk, rond de 50%
• Waarschijnlijk niet, zo’n 30%
• Vrijwel zeker niet, rond de 5%
• Mogelijk, gebruikt alleen wanneer er op verantwoorde wijze geen kansen konden worden toegekend

Dat is je beoordeling van het idee. Iedereen knikt instemmend bij “grote belangstelling vanuit de markt”, terwijl ze stiekem cijfers in gedachten hebben die vier keer zo hoog liggen.

De vergadering wordt vervolgens afgesloten met een akkoord waarin wordt overeengekomen dat niemand eigenlijk aandelen.

Het IPCC heeft dit idee verder uitgewerkt en voert nu twee parallelle schalen. Men beoordeelt de waarschijnlijkheid, van uiterst onwaarschijnlijk tot vrijwel zeker.

De andere betrouwbaarheidscijfers, afgeleid van de kwaliteit van het bewijsmateriaal en de mate van overeenstemming.

Bewijs wordt als het meest solide beschouwd wanneer meerdere onafhankelijke, hoogwaardige bewijslijnen met elkaar overeenkomen. Waarschijnlijkheid en de kwaliteit van het bewijs zijn twee verschillende zaken.

Een bewijsschaal met vier niveaus

Een 70% die op een enquête is gebaseerd en een 70% die op een pilot is gebaseerd, zijn niet hetzelfde object.

Hier is een schaal met vier niveaus die je morgen in je sjabloon kunt plakken:

Er is één regel die ervoor zorgt dat de schaal werkt: de beoordeling van een bewering wordt bepaald door de zwakste bewijs dat dit ondersteunt. Zes E1-beweringen en één E3-proefproject is nog steeds E1.

Een claim zonder bewijs krijgt toch een regel, waarbij het cijfer leeg wordt gelaten zodat de leemte zichtbaar is. De indiener kent cijfers toe, en elke recensent kunnen hen uitdagen.

Een discussie over de vraag of iets E2 of E3 is, gaat boven een discussie over de vraag of het idee “goed aanvoelt”.”

Wat software hier wel en niet kan doen

De schaal legt vast wat in de praktijk van het onderzoek al gebeurt. Teresa Torres beschrijft het werk van David Bland’s toewijzing van aannames als de kracht van het bewijs tegenover het belang.

Hier bewijst software zijn waarde:

• Een inzending verrijken met marktcontext
• Ideeën die bijna hetzelfde zijn, groeperen
• Geef aan welke verplichte velden nog leeg zijn
• Breng een E1-claim aan die stilletjes een beslissing met zich meebrengt waarvoor E4-bewijs nodig is

Wat er ook in de hoek ‘kritisch en met zwakke onderbouwing’ staat, wordt als eerste getest, en met goede hulpmiddelen wordt die hoek duidelijk zichtbaar.

Wat het niet kan, is bewijs creëren dat niemand heeft verzameld. Hulpmiddelen maken de duidelijkheid die je al hebt nog duidelijker, maar het verzamelen van de gegevens blijft jouw taak.

Teams die geen onderscheid kunnen maken tussen zwak en sterk bewijs, beschouwen de uitspraak “we hebben een enquête gehouden” als een definitief antwoord op iets wat alleen een prototype zou kunnen oplossen. Geen enkel hulpmiddel kan daar iets aan veranderen.

Pas het pakket aan de beslissing aan

Het uitgangspunt dat bepalend moet zijn voor het gewicht van een pakket is omkeerbaarheid, en het budget hangt daar slechts mee samen ongeveer. Bezos’ Aandeelhoudersbrief 2015 verdeelt beslissingen in tweeën:

• Type 1: onomkeerbare eenrichtingsdeuren die zorgvuldige afweging vereisen
• Type 2, omkeerbare tweerichtingsdeuren die door personen met een goed beoordelingsvermogen of kleine groepen snel moeten worden geopend

Een goedkope aankondiging kan een eenrichtingsdeur zijn, een dure, opzegbare pilot een tweerichtingsdeur. Hij stelde de drempel vast op ongeveer 70% van de informatie die je zoekt.

De innovatieboekhouding roept tot voorzichtigheid op. Toma en Gons waarschuwen dat start-ups die zich nog in een zeer vroeg stadium bevinden, te volatiel om hoog te scoren op de volwassenheidsschaal.

Drie niveaus, toegewezen door de proceseigenaar

Het niveau bepaalt hoeveel pakketten de beslissing moet verwerken:

Wie deze zwaargewicht ook noemt, moet eens kijken waar Cooper zelf terechtkwam.

De bedenker van Stage-Gate pleit nu voor “smalle poorten met tanden” en een Triple A-systeem: adaptief en flexibel, wendbaar, versneld.

Poorten die weinig onderhoud vergen en ‘niets weigeren’ zijn gewoon bijeenkomsten met een mooiere naam. Niveau 3 zou moeten zijn zeldzaam, zodat mensen het accepteren als het verschijnt.

Het niveau wordt door de proceseigenaar toegewezen zodra de inzending binnenkomt. Elke inzender die nog meedoet, zal beweren dat zijn of haar idee een tweerichtingsdeur is.

Het voorlezen is het deel dat mensen overslaan

Als je het document rondstuurt in de hoop dat mensen het lezen, ontstaat er een situatie waarin bijna niemand het daadwerkelijk heeft gelezen. De oplossing van Amazon is om het lezen in de vergadering zelf te integreren.

Vroegtijdige indiening is bedoeld voor indeling in categorieën en planning. Voor alles wat op de vergadering aan de orde komt, zorgt gezamenlijke bestudering ervoor dat er tijd vrijkomt voor discussie in plaats van voor uitleg:

• Het dossier wordt 72 uur van tevoren ingediend voor indeling in categorieën; anders wordt het van de agenda van die week geschrapt.
• Tier 1-items komen nooit in de kamer terecht, omdat ze asynchroon worden gelezen en verwerkt
• Voor niveau 2 en 3 vindt het lezen in de klas plaats, in stilte, voorafgaand aan de bespreking
• De aanbeveler komt niet in beeld, maar geeft antwoord
• Elk item is aangeduid met ‘Informeren’, ‘Bespreken’ of ‘Beslissen’
• Het besluit, de motivering en de criteria voor het doden worden vastgelegd voordat iemand vertrekt

Bain meldt dat er een kleiner apparaat is dat evenveel gewicht kan dragen: geef elk agendapunt een label Informeren, bespreken of beslissen. In de praktijk wordt dat label als eerste overgeslagen.

Dan is er nog de kwestie van de opkomst, die talrijke besturen dit aanpakken door iedereen uit te nodigen. Bij een bedrijf in consumentengoederen, 40% van de betrokkenen leverde geen meerwaarde op.

Door deze factoren weg te nemen, konden er snellere en betere beslissingen worden genomen, en uit hetzelfde onderzoek blijkt dat de kwaliteit van het debat de belangrijkste voorspellende factor is voor grote investeringen.

Voeg een pre-mortem toe voor niveau 3

Voeg voor niveau 3 een geplande pre-mortem toe in plaats van een optionele workshop. Optioneel betekent dat het niet zal gebeuren.

Van Gary Klein methode verloopt in vier stappen:

1. Vertel het team dat het project al op spectaculaire wijze is mislukt
2. Laat iedereen voor zichzelf alle redenen opschrijven die hij of zij kan bedenken
3. Ga om de beurt te werk, één reden per keer, totdat ze allemaal zijn genoteerd
4. Vervolgens bekijkt de eigenaar de lijst en scherpt hij het plan aan

Uit het onderzoek waarnaar Klein verwijst, blijkt dat ‘prospectief achteraf’ het vermogen van mensen om redenen voor toekomstige uitkomsten te achterhalen met ongeveer een derde verbetert.

In het voorbeeld dat Klein zelf aanhaalde, bleek uit een pre-mortem dat een team te weinig tijd had gehad om zijn businesscase voor te bereiden.

Dat is precies het soort dingen dat niemand zomaar in een statusupdate vermeldt. Kleins benadering is eerder psychologisch dan analytisch.

Mensen zullen tijdens de planning geen bedenkingen uiten, tenzij de opzet hen daartoe de ruimte biedt; neem dit dus op in de agenda.

Leg het besluit vast voordat iemand vertrekt

Wat er ook beslist wordt, de uitkomstverzameling moet echte opties bevatten.

Stage-Gate’s vier zijn ‘Go’, ‘Kill’, ‘Hold’ en ‘Recycle’, en bij elke ‘Go’ hoort een actieplan en een volgende mijlpaaldatum. Sluit vervolgens af zoals Amazon dat doet: ‘disagree and commit’.

Het is gezond om afwijkende meningen vast te leggen, maar het debat eindigt wanneer het besluit wordt geregistreerd. De overeenkomst die in de gang op losse schroeven komt te staan, is het slechtst mogelijke scenario.

Waar het misgaat

Het eerste minpunt is dat het pakket verandert in een schoonheidswedstrijd.

Geef mensen een sjabloon en een woordlimiet, en de beste schrijver gaat meer dan zijn deel binnenhalen. Dat is een andere vertekening dan degene die je juist wilde wegwerken.

De kolom met de E-beoordeling fungeert als tegenwicht. Beoordelaars geven een score aan het bewijsmateriaal zelf en noemen de beoordeling hardop voordat ze de bewering bespreken.

Een prachtig geschreven E1 blijft een E1.

Business Case Theater

De tweede mislukking is nog schadelijker, en de meeste organisaties hebben er al mee te maken.

EEN CEO-enquête door MIT Sloan kwamen uit op gemiddelde reële drempelrendementen van 12,21 TP5T in totaal en 11,61 TP5T voor fabrikanten.

Het interessante is de reden die daarvoor wordt opgegeven. Managers kunnen de tarieven hoger vaststellen dan hun vereiste rendement om de optimistische prognoses van de sponsors te corrigeren.

Beschouw dat maar als een bekentenis:

• De organisatie weet al dat haar businesscases te hoog zijn ingeschat
• Het corrigeert de uitgang in plaats van de invoer aan te passen
• De correctie treft alle eerlijke indieners, terwijl degenen die hun cijfers hebben opgeblazen er nauwelijks last van hebben

Het optimisme is een meetbaar klasse-effect.

Van Bent Flyvbjerg Analyse van de Wereldbank schat de gemiddelde kostenoverschrijding op 44,71 TP5T voor spoorwegen, 33,81 TP5T voor bruggen en tunnels, en 20,41 TP5T voor wegen.

De vraagprognoses vallen slechter uit. Het aantal treinreizigers ligt gemiddeld 51,41 TP5T onder de prognose, waarbij 841 TP5T meer dan 201 TP5T achterblijft.

De volwassen aanpak is al terug te vinden in de praktijk van de overheid.

Het Britse Ministerie van Verkeer publiceert aanbevolen activiteiten die je humeur verbeteren en je optimisme stimuleren zijn opgesteld op basis van gegevens uit de referentieklasse, en promotoren moeten deze toepassen.

Laat de positieve kanten zien in plaats van ze te verbergen

In de fase waarin de businesscase volledig is uitgewerkt, bedragen de stijgingen 20% voor wegen, 30% voor het spoor en 28% voor vaste verbindingen. In eerdere fasen zijn de cijfers aanzienlijk hoger.

Stel een huisbonus per klasse in en pas deze toe openlijk, en maak dat cijfer bekend. Dan hoeft niemand zijn prognose op te blazen om concurrerend te blijven.

Wanneer het sjabloon het probleem wordt

Het derde minpunt is dat het geheel verkalkt tot louter documentatie. McKinsey waarschuwt dat complexe procesdiagrammen zelden door anderen dan de makers ervan worden gelezen.

Een sjabloon dat stilletjes is uitgegroeid van acht velden naar twaalf: zo gaan goede ideeën ten onder aan bureaucratie.

Doe je sjabloon drie keer door het beoordelingsproces en schrap vervolgens alle velden die geen invloed hadden op de beslissing. Doe dit elk jaar, dan blijft het pakket een bruikbaar hulpmiddel.

Zorg dat de input op één lijn ligt voordat je de vergadering de schuld geeft

De belangrijkste instrumenten die je bij de beoordeling van je idee tot je beschikking hebt, zijn acht vaste velden en een beoordeling van de onderbouwing voor elke materiële bewering.

Als je dit kwartaal drie dingen wilt veranderen, doe dan het volgende:

• Het bewijsregister, waarin elke claim die van belang is, is voorzien van een classificatie van E1 tot E4
• De beëindigingscriteria zijn door de indiener vastgesteld vóór de toekenning van de financiering en zijn daarna niet opnieuw onderhandeld
• Een deadline voor het vooraf lezen die je aanhoudt, zelfs als een senior sponsor deze niet haalt

Deze drie punten geven op zichzelf al een nieuwe wending aan het debat, dus nieuwe beoordelingsmodellen kunnen nog wel even wachten. Let erop of een bewering meer gewicht krijgt dan het bewijs kan dragen.

Dat is een beoordelingscommissie die haar werk daadwerkelijk doet, en het kost je slechts één aanpassing van het sjabloon in plaats van een heel wijzigingsprogramma.

Volgens de eigen cijfers van Accept Mission bedraagt de vermindering van verspilling van hulpbronnen bijna 30%. Het grootste deel daarvan is te danken aan het vroegtijdig beëindigen van zwakke taken.

Download ons ebook over beoordeling van ideeën en bestuur, of boek een demo om te zien hoe Accept Mission scorekaarten, bewijsbeoordelingen en gate-beslissingen opzet.