Haalbaarheidsbeoordeling: hoe je beperkingen kunt toevoegen zonder de creativiteit te ondermijnen14 min lezen

Een leidinggevende stelt een terechte vraag, dus wordt er aan de scorekaart een kolom ‘haalbaarheid’ toegevoegd. Een jaar later bestaat de goedgekeurde lijst uit werk dat het team had kunnen uitvoeren zonder één.

De symptomen zijn gemakkelijk te herkennen:

• Ingezonden voorstellen met de aanduiding ‘vetgedrukt’ blijven steken in de verrijkingsfase en vervallen stilletjes.
• Beoordelingsgesprekken monden uit in discussies over wie er volgend kwartaal capaciteit heeft.
• De portfolio wordt gevuld met zorgvuldige uitbreidingen van wat al goed werkt.
• Er is geen enkele vergadering die verklaart waar die ambitie gebleven is.

Haalbaarheid hoort thuis op elke scorekaart waarmee wordt bepaald waar het geld naartoe gaat. Zonder dat staat de shortlist vol met opdrachten waarvoor niemand de middelen kan vrijmaken.

De schade is het gevolg van hoe Beperkingen worden toegevoegd, ze ontstaan niet doordat ze er al zijn. Welke zijn absoluut, waar worden ze ingevoerd, wat geeft het getal weer, hoe nauwkeurig wordt het beoordeeld?.

Vier beslissingen op de scorekaart maken het verschil. Als je ze goed neemt, wint de veilige optie niet automatisch – als je ze verkeerd neemt, verandert er weinig.

Waarom een haalbaarheidsanalyse stilletjes de veilige optie kiest

De fase van de ideeënselectie verschilt per generatie. De experimentele bevindingen over hoe mensen keuzes maken, zijn niet bepaald rooskleurig.

Selecteurs kiezen voor wat haalbaar is

EEN Onderzoek uit 2010 naar de selectie van ideeën beschrijft “de sterke neiging … om haalbare en wenselijke ideeën te kiezen, ten koste van originaliteit.”

Door selecteurs de opdracht te geven prioriteit te geven aan creativiteit, veranderde hun keuze. Dit leidde ook tot een lagere tevredenheid en een lagere beoordeling van de effectiviteit van hun keuzes (de afweging tussen effectiviteit en originaliteit volgens de auteurs).

In de haalbaarheidsrubriek komt die impuls tot uiting procedureel:

1. Een voorkeur die niemand hoeft te verdedigen, krijgt een eigen vakje op het formulier.
2. De doos krijgt een gewicht en het gewicht krijgt een getal.
3. Het getal wordt gemiddeld, gerapporteerd en geïnterpreteerd alsof het een meetwaarde is.

Je voelt de spanning in de kamer al lang voordat iemand het hardop zegt. Door dan, het is rekenkunde, en als je daar tegenin gaat, ga je in tegen de vorm zelf.

Een een eerder experiment uit 2006 door hetzelfde team concludeerde dat de selectie van ideeën “niet significant beter was dan bij toeval”.”

Die twee resultaten zeggen iets anders en mogen niet op één hoop worden gegooid. Het ene gaat over nauwkeurigheid het ene gaat over toeval, het andere over een richtinggevende kracht.

Dit alles is geen argument om haalbaarheid volledig buiten beschouwing te laten. De ontwerpvraag is het punt waarop dat oordeel een rol mag spelen.

Wanneer expliciete criteria het beeld veranderen

Het experiment van Amabile uit 1979 liet studenten kunstwerken maken onder voorwaardelijke beoordeling. De juryleden gaven die werken aanzienlijk lagere scores voor creativiteit.

Eén De groep die er aan ontsnapte, legde heel duidelijk uit hoe je werk moest maken dat als creatief zou worden beoordeeld. Ondoorzichtige criteria lijken de boosdoener te zijn, en het openbaar maken van je eigen criteria kan drie dingen bewerkstelligen:

• Zorg ervoor dat er minder giswerk is over wat recensenten willen.
• Neem de vrijheid weg om halverwege de cyclus de spelregels te veranderen.
• Laat de inzenders zien welke onbekende factoren ze moeten vermelden en welke tot diskwalificatie leiden.

De rubriek fungeert daarom ook als een toelichting voor de indieners. Hierin wordt beschreven wat er wordt gesubsidieerd, in de bewoordingen die u hebt gekozen.

Deelnemers zien het als een beschrijving van wat er wordt gefinancierd, en een onzorgvuldig opgestelde beoordelingsrubriek leidt tot zorgvuldig niet-ambitieuze ideeën.

Die uitzondering weegt hier zwaar mee. Het gaat om één voorwaarde in één onderzoek, dus een gepubliceerde beoordelingsmatrix is een redelijke aanname, niet een beproefde oplossing.

Wat uit de gegevens daadwerkelijk blijkt over beperkingen

Beperkingen hebben in de wetenschap een betere reputatie dan in de beoordelingscommissie. Het bewijsmateriaal biedt geen grond voor een eenduidig oordeel van ‘goed’ of ‘slecht’.

EEN Overzicht van het Journal of Management uit 2019 wijst op een omgekeerde U-vorm tussen beperkingen en creativiteit. Te weinig onderdrukt het, en te veel doet hetzelfde.

Eerlijk gezegd is dat een samenvatting van ander werk, dus het geeft een beeld zonder een meetbaar keerpunt. Hier is een toepassing op ontwerp van een scorekaart:

In Haught-Tromps onderzoeken naar rijm uit 2017, werden de gebonden verzen beoordeeld meer creatiever dan de onbeperkte. De gemiddelden lagen tussen 5,18 en 4,29 in onderzoek één, en tussen 5,13 en 4,36 in onderzoek twee.

Haught-Tromp constateerde ook een overdrachts-effect: oefenen onder beperkende omstandigheden leidde tot meer creativiteit bij latere proeven zonder beperkingen. Het gaat om een rijmopdracht, dus bekijk de overdracht naar creatieve praktijk nipt.

Rosso’s veldonderzoek uit 2014 van de vier R&D-teams stuitten op beperkingen helpen sommige teams te bevoordelen en andere te benadelen.

Het verschil lag in de vraag of de dynamiek in de omgeving dit mogelijk maakte. Als je dat mechanisme toepast op scorekaarten, kan een lijst met vereisten in verschillende teams anders uitpakken.

Maak een onderscheid tussen harde beperkingen en beoordeelde haalbaarheid

Het artikel van Cooper en Edgett uit 2006 merkt op dat gate-scorekaarten “zowel criteria waaraan voldaan moet worden (verplichte criteria) als criteria waaraan voldaan zou moeten worden (gewenste criteria) kunnen bevatten.” Door beide In één kolom: daar begint de ellende.

De criteria waaraan moet worden voldaan, zijn zwart-wit; er wordt nergens gedeeltelijke punten toegekend. Ze worden gecontroleerd voor alles wordt bijgehouden, zodat ze de cijfers niet kunnen beïnvloeden.

Nou, juist die volgorde is het hele punt. Een strenge beperking die na de puntentoekenning wordt toegepast, komt neer op een laat veto tegen een optie die nooit in aanmerking kwam.

De test voor een strenge beperking

Voor innovatierisico, reserveer strikte beperkingen voor wettelijke, regelgevende, veiligheids-, gegevensbeschermings- of strategische vereisten die het gesprek daadwerkelijk beëindigen.

De toets is hier heel duidelijk: als het antwoord “nee” is, dan betwistbaar, het is geen strikte beperking en hoort eigenlijk thuis bij de puntentelling.

Waarom de lijst niet groter mag worden

Gebruik 4 of 5 harde beperkingen als een werkbare bovengrens. Elke daardoor wordt de selectie al beperkt voordat iemand het idee heeft gelezen.

Cooper en Edgett geven ook nuttige inzichten in wat er daarna gebeurt. Zodra een project van start gaat, schrijven ze, “is de kans zeer klein dat het ooit nog wordt stopgezet.”

In hun artikel wordt geen concreet afvalcijfer genoemd, dus beschouw dit als een indicatie. Het legt wel uit waarom doodscriteria behoren stroomopwaarts van enige echte toewijding.

Beoordeel de kosten van het uitzoeken ervan, niet de kans op succes

Vroege haalbaarheidsscores zijn prognoses over werkzaamheden waarvan de omvang nog niet volledig is vastgesteld. De onzekerheidskegel van Boehm schat het bereik op ongeveer 0,25x tot 4x in de haalbaarheidsfase.

Volgens de specificatie van de vereisten, zoals Boehm die in 2013 zelf heeft herformuleerd, wordt dit bereik teruggebracht tot ongeveer 0,67x tot 1,5x. Hieruit volgen drie dingen:

• Een cijfer dat bij de toelating wordt toegekend, is een voorspelling van een prognose.
• Een schaal van tien punten impliceert een mate van zekerheid die dit bereik niet kan weergeven.
• De richting en de ruwe orde van grootte kloppen nog steeds, maar meer details zijn er niet.

De schattingen zijn afkomstig uit softwareontwikkeling, dus de vergelijking met andere vroege verkennende onderzoeken is een aanname.

De nauwkeurigheid neemt toe naarmate het werk gedetailleerder wordt uitgewerkt. Tot die tijd belooft de schaal meer dan de feiten kunnen waarmaken.

Dat alles betekent helemaal niet dat een eerste schatting nutteloos. Het zorgt ervoor dat de schaal je neemt het op dat ding om het goed te krijgen.

Wanneer vroege ramingen te optimistisch uitvallen

Het optimisme in vroege schattingen is ook buiten innovatieportefeuilles goed gedocumenteerd. Een onderzoek uit 2003 naar 258 vervoersprojecten in 20 landen werd een gemiddelde stijging per projecttype gemeld:

De auteurs concluderen dat kostenstijgingen “eerder regel dan uitzondering zijn”. Het gaat hier om vervoersinfrastructuur, die hier wordt aangehaald als een analogie.

Hoe groot het effect binnen een bedrijfsportfolio precies is, is onbekend. Het is de richting die telt, en dat pleit ervoor om geen kansen te laten afleiden uit een scorekaart.

De kans op succes maakt plaats voor de kosten om erachter te komen, en snelheid. Wat de haalbaarheid betreft, zou een test van drie weken betere resultaten moeten opleveren dan een weloverwogen gok.

De op ontdekkingen gebaseerde planning van McGrath en MacMillan uit 1995 begint met grote verliezen op onbekend terrein: het Europese park van Disney, dat in 1994 de $1B-grens overschreed, en Zapmail van FedEx, dat de $600M-grens bereikte.

Hun oplossing bestaat uit betere plannings- en controle-instrumenten. Wat de haalbaarheid betreft, een goedkoop te testen Een idee met een grote onbekende zou hoger moeten scoren dan een idee dat duur is om te testen.

De rubriek zo opstellen dat deze niet alles over één kam scheert

Gebruik 3 verankerde niveaus in plaats van een schuifbalk van 1 tot 10. Een schaal van 10 punten nodigt uit tot rekenen het onderliggende vonnis kan dit niet staven.

Het onderzoek van Tversky en Kahneman uit 1974 bleek dat de schattingen varieerden naargelang het uitgangspunt. Groepen met een uitgangspunt van 10 en 65 gaven mediane schattingen van 25% en 45% voor Afrikaanse landen in de VN.

Eerlijk gezegd gaat het hier om algemeen schattingsonderzoek, en de vergelijking is van mij. Bij fijnere schalen is het aannemelijk dat beoordelaars meer ruimte om af te dwalen naar het getal dat ze als eerste zien.

Onderbouw elk niveau met waarneembaar bewijs

Namen van verankerde niveaus bewijs dat een beoordelaar kan controleren, dus “redelijk haalbaar” voldoet niet. Rangschik de niveaus op basis van kosten om het onbekende te bepalen, niet op basis van de omvang ervan.

De klassieke overzichtsstudie uit 1980 over gedragsgerichte schalen, door Jacobs, Kafry en Zedeck, concludeerde dat BARS “op kwantitatieve basis beoordeeld niet beter of slechter is dan andere methoden.”

In dezelfde recensie wordt het format geprezen vanwege zijn “grotere potentieel” op het gebied van gebruiksgemak en kwalitatieve criteria. Dus presentatoren leveren je kijkcijfers op vertaling terwijl meetnauwkeurigheid buiten bereik blijft.

Houd de assen gescheiden en beperk het aantal criteria

Het Institute for Manufacturing van Cambridge benadrukt kansen en haalbaarheid afzonderlijk bekijken. Houd beide resultaten zichtbaar, want één enkel totaal verbergt de afweging waar het besluit over gaat.

Thorndikes artikel uit 1920 over beoordelingsfouten meldt dat oordelen “kennelijk worden beïnvloed door een uitgesproken neiging om de persoon in het algemeen als vrij goed of juist als minderwaardig te beschouwen.”

Dat waren cijfers over werknemers in de industrie, dus de vergelijking is een gevolgtrekking. Het risico op een scorekaart is dat één sterke indruk beide assen kan beïnvloeden.

De IfM’s gestuurde convergentiebegeleiding noemt “een goed streefcijfer voor criteria op hoog niveau… rond de 10”, aangeboden als richtlijn voor praktijkbeoefenaars door een met naam genoemde instelling, zonder gevalideerd het plafond erachter.

Waar haalbaarheid in het traject wordt meegenomen

Op ideeënverzameling, controleer alleen de harde beperkingen en verder niets. Een score voor een idee dat nog niemand heeft onderzocht beschrijft de schrijver, niet het werk.

Haalbaarheid hoort thuis in de evaluatiefase na verrijking, zodra iemand het eens heeft bekeken. Dat komt nog vóór de daadwerkelijke financiële toezegging.

De reeks bestaat uit vier fasen:

• Invoer: uitsluitend harde beperkingen, gecontroleerd en geregistreerd.
• Verdieping: de indiener en een beoordelaar onderbouwen de meest risicovolle aannames met bewijsmateriaal.
• Beoordeling met scores: waarde en haalbaarheid worden op afzonderlijke assen beoordeeld, waarbij eventuele wegingsfactoren binnen elke as worden gehouden.
• Financieringsfase: de resultaten van beide assen worden vergeleken zonder ze bij elkaar op te tellen, waarna de beslissing en de motivering worden vastgelegd.

EEN Onderzoek uit 2019 naar de verwachte evaluatie stelde vast dat groepen onder die omstandigheden minder ideeën produceerden: 21,03 tegenover gemiddeld 32,95.

Diezelfde groepen onderzochten minder ideeëncategorieën, 11,65 tegen 15,05. De scores voor originaliteit waren niet verschillen aanzienlijk, en dat is de eerlijke interpretatie ervan.

Het argument heeft dus betrekking op de zoekruimte, en niet op een aangetoonde afname van de originaliteit. Groepen die zich op de beoordeling hadden voorbereid, produceerden minder werk en vertoonden minder variatie.

Daardoor zijn er minder kansen op een echt origineel idee om de scorekaart te bereiken.

Publiceer de beoordelingscriteria en het tijdschema in de missie-instructies, herhaal vervolgens de niet-onderhandelbare punten op het formulier. Verwachte evaluatiekosten en vaagheid kunnen ertoe leiden dat waardevolle ideeën verloren gaan.

Vier manieren waarop een haalbaarheidsscore verkeerd uitpakt

Er zijn vier storingspatronen waarmee bij het ontwerp rekening moet worden gehouden; dit is een beperktere reeks dan de anti-patronen op het gebied van governance die hen omringen. Elk daarvan is een scoren een artefact dat zich niet kenbaar maakt.

Haalbaarheid als een maatschappelijk aanvaardbaar ‘nee’

Haalbaarheid geeft een beoordelaar een reden die niet ter discussie staat. “Op dit moment te moeilijk” maakt een einde aan een gesprek dat met “Ik doe het liever niet” niet tot een einde zou zijn gekomen.

Let op recensenten bij wie de haalbaarheidsscores overeenkomen met hun werkdruk nauwkeuriger dan het idee dat voor hen ligt.

Het getal kan oprecht zijn, en wat eraan ten grondslag ligt, blijft onzichtbaar totdat iemand de ankers opschrijft.

Bij een ‘verankerd niveau’ moet de beoordelaar aangeven wat er daadwerkelijk ontbreekt. De capaciteit voor het volgende kwartaal is een planningskwestie en hoort thuis in een ander gesprek.

Gewichtstoename

De haalbaarheid is de het gemakkelijkst criterium dat je hardop moet rechtvaardigen, dus houd in de gaten of het gewicht ervan niet stiekem omhoog kruipt. Noteer een datum in de agenda om de gewichten opnieuw te bekijken.

De IfM’s richtlijnen voor weging en beoordeling noemt zowel de wegingsfactoren als de beoordelingen “subjectief en willekeurig”, en de methode “uiterst gevoelig voor kleine veranderingen”.”

Door de wegingsfactoren naast de scores te vermelden, worden wijzigingen zichtbaar. Als de eerste reeks er onjuist uitziet, gebruik dan het bezwaar om de aannames ervan te toetsen.

De score wordt het doel

De oorspronkelijke formulering van Goodhart is droger dan de versie die mensen vaak aanhalen: “Elke waargenomen statistische regelmaat zal de neiging hebben om in te storten zodra er druk op wordt uitgeoefend met het oog op controle.”

De bekende uitdrukking “wanneer een maatregel een doel wordt” is een herformulering van Marilyn Strathern uit 1997, en het is de moeite waard om de bron hiervan correct te vermelden.

Zodra de inzenders de beoordelingscriteria onder de knie hebben, kunnen ze hun werk daarop afstemmen. Dat is goed te doen als de beoordelingscriteria belonen bewijs, en bijtend wanneer het bijvoeglijke naamwoorden beloont.

Sponsor-inflatie

Het is de moeite waard om de anciënniteit van de sponsor af te zetten tegen de scores, aangezien maar weinig beoordelaars het leuk vinden om het voorstel van een directeur een twee te geven. Vergelijk de scores per sponsorniveau.

Vraag beoordelaars om vóór de bespreking onafhankelijk van elkaar een cijfer te geven, of maak de eerste beoordelingsronde anoniem. Zo blijft het eerste genoteerde cijfer beschermd, hoewel dit de sessie wel vertraagt.

EEN met tijdstempel Dankzij deze registratie kunnen wijzigingen in wegingen en scores gemakkelijker worden gecontroleerd. Daar komt het platform waarop je scoort goed van pas.

Leg de beperkingen schriftelijk vast voordat je ze in een partituur verwerkt

De rubriek is een beleidsdocument, of je het nu zo noemt of niet. Het geeft mensen aan wat voor soort ambitie blijft intact na contact met de trechter.

Er zijn vier wijzigingen die het de moeite waard zijn om als eerste door te voeren:

• Zet de absolute vereisten apart en beperk de lijst tot vijf punten.
• Beoordeel de kosten van het oplossen van het onbekende, niet de kans op succes.
• Beoordeel de haalbaarheid op drie niveaus, waarbij de waarde op een aparte as wordt weergegeven.
• Beoordeel de haalbaarheid na de aanvulling en publiceer de beoordelingsrubriek, de wegingsfactoren en het verslag.

AI hoort thuis in het opstellen van en de auditering. Het kan scorecardcriteria voorstellen op basis van uw strategie en afwijkingen in de scores tussen beoordelaars signaleren.

Begin met de lijst met vereisten en rond die af vóór de volgende beoordelingsronde. Zodra die kolom op zichzelf staat, wordt de rest van de beoordelingsrubriek een stuk eenvoudiger.

Ons e-boek over beoordeling van ideeën en bestuur doorloopt hetzelfde traject, van intake tot en met de portefeuille. Het gaat dieper in op verrijking en scoring dan in één artikel mogelijk is.

Of boek een demo om te zien hoe Accept Mission omgaat met scorekaarten, gewogen criteria en de records met tijdstempels die afwijkingen in de scores zichtbaar maken.