Van intake tot inzicht: beschouw je funnel als bewijs, niet als een wachtrij14 min lezen

In de vorige cyclus heeft je team vierhonderd ideeën gescoord, negen daarvan gefinancierd en de rest gearchiveerd. De 391 ideeën die zijn afgewezen, zijn gelezen eenmaal, als kandidaten.

Een goed uitgeruste trechter kan vier zaken registreren:

• Wie heeft dit ingediend, en vanuit welk onderdeel van het bedrijf?
• Waarover hebben ze, in hun eigen woorden, een bijdrage ingediend?
• Waar elk idee ten onder ging, en bij welke poort
• Hoe lang het duurde voordat iemand reageerde

Als je ze één voor één bekijkt, komen die dossiers in aanmerking voor financiering. Lees samen, ze geven aan op welke punten de organisatie nog steeds moeite heeft.

Vierhonderd inzendingen zijn vierhonderd opmerkingen over de punten waarop medewerkers het gevoel hebben dat er energie verspild wordt, dat er wrijving met klanten ontstaat en dat processen onder druk staan.

Lees dat als een wachtrij, en het resultaat is een lege wachtrij. Lees dit als bewijs, en diezelfde exportcijfers bepalen de begroting voor de volgende cyclus.

Wat de funnel registreert en wat de scorekaart niet registreert

Een scorekaart beoordeelt een enkel ideeën aan de hand van criteria die je vooraf hebt vastgesteld. Het ondersteunt triage, validatie en portefeuillebeoordeling.

Het totaalbeeld geeft antwoord op een vraag waarvoor de scorekaart niet was bedoeld: wat doet deze organisatie? blijf probeer je iets te repareren?

Toyota’s suggestiesysteem gelogd 810.000 inzendingen in 2023. Het nuttigere artefact is vijftig jaar ouder.

EEN Categorie-indeling van Toyota, gepubliceerd in 1973, die de voorgaande jaren besloeg, zag er als volgt uit:

• 70% over het afschaffen of vereenvoudigen van productieprocessen, of het invoeren van automatisering
• 10% over het verbeteren van de productkwaliteit
• 10% over het verlagen van de materiaalkosten
• 7% over het vereenvoudigen van bedrijfsprocessen of interne formulieren

Lees als een distributie, die scheur laat zien waar het werk pijn deed, getekend door de mensen die het deden. Tientallen jaren later geeft het nog steeds weer waartegen de werkvloer streed.

Het Aviation Safety Reporting System van NASA heeft gegevens verzameld meer dan 2,3 miljoen meldingen sinds 1976. Het programma heeft meer dan 8.150 waarschuwingsberichten verstuurd.

Volgens NASA zelf is dat systeem in aanzienlijke mate van invloed geweest op de ‘sterile cockpit’-regel uit 1981. In afzonderlijke rapporten kunnen ernstige incidenten worden beschreven, maar elk daarvan blijft een op zichzelf staand signaal.

De totaal een onderbouwd federaal beleid. Dat is iets wat een scorekaart niet vraagt.

De helft van de respondenten geeft aan over toonaangevende innovatiekracht te beschikken doelen stellen en actief meten het bedenken en omzetten van ideeën, tegenover 39% van de gemiddelde respondenten, zo bleek uit onderzoek van Deloitte in 2021.

Beide uitzichten zijn afgeleid van dezelfde bron. Alleen een daaruit blijkt waar je het mandaat voor volgend jaar op moet richten.

Een thema is een begrotingspost

Mintzberg en Waters trokken in 1985 een grens. Doelbewuste strategieën zijn de strategieën die zoals bedoeld gerealiseerd, en emergente strategieën zijn patronen die tot stand komen ondanks intenties, of juist bij gebrek daaraan.

Een trechter kan signalen aan het licht brengen van de opkomend soort: patronen die buiten de oorspronkelijke bedoeling om ontstaan, uitgedrukt in de eigen taal van de bijdragers.

Het bedenken van een naam voor een thema is de opzettelijk stap. Dit is het moment waarop een patroon in het plan wordt opgenomen en er een begrotingspost voor wordt toegewezen.

Het patroon zorgt ervoor dat er geld in beweging komt nog voordat iemand het een naam geeft

Bij Intel, middenkader steeds meer middelen toegewezen om zich te richten op gespecialiseerde microprocessoren en af te stappen van de massaproductie van DRAM, voor Het management heeft de officiële strategie herzien.

Volgens Burgelman steunde het topmanagement dat gedrag al voordat de bedrijfsstrategie daadwerkelijk werd aangepast. Het patroon zorgde ervoor dat er geld werd verplaatst nog voordat iemand er een naam aan had gegeven.

Het is de moeite waard om dat even te controleren voordat je een herschikking voorstelt. De verschuiving kan al ergens binnen het bedrijf aan de gang zijn.

Dan is het de taak van je thema om die achterstand in te halen en een getal daarop.

De foutmodus is een spreadsheet met een andere naam

Een thema-opdracht hoeft niet per se tot een getal te leiden. Onderzoek naar innovatietheater beschrijft zichtbare symbolische activiteit met geen invloed op het innovatieproces.

Het hernoemen van twaalf categorieën tot vier domeinen kan een heel spektakel worden. Als niets ondanks de veranderingen verderop in het proces bleef de actie symbolisch.

Dit is de test die je het beste kunt uitvoeren voordat de dia wordt gemaakt.

Als een thema geen wijziging in de toewijzing, eigenaar of traphek, het is een label. Goedkoop om te maken, en gemakkelijk als zodanig te herkennen.

Lees eerst de indeling voordat je de ideeën leest

Bij een paar honderd inzendingen kan de eerste doorloop in een middag worden afgehandeld. Het controleren van de gevonden resultaten kost meer tijd.

Vijf artikelen die je het beste eerst kunt lezen:

• Concentratie per categorie, en of deze sinds de vorige cyclus is veranderd
• Waar elk thema ten onder gaat: bij de aanmelding, bij de beoordeling of bij de selectie na de pilot
• Herhaalde indieningen van dezelfde klacht door verschillende personen
• Samenwerking tussen afdelingen die niet met elkaar communiceren
• De kloof tussen de herkomst van de inzendingen en de punten die in de strategie zijn vastgelegd

Je kunt ervan uitgaan dat de tweede lezing de ongemakkelijk 1. Een thema herhaaldelijk Als er bij één poort een fout optreedt, is dat een teken dat de poort en de geschiktheid van het thema nader moeten worden onderzocht.

Misschien de criteria zijn onduidelijk, misschien ontbreekt de sponsor, of misschien kost het thema meer dan wat die poort ooit had mogen goedkeuren.

Convergentie verdient een aparte vergadering. Wanneer de financiële afdeling, de buitendienst en twee fabrieken dezelfde klacht indienen onafhankelijk, beschouw het als een systeemprobleem totdat iets dat uitsluit.

De vijfde lezing wordt politiek. Wanneer de instroom afwijkt van de vastgestelde strategie, moet deze discrepantie worden onderzocht en kan deze worden omschreven als communicatie.

Dat verschil is het thema dat de moeite waard is om naar een hoger niveau te tillen. Voer dezelfde analyses ook uit op de exportgegevens van de vorige cyclus, want een verdeling zonder vergelijkingspunt is slechts versiering.

Je verdeling is deels een gevolg van je eigen antwoorden

Achter dit alles schuilt een feedbackmechanisme. Feedback op de ideeën van de vorige cyclus kan de succes van latere inzendingen.

Onderzoekers die 1.143 ideeën in vijf jaar tijd Bij een autobedrijf bleek dat zowel positieve feedback als constructieve feedback over mislukte ideeën verband hielden met een grotere kans op succes van toekomstige ideeën.

Feedback over mislukkingen in verband met het bedenken van ideeën bleek verband te houden met een lagere kans op succes van toekomstige ideeën. Hun advies is duidelijk: geef prioriteit aan feedback over ideeën in plaats van bedenkers.

Een categorie met weinig inzendingen kan simpelweg een categorie zijn waarin de laatste drie inzenders geen reactie hebben gekregen. Het responslogboek helpt om een rustig thema te onderscheiden van een verwaarloosd één.

Het voorbeeld is niet de organisatie

Bewijs is slechts zo goed als de steekproef waarop het is gebaseerd. Bij alles wat hierboven is gezegd, wordt ervan uitgegaan dat de trechter een afspiegeling is van de organisatie, en niet zomaar iedereen die zich veilig en niet te druk voelde om iets in te sturen.

EEN Onderzoek in het kader van een proefschrift aan Harvard daarna volgde een crowdsourced brainstorm in het hartcentrum van een ziekenhuis. De cijfers zijn het waard om even bij stil te staan:

• 72 zorgverleners en medewerkers hebben in het kader van de wedstrijd 138 ideeën ingediend
• Van de 354 medewerkers die de bijbehorende enquête hebben ingevuld – een steekproef en dus niet het hele centrum – hebben 11% deelgenomen aan het bedenken van ideeën
• 31% van diezelfde respondenten hebben gestemd

Een stimulerende leeromgeving, waarin ruimte is voor nieuwe ideeën, verschillen worden omarmd en fouten mogen worden gemaakt, gevolgd die hebben deelgenomen. De waargenomen steun van de leiding bleek geen significant verband te hebben met deelname.

De categorieën die worden weergegeven dikste dat zijn wellicht de bedrijven waarvan de managers goed reageren als ze te horen krijgen dat er iets niet goed werkt.

Wie zit er eigenlijk in je steekproef?

Bijna 90% van de oplossingen Volgens een artikel in de MIT Sloan Management Review uit 2017 kwamen de inzendingen voor een interne crowdsourcingwedstrijd van een bepaald bedrijf van medewerkers op junior- tot middenkaderniveau.

Ongeveer 30% was afkomstig uit ondersteunende afdelingen zoals HR, IT en financiën. Dat is een nuttige indicatie, en het is ook een waarschuwing over de dekking.

Bij een grote instroom kunnen ervaren medewerkers toch over het hoofd worden gezien; controleer de samenstelling van de functies. Het volume verhult samenstelling.

Lees de stilte

Campagne-aanwijzingen bepaal wat er terugkomt. Behandel een kosten-een zwaarwichtig thema als campagnespecifiek signaal, totdat een spontane basisontwikkeling een bredere vraag ondersteunt.

Een bedrijfsonderdeel dat niets is een gegevenspunt, en je kunt verwachten dat de uitleg ongemakkelijk zal zijn.

Er zijn twee aannemelijke verklaringen die het onderzoeken waard zijn:

• De campagne heeft hen niet bereikt
• Ze dachten niet dat er iets zou gebeuren

Ofwel de bevinding zou, na controle, tot actie kunnen leiden. Beschouw de trechter zowel als bewijs van aandacht als van ideeën.

In tegenstelling tot een speciaal samengesteld enquêtepanel wordt bij gewone trechterwerving niet automatisch gecorrigeerd voor ontbrekende groepen. De ontbrekende gegevens moeten rechtstreeks worden verzameld.

Houd gerichte sessies met de rustige groepen en noteer vervolgens de hiaten in de stofbehandeling naast de cijfers.

Waar clustering helpt en waar het stilletjes misleidt

Vierhonderd inzendingen zijn misschien nog wel met de hand te verwerken. Bij vierduizend wordt het echter duidelijk dat machineondersteuning triage neemt toe, afhankelijk van de capaciteit van het team en de duur van de cyclus.

Topic modeling groepeert inzendingen op basis van taal, stelt clusters voor, en geeft iemand een reden om ruzie te maken.

De eerlijk De vraag is hoe goed die clusters zijn. Een benchmark die is gepubliceerd door het team achter een van die LLM-verbeterde methode voor topicmodellering geeft er cijfers bij:

• Coherentie van het onderwerp: 70%, tegenover 65% voor BERTopic en 57% voor LDA
• Diversiteit van onderwerpen: 95,51 TP5T, tegenover 851 TP5T voor BERTopic en 721 TP5T voor LDA
• Lijsten met trefwoorden die door ten minste drie van de vier beoordelaars op identieke wijze aan dezelfde ground-truth-categorie zijn toegewezen: 50%, tegenover 25% voor beide basislijnen

Dat zijn de resultaten voor de 20 onderwerpen, die overeenkomen met de 20 categorieën van het testcorpus zelf. Op 40 en 50 onderwerpen, de BERTopic-baseline scoort iets beter op het gebied van coherentie.

Dat laatste dat is waar het om draait. Bij de helft van de 20 lijsten met trefwoorden van QualIT kozen ten minste drie beoordelaars onafhankelijk van elkaar dezelfde ‘ground-truth’-categorie.

En dat is op basis van een openbaar benchmarkcorpus, niet op basis van interne bedrijfsteksten, die rommeliger zijn en veel meer afhankelijk zijn van de context.

Inzendingen van ideeën kan het werk bemoeilijken. Veel inzendingen in een vroeg stadium zijn kort, soms slechts één of twee zinnen, waardoor er maar weinig woordcombinaties zijn om mee te werken.

In een overzicht van methoden voor korte teksten wordt opgemerkt dat PLSA en LDA kunnen dit niet goed oplossen, omdat het signaal waarvan ze afhankelijk zijn, nauwelijks bestaat.

Machines doen voorstellen, mensen beslissen

De Innovation Jam van IBM uit 2006 geldt nog steeds als een werkbaar model. 150.000 deelnemers er zijn meer dan 46.000 ideeën ingediend door medewerkers, partners, klanten en universitaire onderzoekers.

Het bedrijf leidde software voor tekstmining. Het artikel is openhartig: de door software gegenereerde categorieën moesten nog door mensen worden verfijnd tot begrijpelijke thema’s.

De oplossing lag in het personeelsbestand: IBM liet ongeveer 50 mensen naar New York vliegen om de output terug te brengen tot 31 ideeën. IBM heeft gelanceerd 10 nieuwe bedrijven met $100 miljoen startkapitaal.

Beschouw een cluster als een kandidaat, niet als bevinding. Bevestiging kost manuren, en het begroten van die uren maakt deel uit van de methode.

Neem niet zomaar de verhouding van iemand anders over

Er zit waarschijnlijk ergens in je kaartspel een trechterverhouding. Die is ergens vandaan gekomen, en de ergens is de moeite waard om eens te bekijken.

In hun artikel uit 1997 in Research-Technology Management schatten Stevens en Burley dat er 3.000 ruwe ideeën nodig zijn voor één commercieel succes. Hun keten ziet er als volgt uit:

• 3.000 ruwe ideeën
• 300 genomineerden voor de tweede ronde
• 125 kleine projecten
• 9 grote projecten
• 4 foto’s, genomen kort voor de lancering
• 1.7 is daadwerkelijk gelanceerd
• 1 commercieel succes

Het komt voor in datasets en rapporten van leveranciers, en er geldt een betaalmuur voor. De methode die erachter zit, kun je niet zomaar nakijken.

Maar dat heeft het niet afgeremd. Een getal dat vaak genoeg wordt herhaald, wordt niet meer gevraagd naar zijn bewijs.

Wat gebeurt er als iemand een verhouding controleert?

Heinrichs 300:29:1 veiligheidsdriehoek heeft die bevoegdheid decennialang uitgeoefend. Een onderzoek van Risk Analysis uit 2018 baseerde zich op meer dan 25.000 vestigingen in 13 jaar.

Er stond daar een piramide, maar de vorm ervan hing af van hoe De ernst werd afgebakend. Waar je de grenzen trekt, bepaalt welke verhoudingen je krijgt.

De 70/20/10-verdeling heeft dezelfde aantrekkingskracht. Nagji en Tuff ontdekten aandelen die beter presteerden 70% toewijzen aan de kern, waarbij de rendementen zich omgekeerd ontwikkelen:

De auteurs noemden 70-20-10 een gemiddelde toewijzing, geen wondermiddel voor alle bedrijven. Die kanttekening wordt minder vaak genoemd dan de verdeling zelf.

Deloitte’s activiteiten in de publieke sector in 2018 laat de contextgebondenheid duidelijk zien. Het Bureau for Global Health van USAID voerde de programma’s 70% tot en met 90% uit kern en aangrenzend, met een transformatie van 10% naar 30%.

De missie was de drijvende kracht achter de ambitiemix daar, in plaats van de marktpositie. Geen van de bovenstaande ratio’s is afkomstig uit uw trechter.

Een thema door het leiderschapsteam krijgen

Een thema dat blijft voortleven analyse kan nog steeds in de kamer sterven. Uit het onderzoek van BCG uit 2024 blijkt hoe groot de kloof is die het bedrijf moet overbruggen.

Achter dit probleem schuilen drie bevindingen:

• Gewoon 12% bedrijven wijzen op een sterk verband tussen bedrijfsstrategie en innovatiestrategie
• Strategisch gerichte innovatoren behalen een omzetaandeel uit nieuwe producten dat 74% hoger ligt dan dat van bedrijven met zwakke schakels
• 83% beschouwen innovatie als een van hun drie belangrijkste prioriteiten, en 3% zijn bereid om die prioriteiten om te zetten in resultaten

Een thema loopt als een rode draad door trechtervormig bewijs in de ruimte tussen die 83% en die 3%, in een vorm die geschikt is voor een begrotingsgesprek.

Dat gebeurt alleen als het thema wordt gepresenteerd als een besluit. Het model van Dutton en Ashford over hoe problemen in prijs stijgen legt uit waarom.

Zij stellen dat kwesties die als strategisch worden gepresenteerd, door het topmanagement als relevant worden beschouwd, en dat een beknopte presentatie meer aandacht trekt.

Een thema dat wordt gepresenteerd als een categorie wekt nieuwsgierigheid op. Een thema dat wordt gepresenteerd als een besluit inzake hulpbronnen nodigt uit tot een oordeel.

Een leemte in die lijst wordt de vraag die niemand in de zaal kan beantwoorden. Reken er maar op dat juist die vraag het thema de das omdoet.

Thema’s hebben een verversingsfrequentie nodig

Zodra een thema is goedgekeurd, gaat de discussie over het tempo. McKinsey heeft onderzoek gedaan naar portfolio's van bedrijfsonderdelen, niet innovatiethema’s; beschouw hetgeen hierna volgt dan ook als een suggestie.

Vernieuwingsfrequentie van de portfolio bijgehouden aan de hand van rendementen in drie categorieën:

• Minder dan 10 procentpunten over een periode van tien jaar: ongeveer de helft van de onderzochte bedrijven
• 10 tot 30 procentpunten in de loop van het decennium: de jaarlijkse TRS-overschrijding ligt 5,21 TP5T hoger
• Meer dan 30 procentpunten in de afgelopen tien jaar: het jaarlijkse TRS-overschot is licht negatief

De best presterende deelnemers aan dat onderzoek delen bedrijven in in aanleggen, onderhouden of verwijderenmet verschillende kapitaalvereisten voor elk daarvan.

Thema’s worden op dezelfde manier behandeld. Bekijk ze op een vaste cadans, en de gegevens verwijderen die door de laatste twee gegevenscycli niet meer worden ondersteund.

Bestudeer de funnel voordat je de strategie opstelt

Veel van de benodigde gegevens zijn wellicht al binnen uw organisatie aanwezig. Begin met het exportbestand dat nog niet is bewerkt, aangezien de poortvergadering.

Drie stappen, in deze volgorde:

1. Exporteer de volledige gegevens van de laatste cyclus, inclusief alles wat je hebt gedood, en bekijk de verdeling voordat je ook maar één idee opnieuw doorneemt
2. Controleer de steekproef: het deelnamepercentage, welke eenheden ontbreken en wat er precies in de campagne-opdracht werd gevraagd
3. Voer op twee of drie kandidaat-thema’s een clustering uit en laat vervolgens mensen elk thema toetsen aan de ruwe inzendingen om het al dan niet te goedkeuren

Dat vergt in ieder geval een besluit en tijd van het personeel; bij grotere of complexere datasets zijn mogelijk ook hulpmiddelen of externe ondersteuning nodig. Het besluit is dat de registratie meetelt als bewijs.

Uit het onderzoek van NewVantage Partners uit 2023 bleek slechts 24% respondenten noemden hun bedrijven datagestuurd. Tachtig procent noemde mens factoren, en niet de technologie, als het belangrijkste obstakel.

De strategie voor de volgende cyclus wordt hoe dan ook opgesteld. De vraag is of de trechter van de vorige cyclus als bewijs wordt weergegeven, of dat deze wordt gewist, net als een wachtrij.

Wanneer de intakegegevens, de scoringsgeschiedenis en de stadiumgegevens op één plek zijn verzameld, kun je de tweede beoordeling inplannen in plaats van deze op het laatste moment te moeten regelen.

Download ons ebook over beoordeling van ideeën en bestuur, of boek een demo om te zien hoe Accept Mission versnipperde trechtergegevens omzet in portefeuillebeslissingen.