Évaluation de la faisabilité : comment ajouter des contraintes sans étouffer la créativité14 lecture minimale

Un responsable pose une question pertinente, et la fiche d'évaluation est donc complétée par une colonne « faisabilité ». Un an plus tard, la liste approuvée comprend des projets que l'équipe aurait pu réaliser sans un.

Les symptômes sont faciles à reconnaître :

• Les propositions audacieuses restent au stade de l'enrichissement et tombent discrètement dans l'oubli.
• Les séances d'évaluation se transforment en disputes pour savoir qui aura des capacités disponibles au trimestre prochain.
• Le portefeuille s'enrichit grâce à des développements mûrement réfléchis de ce qui a déjà fait ses preuves.
• Aucune réunion en particulier ne permet d'expliquer où est passée cette ambition.

La faisabilité doit figurer dans tout tableau de bord servant à déterminer l'affectation des fonds. Sans elle, la liste restreinte se remplit de projets pour lesquels personne ne peut mobiliser les ressources nécessaires.

Les dégâts proviennent de comment Ce sont les contraintes qui s'ajoutent, et non le fait de les avoir. Lesquelles sont absolues, à quel moment interviennent-elles, que mesure ce chiffre, et avec quelle précision est-il évalué ?.

Quatre décisions clés permettent de trancher. Si vous les prenez correctement, l'option la plus sûre ne l'emporte plus par défaut ; si vous vous trompez, cela ne change pas grand-chose.

Pourquoi une rubrique consacrée à la faisabilité privilégie discrètement l'option la plus sûre

le phase de sélection des idées se comporte différemment d'une génération à l'autre. Les résultats expérimentaux concernant la manière dont les gens font leurs choix ne sont pas flatteurs.

Les responsables du recrutement misent sur ce qui est réalisable

UNE Étude de 2010 sur la sélection des idées décrit “ la forte tendance […] à privilégier les idées réalisables et souhaitables, au détriment de l'originalité ”.”

Le fait de demander aux sélectionneurs de privilégier la créativité a modifié leurs choix. Cela a également entraîné une baisse de leur satisfaction et de l'efficacité perçue de leurs choix (le compromis entre efficacité et originalité évoqué par les auteurs).

C'est dans la rubrique « Faisabilité » que cette dynamique prend tout son sens procédural:

1. Une préférence que personne n'a à défendre fait l'objet d'une case distincte sur le formulaire.
2. On attribue un poids à la boîte, et on attribue un nombre à ce poids.
3. Ce chiffre est calculé en moyenne, communiqué et interprété comme s'il s'agissait d'une mesure.

Vous sentirez cette tension dans la pièce bien avant que quiconque ne l'exprime à voix haute. Par puis, c'est de l'arithmétique, et contester cela revient à contester la forme.

Une une expérience menée plus tôt en 2006 par la même équipe a constaté que la sélection des idées “ n’était pas nettement meilleure que le hasard ”.”

Ces deux résultats ont des significations différentes et ne doivent pas être confondus. L'un concerne précision l'une relevant du hasard, l'autre d'une force directionnelle.

Rien de tout cela ne justifie pour autant d’écarter totalement la question de la faisabilité. La question de conception porte sur le moment où ce jugement peut intervenir.

Quand des critères explicites changent la donne

L'expérience d'Amabile de 1979 a demandé à des étudiants de premier cycle de réaliser des œuvres d'art dans le cadre d'une évaluation prévue. Les juges ont attribué à ces œuvres des notes nettement inférieures en matière de créativité.

Un Ce groupe a échappé à cela, car on lui a expliqué clairement comment créer des œuvres qui seraient jugées créatives. Ce sont les critères opaques qui semblent causer du tort, et le fait de publier les vôtres peut avoir trois effets :

• Réduire les incertitudes quant aux attentes des évaluateurs.
• Ne vous donnez pas la possibilité de changer les règles en cours de route.
• Indiquez aux participants quelles inconnues ils doivent nommer et lesquelles entraînent une disqualification.

La grille d'évaluation sert donc à la fois de note d'information à l'intention des personnes qui soumettent leur dossier. Ce document décrit les projets éligibles à un financement, selon les termes que vous avez choisis.

Les contributeurs y voient une description de ce qui est financé, et des critères d'évaluation mal définis ne font que faire ressortir des idées soigneusement peu ambitieuses.

Cette exception revêt une grande importance dans ce contexte. Il s'agit d'une condition observée dans une seule étude ; on peut donc raisonnablement supposer qu'une grille d'évaluation publiée est une bonne option, pas une solution qui a fait ses preuves.

Ce que révèlent réellement les données concernant les contraintes

Les contraintes jouissent d’une meilleure réputation dans le milieu de la recherche que dans la salle de correction. Les données disponibles ne permettent pas de porter un jugement simpliste, du type « bon » ou « mauvais ».

UNE Revue « Journal of Management » de 2019 fait état d'une courbe en U inversé entre les contraintes et la créativité. Trop peu en fait disparaître, et une quantité excessive a le même effet.

Pour être honnête, il s’agit d’une synthèse d’autres travaux, ce qui donne une structure sans point d’inflexion clairement identifiable. Voici une application à conception de fiches d'évaluation:

Dans Les études de Haught-Tromp sur la rime (2017), les vers soumis à des contraintes ont été notés plus plus créatives que celles sans contraintes. Les moyennes étaient de 5,18 contre 4,29 dans la première étude, et de 5,13 contre 4,36 dans la deuxième.

Haught-Tromp a également mis en évidence un effet de report : la pratique sous contrainte stimulait la créativité lors d'essais ultérieurs sans contrainte. Comme il s'agit d'une tâche de rimes, lisez le transfert vers pratique créative de justesse.

Étude de terrain menée par Rosso en 2014 quatre équipes de R&D ont mis en évidence des contraintes aider en favorisant certaines équipes et en en pénalisant d'autres.

La différence résidait dans le fait que le contexte était propice ou non. En appliquant ce mécanisme aux tableaux de bord, une liste d'objectifs obligatoires peut être perçue différemment selon les équipes.

Distinguer les contraintes strictes de la faisabilité pondérée

L'article de Cooper et Edgett publié en 2006 souligne que les fiches d'évaluation “ peuvent inclure des critères obligatoires (à respecter impérativement) ainsi que des critères souhaitables (à respecter si possible) ”. En mettant à la fois C'est lorsqu'on les présente sur une seule colonne que les problèmes commencent.

Les critères à respecter sont binaires : aucune note partielle n'est accordée. Ils font l'objet d'une vérification. avant tout est noté, ce qui les empêche de fausser les résultats.

Eh bien, c'est justement cet ordre qui fait toute la différence. Une contrainte stricte appliquée après l'attribution des points revient à opposer a posteriori un veto à une option qui n'a jamais été éligible.

Le test d'une contrainte stricte

Pour risque lié à l'innovation, réservez les contraintes impératives aux exigences juridiques, réglementaires, de sécurité, de protection des données ou stratégiques qui mettent véritablement fin à la discussion.

Le critère est ici sans appel : si la réponse est “ non ”, discutable, ce n'est pas une contrainte stricte et cela relève plutôt du système de notation.

Pourquoi cette liste ne devrait pas s'allonger

Utilisez 4 ou 5 contraintes strictes comme plafond indicatif. Chaque De plus, cela réduit d'emblée le champ des possibilités avant même que quiconque ait lu l'idée.

Cooper et Edgett apportent également des éclaircissements sur ce qui se passe par la suite. Une fois qu’un projet est lancé, écrivent-ils, “ il y a très peu de chances qu’il soit un jour abandonné ”.”

Leur article ne fournit aucun chiffre chiffré concernant les déchets ; il faut donc considérer cette information comme indicative. Il explique toutefois pourquoi critères de mise à mort appartenir en amont d'un véritable engagement.

Évaluez le coût de la recherche, et non les chances de réussite

Les scores de faisabilité préliminaires constituent des prévisions concernant des travaux dont le périmètre n'est pas encore entièrement défini. Le « cône d'incertitude » de Boehm estime cette fourchette à environ 0,25x à 4x au cours de la phase d'étude de faisabilité.

Ce rapport se situe entre environ 0,67x et 1,5x selon le cahier des charges, d’après la reformulation faite par Boehm lui-même en 2013. Il en découle trois choses :

• Le score attribué lors de l'admission permet de prévoir un prévisions.
• Une échelle à dix points sous-entend un degré de confiance que cette fourchette ne peut pas refléter.
• La tendance générale et l'ordre de grandeur approximatif restent valables, mais on ne dispose pas d'informations plus précises.

Ces estimations sont issues de travaux réalisés à l'aide de logiciels ; leur transposition à d'autres études préliminaires de cadrage repose donc sur une hypothèse.

La précision s'améliore à mesure que le projet est défini plus en détail. D'ici là, l'ampleur du projet laisse entrevoir plus que ce que les données concrètes permettent de confirmer.

Tout cela ne signifie pas pour autant que une première estimation inutile. Ça rend le échelle tu l'enregistres sur l'appareil pour que ce soit bien.

Lorsque les premières estimations s'avèrent trop optimistes

L'optimisme qui caractérise les premières estimations est largement documenté en dehors même des portefeuilles d'innovation. Une étude de 2003 portant sur 258 projets de transport Dans 20 pays, on a constaté une augmentation moyenne par type de projet :

Les auteurs concluent que la hausse des coûts “ est la règle plutôt que l'exception ”. Il s'agit ici des infrastructures de transport, prises ici comme exemple… analogie.

On ignore quelle ampleur prend cet effet au sein d'un portefeuille d'entreprise. C'est la tendance qui prévaut, et cela milite contre le fait de se fier à un tableau de bord pour évaluer les probabilités.

Les chances de réussite laissent place à coût de la recherche, et en termes de rapidité. Quant à la faisabilité, un test de trois semaines devrait donner de meilleurs résultats qu’une estimation hasardeuse.

La planification axée sur la découverte de McGrath et MacMillan (1995) débute par de lourdes pertes en terrain inconnu : le parc européen de Disney a dépassé $1B en 1994 et le service Zapmail de FedEx s'est établi à $600M.

Selon eux, la solution réside dans de meilleurs outils de planification et de contrôle. En ce qui concerne la faisabilité, un peu coûteux à tester Une idée comportant une grande part d'incertitude devrait l'emporter sur une idée dont les tests sont coûteux.

Concevoir la grille d'évaluation de manière à ce qu'elle ne réduise pas tout à une même norme

Utilisation 3 niveaux ancrés au lieu d'un curseur de 1 à 10. Une échelle à 10 points incite à arithmétique que le jugement en question ne peut étayer.

L'étude de Tversky et Kahneman de 1974 a mis en évidence des variations dans les estimations en fonction des valeurs d'ancrage. Les groupes dont les valeurs d'ancrage étaient fixées à 10 et 65 ont donné des estimations médianes de 25% et 45% pour les pays africains membres de l'ONU.

Honnêtement, il s’agit d’une étude d’estimation générale, et c’est moi qui en ai tiré cette conclusion par analogie. Des échelles plus fines permettraient sans doute aux évaluateurs plus la possibilité de se laisser guider par le chiffre qu’ils voient en premier.

Fonder chaque niveau sur des preuves observables

Noms des niveaux ancrés éléments qu'un évaluateur peut vérifier, donc “ modérément réalisable ” ne fait pas l'affaire. Classez les niveaux par coût pour cerner l’inconnu, et non en fonction de son ampleur.

La synthèse classique de 1980 sur les échelles ancrées dans le comportement, rédigée par Jacobs, Kafry et Zedeck, a conclu que la méthode BARS “ n'est ni meilleure ni pire que les autres méthodes lorsqu'elle est évaluée sur une base quantitative ”.”

Cette même étude attribue à ce format un “ plus grand potentiel ” en termes d'utilisation et de critères qualitatifs. Ainsi, les présentateurs vous assurent une visibilité partagée interprétation alors que la précision des mesures reste hors de portée.

Veillez à ce que les axes soient distincts et les critères peu nombreux

L'Institut de fabrication de Cambridge souligne que considérer séparément l'opportunité et la faisabilité. Gardez les deux résultats visibles, car un total unique masque les compromis sur quoi porte cette décision.

L'article de Thorndike de 1920 sur les erreurs d'évaluation fait état de jugements “ apparemment influencés par une tendance marquée à considérer la personne en général comme plutôt bonne ou plutôt inférieure ”.”

Il s'agissait là de notes attribuées à des salariés du secteur industriel ; il s'agit donc d'une déduction. Le risque sur une fiche d'évaluation c'est qu'une seule impression forte peut influencer les deux axes.

Les IfM guidage par convergence contrôlée indique “ un bon objectif en termes de critères de haut niveau… aux alentours de 10 ”, présenté comme une recommandation pratique émanant d’une institution nommément citée, sans validée le plafond situé derrière.

À quel stade de l'entonnoir intervient l'étape de la faisabilité ?

Au collecte d'idées, vérifiez les contraintes impératives et rien d'autre. Une note pour une idée à laquelle personne n'a examiné décrit l'auteur, et non l'œuvre.

La faisabilité relève de la étape d'évaluation après l'enrichissement, une fois que quelqu'un a examiné le projet. Cela précède tout engagement financier concret.

La séquence se déroule en quatre étapes :

• Saisie : uniquement les contraintes strictes, vérifiées et enregistrées.
• Enrichissement : l'auteur et un évaluateur étayent par des éléments probants les hypothèses les plus risquées.
• Évaluation par notation : la valeur et la faisabilité sont notées sur des axes distincts, les pondérations éventuelles étant attribuées au sein de chaque axe.
• Étape de financement : comparaison des résultats des deux axes sans les additionner, puis consignation de la décision et du raisonnement.

UNE Étude de 2019 sur l'évaluation prévue a constaté que les groupes qui en relevaient produisaient moins d'idées, soit 21,03 contre 32,95 en moyenne.

Ces mêmes groupes ont exploré moins de catégories d'idées, 11,65 contre 15,05. Les notes attribuées à l'originalité ont pas diffèrent considérablement, ce qui correspond à une interprétation honnête du texte.

L'argument porte donc sur l'espace de recherche, et non sur une baisse avérée de la nouveauté. Les groupes qui s'attendaient à être évalués ont produit moins de résultats et ont exploré un champ moins vaste.

Cela réduit d'autant les chances d'une véritable original idée pour accéder à la fiche d'évaluation.

Publier les critères d'évaluation et le calendrier dans le briefing de mission, puis réitérez les points non négociables dans le formulaire. Une estimation excessive des coûts d'évaluation, ainsi qu'un manque de précision, peuvent faire perdre des idées qui méritaient d'être retenues.

Quatre cas où un score de faisabilité peut être erroné

Il convient de prendre en compte quatre types de défaillances lors de la conception, un ensemble plus restreint que celui de la anti-modèles de gouvernance qui les entourent. Chacune est une notation un artefact qui ne se fait pas remarquer.

Faisabilité en tant que « non » socialement acceptable

La question de la faisabilité fournit à un évaluateur une raison qui ne peut être contestée. “ C’est trop difficile pour le moment ” met fin à une discussion, ce que “ Je préfère m’abstenir ” ne parvient pas à faire.

Soyez attentifs aux évaluateurs dont les notes de faisabilité suivent leur charge de travail plus attentivement que l'idée qui se présentait à eux.

Ce nombre peut être authentique, et ce qui l'a généré reste invisible jusqu'à ce que quelqu'un note les repères.

Un niveau ancré exige que le relecteur précise ce qui manque réellement. La capacité pour le trimestre prochain relève d'un problème de planning et doit faire l'objet d'une autre discussion.

Variation progressive du poids

La faisabilité, c'est la le plus simple C'est un critère qu'il faut justifier à voix haute, alors surveillez bien que son poids ne augmente pas progressivement. Notez une date dans votre agenda pour revoir les pondérations.

Les IfM Recommandations relatives à la pondération et à la notation qualifie à la fois les pondérations et les notes de “ subjectives et arbitraires ”, et la méthode de “ extrêmement sensible aux moindres variations ”.”

Le fait d'afficher les coefficients à côté des notes permet de visualiser les changements. Si le premier ensemble semble erroné, utilisez l'objection pour vérifier ses hypothèses.

Le score devient la cible

La formulation originale de Goodhart est plus laconique que la version que l'on cite souvent : “ Toute régularité statistique observée aura tendance à s'effondrer dès lors qu'on exercera une pression sur elle à des fins de contrôle. ”

La formule bien connue “ quand une mesure devient un objectif ” est une reformulation de Marilyn Strathern datant de 1997, et il convient d'en citer correctement la source.

Une fois que les auteurs ont pris connaissance de la grille d'évaluation, ils peuvent rédiger leur texte en s'y conformant. Cela reste faisable lorsque la grille d'évaluation récompense preuve, et corrosif lorsqu'il s'agit d'adjectifs.

Inflation des parrainages

Il est intéressant de comparer l'ancienneté des promoteurs aux notes attribuées, car rares sont les évaluateurs qui aiment attribuer un « 2 » à la proposition d'un directeur. Comparez les notes en fonction du niveau d'ancienneté des promoteurs.

Demandez aux évaluateurs de noter les travaux de manière indépendante avant la discussion, ou procédez à une première évaluation « à l'aveugle ». Cela permet de préserver la première note attribuée, même si cela ralentit la séance.

UNE horodaté La conservation de ces données facilite le contrôle des modifications apportées aux pondérations et aux notes. C'est là que la plateforme sur laquelle vous attribuez les notes prend toute son importance.

Consignez les contraintes par écrit avant de les transcrire dans une partition

La grille d'évaluation est un document d'orientation, qu'on l'appelle ainsi ou non. Elle indique aux gens quel type de ambition résiste au contact avec l'entonnoir.

Il convient tout d'abord d'apporter quatre modifications :

• Séparez les contraintes incontournables et limitez la liste à cinq éléments.
• Évaluez le coût lié à la résolution de l’inconnu, et non les chances de réussite.
• Évaluer la faisabilité à trois niveaux, la valeur étant notée sur un axe distinct.
• Évaluez la faisabilité après l'enrichissement, puis publiez la grille d'évaluation, les pondérations et le compte-rendu.

L'IA a sa place dans la rédaction et dans la audit. Il peut proposer des critères d'évaluation issus de votre stratégie et signaler les écarts de notation entre les évaluateurs.

Commencez par la liste des critères incontournables et clôturez-la avant la prochaine phase d'évaluation. Le reste de la grille d'évaluation devient plus simple une fois que cette colonne est complète.

Notre livre numérique sur Évaluation des idées et gouvernance couvre l'ensemble du processus, de l'acquisition à la gestion du portefeuille. Il aborde en profondeur les thèmes de l'enrichissement des données et de la notation, bien plus qu'un simple article ne le permet.

Ou réserver une démo pour découvrir comment Accept Mission gère les grilles d'évaluation, les critères pondérés et les enregistrements horodatés qui permettent de mettre en évidence les variations dans l'attribution des notes.