Pondération des fiches d'évaluation : 5 étapes pour définir des pondérations que les parties prenantes ne remettront pas en cause14 lecture minimale

Imaginez une longue réunion consacrée à la pondération où tous Ce critère permet à la proposition d'obtenir une note élevée. Trois semaines plus tard, une idée jugée favorable est rejetée, et son promoteur demande que la pondération soit réexaminée.

Voici ce qui ne va généralement pas dans cette pièce :

• La question qui se pose est la suivante : “ Quelle est l'importance de cet élément ? ”, ce qui fait que chaque critère revêt une importance particulière.
• C'est la voix la plus autoritaire qui s'exprime en premier, et les autres s'alignent sur elle.
• Quelqu'un divise un critère privilégié en trois sous-critères et en augmente discrètement la part.
• Les gens peuvent déjà voir les idées proposées, ils ont donc tendance à privilégier celles qui leur plaisent.

Les 5 étapes ci-dessous vous indiquent les charges à utiliser tout au long du cycle. Seulement Les déclencheurs que vous avez convenus au préalable peuvent les rouvrir.

La pondération relève d'un choix stratégique ; il convient donc de la définir avant que les propositions ne soient formulées, de la calquer sur la fourchette réelle de chaque critère et de ne débattre que des écarts susceptibles de modifier le classement.

L'objectif est de parvenir à une décision défendable qui 1 Le propriétaire désigné signe et publie le document. Le consensus est le bienvenu lorsqu’il se dégage, mais le processus n’attend pas qu’il se concrétise.

Pourquoi “ Quelle est son importance ? ” n'est pas la bonne question

Demandez à n'importe quelle équipe quelle est l'importance de la valeur client, et vous entendrez très de la part de tout le monde. Renseignez-vous sur la faisabilité ou en termes d'adéquation stratégique, et la réponse reste la même.

La question est abstraite, donc, évidemment, elle appelle une réponse abstraite. Comparez-la aux questions qui donnent lieu à des pondérations que l'on peut justifier :

Le gouvernement britannique manuel d'analyse multicritères, publié en 2000, illustre cela à l'aide des coûts liés à la sécurité et à l'entretien. La sécurité semble plus important, mais peut se voir attribuer une pondération similaire ou inférieure.

C'est ce qui se produit lorsque toutes les options offrent à peu près le même niveau de sécurité, mais que leurs coûts d'entretien varient considérablement.

Von Nitzsch et Weber pour le dire clairement : “ Plus la portée est grande, plus le poids doit être important. ” Leurs sujets toujours ne s'est pas adapté correctement lorsque la plage a varié.

UNE analyse des méthodes d'élicitation qualifie cette pondération de « cognitivement exigeante » et « sujette à des biais ». Les résultats peuvent dépendre fortement de la méthode choisie.

C'est donc d'abord la gamme qui prime, puis vient le jugement d'importance deuxième à chaque étape ci-dessous. La suite de ce processus s'articule autour de cet ordre.

Avant l'atelier : définir les critères et choisir la salle

D'après notre expérience, nombreux Les problèmes de pondération sont définis avant même que quiconque ne prenne un stylo. Cette préparation précède l'étape 1 et porte sur trois décisions.

Vérifier les critères de fractionnement

Weber, Eisenführ et von Winterfeldt a révélé que les éléments les plus détaillés d'un arbre de valeurs se voyaient attribuer un poids nettement plus élevé.

Ils ont attribué cet effet à la saillance, car les attributs décrits plus en détail semblent plus importants et viennent plus rapidement à l'esprit.

Donc, la division marché Le fait de le diviser en trois sous-critères tend à augmenter sa pondération totale, que ce soit intentionnellement ou non. Personne dans la salle n’a besoin de plaider ouvertement en faveur de cette pondération supplémentaire.

Notre règle consiste à n'appliquer qu'un seul niveau de pondération, chaque critère étant traité avec le même niveau de détail. Nous limitons le nombre de critères à 4 ou 6 par entonnoir d'idées.

Déterminez qui est présent dans la salle et qui prend les décisions

Nom 1 responsable de la décision avant la séance, et indiquer à tout le monde de qui il s'agit. Les participants donnent leur avis sur les pondérations, puis le propriétaire les valide.

Les travaux de Kim et Mauborgne sur procédure équitable explique pourquoi cela tient la route. Les gens peuvent accepter des résultats auxquels ils s'étaient opposés lorsque le processus lui-même était équitable.

Ce modèle repose sur trois principes : l'engagement, l'explication et la clarté des attentes. D'après notre expérience, ce sont les deux derniers que les séances d'évaluation ont tendance à négliger.

Prévoir un mélange de fonctions, tels que les produits, les finances et la technologie, ainsi que toute personne détenant la client relation.

Limitez le groupe à 6 à 8 personnes, afin que chacun puisse s'exprimer en 90 minutes.

Verrouillez les cotes avant que quiconque ne devine l’idée

Uhlmann et Cohen Une étude a porté sur les décisions d'embauche, et ses conclusions sont dérangeantes. Les recruteurs ont redéfini la notion de mérite pour l'adapter aux qualifications du candidat qu'ils privilégiaient.

Respecter les critères de recrutement avant La divulgation du sexe de la requérante a permis de mettre fin à la discrimination.

Il s'agissait d'une étude portant sur le recrutement ; c'est donc nous qui en tirons la conclusion qu'elle s'applique à l'évaluation des idées. Cela correspond à ce que nous observons lorsque les pondérations sont réexaminées en cours de cycle.

Veillez donc à effectuer la session de pondération avant le début de la campagne ou l'ouverture des inscriptions. Jamais réinitialiser les poids en cours de cycle à moins qu'un déclencheur de l'étape 5 ne se déclenche.

Étape 1 : Définir une fourchette réaliste pour chaque critère

Avant la séance, notez la fourchette réaliste pour chaque critère. Chaque extrémité correspond à la pire et à la meilleure idée que vous pourriez raisonnablement envisager pour ce cycle.

Passez en revue chaque critère dans l'ordre suivant :

1. Définir ses deux points de référence. Pour le temps mis à atteindre le premier client, le point le plus lent pourrait être 18 mois et la fin rapide à 3 mois – chaque fluctuation est mesurée sur cette période.
2. Si personne n'est en mesure de décrire les pires et les meilleurs dénouements, le critère n'est pas encore prêt à être pris en compte. Il faut d'abord en préciser la définition, ou bien l'écarter pour ce cycle.
3. Vérifiez si tous Cette idée plausible se situe à peu près au même niveau. Si tel est le cas, elle n'a que peu de poids, même si elle semble importante dans le dossier stratégique.

La « cohérence stratégique » est un exemple courant où le cahier des charges de la campagne sert déjà de filtre de sélection. Si toutes les propositions répondent aux critères, l'écart est faible et la pondération s'adapte en conséquence.

Notez ces fourchettes sur une page et diffusez-la avant la séance, afin que personne les poids constituent un cas extrême particulier. C'est ici que doivent se dérouler les débats sur les plages, car c'est ici qu'il est le plus simple de les trancher.

La première fois, cette étape peut sembler longue et étrangement concrète pour une séance de stratégie, mais toutes les étapes suivantes reposent sur cette référence commune.

Étape 2 : Recueillir les données relatives au swing en toute confidentialité

La question du swing remplace celle de l'importance, et c'est plus difficile pour bien poser la question. Imaginez une idée qui se situerait à l'extrémité la plus défavorable de toutes les fourchettes de l'étape 1.

Demandez ensuite quel critère les participants choisiraient de classer en premier, du pire au meilleur, puis organisez la phase de négociation privée dans cet ordre :

1. Distribuez la fiche de tir et les questions sur le swing, sur papier ou sous forme de formulaire, avec non Il n'y a pas encore eu de discussion.
2. Chaque personne classe les balançoires, de celle qu'elle déplacerait en premier à celle qu'elle déplacerait en dernier.
3. Ils attribuent 100 points au swing supérieur.
4. Ils comparent tous les autres swings à celui-ci ; ainsi, un swing valant la moitié obtient 50.
5. Ils ajoutent une phrase expliquant leur choix numéro un et valident leur réponse avant que quiconque ne prenne la parole.

Le manuel britannique décrit cette famille de méthodes sous le nom de « pondération par effet de balancier ». Notre référence à 100 points s'inspire de Max100, une échelle Bottomley et Doyle évalué en fonction des notes d’importance, et non des variations.

Ils l'ont comparé à la tarification directe et à Min10, qui se base sur le au moins critère important. Le test Max100 s'est révélé légèrement plus fiable lors d'un nouveau test que l'évaluation directe.

Les deux ont largement surpassé Min10. Leur simulation de test de validation a révélé que la même alternative avait été choisie dans 91% de cas avec Max100, 87% avec notation directe et 75% avec Min10.

Collecte des chiffres en privé c'est aussi important. Dans l'ouvrage de Kahneman et Sibony, hygiène décisionnelle, chaque personne évalue le contenu indépendamment des autres.

Stasser et Titus Nous avons constaté que les discussions ont tendance à être dominées par des informations déjà diffusées et qui viennent renforcer les préférences existantes. Nous avons observé que cela fait de la première opinion exprimée par un haut responsable le point de référence pour tout le monde.

Quand les gens ne peuvent que classer : le centroïde d'ordre de classement

Certaines parties prenantes se contenteront volontiers de classer les variations par ordre de priorité et refuseront de leur attribuer des valeurs chiffrées. Pour elles, ou pour un premier cycle, les pondérations par centre de gravité des classements constituent une solution de repli valable.

Barron et Barrett ont constaté que les pondérations ROC étaient plus précises que les autres formules basées sur le classement. Le tableau ci-dessous utilise des pourcentages entiers ; en raison des arrondis, la colonne « 5 critères » totalise donc 1 011 TP5T.

Le compromis porte sur la résolution, car la méthode ROC part du principe que les rangs sont tous Tu sais bien. Une deuxième place serrée et une deuxième place loin derrière ont exactement le même poids.

Utilisez-le comme valeur par défaut pour le premier cycle, puis passez aux cotes « swing » une fois que les utilisateurs auront pris confiance dans ces fourchettes.

Cela sert également de contrôle : lorsque les notes de swing d'une personne se situent loin compte tenu de la pondération attribuée à la ROC dans leur propre classement, la question mérite d’être posée.

Étape 3 : Afficher l'écart, puis réévaluer une fois

Passez en revue les résultats du 1er tour dans cet ordre :

1. Affichez les notes de chacun sur un seul écran, de manière anonyme, critère par critère.
2. Trier par écart, de manière à ce que les écarts les plus importants apparaissent en haut de la liste.
3. Discuter seulement les écarts les plus importants, et demandez aux participants dont les réponses s’écartent le plus de l’ensemble d’expliquer comment ils ont interprété cette fourchette.

Au cours de nos séances, bon nombre de divergences s’expliquent par des visions divergentes de ce qui constitue la pire ou la meilleure idée, et une brève discussion suffit souvent à les aplanir.

Ensuite, chacun refait ses estimations en privé, puis on calcule la moyenne des notes attribuées au deuxième tour et on la divise par leur total. Ne partez pas à la recherche de unanimité au 3e ou au 4e tour.

Le motif s'inspire de la méthode Delphi, où les participants répondent de manière anonyme, consultent la réponse collective, en discutent et la révisent.

Il s'inspire également de technique des groupes nominaux, qui part de la « génération silencieuse », passe par un tour de table sans débat et se termine par un privé vote.

Ces deux méthodes permettent de préserver la confidentialité des contributions à des étapes clés, tout en laissant les participants apprendre les uns des autres. Une seule séance de révision permet de conserver cet avantage sans accaparer toute la session.

Étape 4 : Déterminer quels désaccords ont réellement de l'importance

Certaines divergences subsisteront après le 2e tour, et ce n'est pas grave. Le seulement La question qu'il convient de se poser est de savoir si cela change l'idée qui l'emporte.

Le manuel britannique indique que l'analyse de sensibilité permet de déterminer si les divergences d'opinion entre les personnes modifient les résultats finaux. Il ajoute que cette analyse peut contribuer à résoudre les désaccords entre les groupes d'intérêt.

De Cambridge Institut des techniques de fabrication précise que la pondération et la notation sont “ extrêmement sensibles aux moindres variations ” et qu'il est facile d“” truquer les chiffres ».”

Alors, avant que les participants ne passent du temps à régler un différend, vérifiez si cela correspond à réel idées. Chaque fonction qui n'est toujours pas d'accord enregistre ses poids préférés sous la forme d'un ensemble alternatif.

Un exemple détaillé reprenant trois idées précédentes

Voici un exemple concret illustrant trois idées issus du cycle précédent, réévalués selon les fourchettes de ce cycle : ainsi, 1 correspond au résultat le plus faible et 5 au meilleur.

À l'issue de l'étape 3, les notes attribuées aux initiatives étaient les suivantes : valeur pour le client 100, adéquation stratégique 70, faisabilité 50 et délai de mise en œuvre 30. En divisant ces notes par leur total (250), on obtient la ligne « Proposition » ci-dessous.

Le service financier a plaidé en faveur d'un niveau de faisabilité tenant compte de la valeur pour le client, et tous La note a changé. Le classement est resté B, C, A ; cet argument ne modifie donc pas la décision.

Prenez note du point de vue de Finance dans l'exposé des motifs et passez à autre chose sans accaparer davantage le temps de la séance.

La composition de l'offre est différente, car elle place C en première position, devant B. Ce désaccord aurait modifié c'est cette idée qui a obtenu un financement, elle mérite donc que l'on y consacre du temps.

Soumettez chaque argument restant au même test, identifiez le ou les deux qui se comportent comme celui de Product, et concentrez vos efforts sur ceux-là.

Étape 5 : Valider, publier la justification, définir un déclencheur de révision

L'ensemble moyen (proposé dans le tableau) est celui par défaut, et C'est le propriétaire qui décide uniquement lorsqu’un set disputé modifie le classement.

Leur appel stands pour ce cycle, même si certains ne sont toujours pas d'accord.

Rédigez la justification En 2 ou 3 phrases, juste à côté des pondérations. Indiquez quel argument l'a emporté, lequel a été rejeté, et la raison pour chacun.

Publier les deux pour les relecteurs et les auteurs des propositions, avec un numéro de version et une date.

La publication permet d'apporter les explications et de clarifier les attentes, comme l'exige un processus équitable. Les auteurs connaissent les règles du jeu avant même d'écrire la moindre ligne.

Déterminez ce qui permet de rééquilibrer les poids

Fixer des charges, c'est accepter de s'entraîner avec un ensemble de poids que quelqu'un juge inadapté pendant tout un cycle. Mettez-vous d'accord à l'avance sur les seulement les événements susceptibles de les réactiver :

• Un changement de stratégie ou de mandat du portefeuille
• Une nouvelle lacune dans le portefeuille que les critères actuels ne permettent pas de détecter
• La fin du cycle, dans le cadre d'un bilan prévu

Tout D'autres idées sont en attente, notamment celle qui a échoué de quelques points la semaine dernière. Une modification déclenchée se voit attribuer un nouveau numéro de version et s'applique uniquement aux idées non notées.

Ainsi, lorsque le promoteur évoqué au début de la séance pose la question, quelle que soit l'intensité de sa voix, renvoyez-le à la justification publiée et à la liste des critères de déclenchement. Son argument sera inscrit à l'ordre du jour pour la prochaine révision prévue.

Une plateforme qui enregistre les pondérations associées à chaque version de la fiche d'évaluation et affiche le calcul, permet de retracer le processus décisionnel pour ceux qui poseraient la question plus tard.

L'IA peut trier les explications d'une phrase de la session privée en fonction de la plage de lecture qui leur est associée, ou relancer le contrôle de sensibilité lorsqu'un déclencheur est activé.

Les outils peuvent également renforcer un processus rigoureux et garantir la traçabilité des variations de poids. Le discipline provient lui-même du propriétaire et de la session.

Programme d'un atelier de 90 minutes sur la pondération

Voici comment ces étapes s'intègrent dans 1 séance « Senior Time ». Les séries sont établies à l'avance, de sorte que les 90 minutes sont consacrées à la pondération et aux essais.

90 minutes de temps senior, c'est un réel coût. Par ailleurs, les questions ouvertes demandent plus d'efforts qu'une simple note sur une échelle de 1 à 5.

Comparez cela à un cycle complet de décisions de financement prises sur la base de critères que personne ne peut justifier. Appliquez ce principe une seule fois par cycle, et le coût se répercute sur toutes les décisions qui suivent.

Définissez les pondérations avant de passer aux idées

La pondération ne fonctionne pas correctement lorsqu'elle est exécutée en tant que ouvert Discutez des idées déjà proposées. Suivez les 5 étapes, et la demande de ce parrain recevra une réponse, mais ne sera pas acceptée.

Avant le début de votre prochain cycle, vérifiez les points suivants :

• Chaque critère présente le même niveau de détail, et il y en a entre 4 et 6.
• Pour chaque critère, on a défini par écrit les valeurs minimales et maximales pour ce cycle.
• Un seul propriétaire désigné validera les poids, et tout le monde dans la salle sait de qui il s'agit.
• Vous disposez de 3 idées issues du cycle précédent, réévaluées par rapport aux fourchettes de ce cycle (ou de 3 profils de test réalistes lors d'un premier cycle), prêtes pour le test de sensibilité.
• Les éléments déclencheurs de la réouverture sont consignés avant même que la première idée ne germe.

L'avertissement de Cambridge concernant les pondérations fragiles et faciles à manipuler reste d'actualité, car la pondération reste une question de jugement subjectif. Ce processus vous permet d'obtenir des pondérations que vous pouvez expliquer à quelqu'un dont l'idée n'a pas été retenue.

La publication des pondérations donne également aux participants un objectif clair, ce qui leur permet d'orienter leurs efforts créatifs en fonction des critères d'évaluation. en fait le récompenser.

Téléchargez notre ebook sur Évaluation des idées et gouvernance. Il aborde les méthodologies de notation structurées, les cadres de gouvernance et le passage des idées approuvées à la gestion de portefeuille.

Ou réserver une démo pour découvrir comment Accept Mission gère les tableaux de bord, l'acheminement automatisé, les workflows d'escalade et les pistes d'audit à chaque étape de votre processus de gestion des idées.