Priorizar más allá del ROI: Puntuación de ideas cuando los datos son inciertos13 lectura mínima

Su equipo de innovación acaba de pasar dos semanas elaborando proyecciones financieras para un nuevo concepto de producto.

La hoja de cálculo es nítida:

• Retorno de la inversión a 3 años de 240%
• Amortización en 18 meses
• Mercado al que se dirige $50M

Parece a prueba de balas, así que lo financias. Dieciocho meses más tarde, lo das por perdido. Esto ocurre más a menudo de lo que la mayoría de los líderes quieren admitir, y es una síntoma de un proceso de evaluación roto.

Las ideas en fase inicial no disponen de datos financieros fiables, aunque la mayoría de los métodos de puntuación pretenden que sí los tienen.

Los equipos acaban haciendo ingeniería inversa en las hojas de cálculo para justificar sus proyectos favoritos, o abandonan por completo la estructura y dejan que gane la voz más alta.

Pero hay un tercer camino:

Una que funciona específicamente para los gestores de la innovación y los responsables de I+D que necesitan tomar decisiones de inversión defendibles sin disponer de datos fiables.

Modelos de puntuación ponderada combinados con factores de confianza que hacen que la incertidumbre sea visible, medible y procesable, de modo que los niveles de inversión coincidan con lo que realmente se sabe.

Por qué fracasa el retorno de la inversión en las primeras fases de las ideas

El ROI funciona de maravilla cuando se dispone de datos históricos.

Si va a lanzar su quinto almacén de comercio electrónico en un mercado en el que ya ha construido cuatro, proyectar los costes y los beneficios es relativamente sencillo. Tiene precedentes.

Las ideas en fase inicial viven en un mundo diferente.

Los economistas tienen un término para ello: Incertidumbre knightiana, cuando los resultados no pueden estimarse con fiabilidad a partir de la experiencia pasada.

Cuando un fundador escribe “penetración de mercado 20% en el tercer año” en un estudio de viabilidad, no se trata de una previsión. Es una conjetura disfrazada con decimales. Y todos los presentes lo saben, aunque nadie lo diga.

Sin embargo, eso es exactamente lo que se introduce en los modelos de retorno de la inversión.

Los equipos fabrican la especificidad (o peor aún, se ven presionados por las partes interesadas que esperan una cifra) o abandonan la evaluación estructurada y recurren a la intuición y la jerarquía.

Y los costes se acumulan rápidamente.

70% de iniciativas de transformación digital no alcanzan los objetivos, en gran parte debido a deficiencias de ejecución, pero también porque las inversiones se priorizaron sobre la base de previsiones financieras infladas.

Las organizaciones pierden una media de $9,7-15 millones al año por una toma de decisiones errónea causada por la mala calidad de los datos, que cascadas a través de toda la cartera.

Pensemos en el experimento iBuying de Zillow.

La empresa creó un sofisticado modelo algorítmico para estimar el valor de las viviendas y escalar la inversión inmobiliaria residencial. Los cálculos de rentabilidad parecían convincentes.

Pero el modelo no tenía en cuenta los datos no estructurados, los cambios de comportamiento durante la volatilidad del mercado y los costes en cascada derivados de los errores de tarificación. El resultado: más de $500 millones en pérdidas y una reducción de plantilla de 25%.

El fallo subyacente: nadie cuantificó lo que no sabía.

El modelo financiero creó una falsa precisión en un ámbito en el que la elevada incertidumbre debería haber determinado la estrategia de inversión desde el principio.

Un enfoque ajustado a la confianza habría puesto de manifiesto el desfase entre la especificidad del modelo y la base de pruebas real del equipo.

Los sesgos que rompen la puntuación

Incluso los equipos que se alejan del ROI puro caen a menudo en trampas previsibles. Modelos de puntuación estructurados son tan buenas como los humanos que las dirigen. Y los humanos aportan sesgos.

Falsa precisión

Cuando un modelo de puntuación pide una calificación numérica, la gente la cumple. Alguien puntúa el “potencial de mercado” con un 7,2 sobre 10. Otro lo puntúa con un 7,8. Otro le da un 7,8. La diferencia parece significativa.

Los equipos pasarán tiempo debatiendo si 7,2 o 7,8 capta mejor la oportunidad. Mientras tanto, tratan las estimaciones realizadas con muy pocas pruebas como si fueran precisas con un decimal.

La investigación demuestra que la conversión de juicios cualitativos y muy inciertos en puntuaciones decimales precisas conlleva una pérdida de información y una falsa precisión.

La confianza que implica la precisión no se corresponde con la realidad subyacente.

Una puntuación de 7,2 sugiere que sabe algo concreto. Si esa cifra se basa en una sola conversación con un cliente potencial, probablemente no lo sepas.

El efecto HiPPO

HiPPO son las siglas de “Highest Paid Person's Opinion” (opinión de la persona mejor pagada). Es lo que ocurre cuando la jerarquía organizativa interfiere con la evaluación basada en datos.

El Vicepresidente de Producto llega a la sesión de puntuación con una idea favorita. Incluso si los datos sugieren que es débil, el equipo ajusta sus puntuaciones al alza porque han aprendido, con el tiempo, lo que el vicepresidente quiere oír.

Los equipos que juegan a este juego aprenden qué criterios explotar, transformando los debates de priorización en discusiones sobre valoraciones subjetivas.

Los proyectos "zombis", que consumen continuamente presupuesto a pesar de su escaso rendimiento, persisten porque cancelarlos exige ir en contra de poder organizativo.

Permitir la opinión de la persona mejor pagada para anular datos conduce a proyectos que agotan los recursos indefinidamente.

Anclaje y juego

La primera persona que habla en una sesión de puntuación establece un ancla invisible.

Las estimaciones de todos los demás se agrupan en torno a esa cifra, aunque juzgarían la idea de forma diferente de forma aislada. Los estudios sobre estimación muestran que el primer hablante puede sesgar los resultados hasta un 67%.

Los equipos también aprenden a jugar con el sistema.

Si se sabe que las ideas con una puntuación superior a 7,0 avanzan y las inferiores a 5,0 son eliminadas, se aprende qué criterios son “fáciles” de puntuar alto y cuáles son "guardianes".

Los proyectos de mascotas obtienen puntuaciones infladas en los criterios en los que el listón está más bajo.

La buena noticia: estos sesgos no son irresoluble. Tienen solución si se incorporan salvaguardias al proceso.

Modelos de puntuación ponderada que tienen en cuenta la incertidumbre

La mayoría de los equipos de innovación han modelo de puntuación ponderada en algún momento. La cuestión es si el modelo que están utilizando realmente tiene en cuenta lo que el equipo no sabe en gestión de la innovación.

RICE (Alcance, Impacto, Confianza, Esfuerzo) es el marco de priorización más adoptado en 38% de equipos de producto.

RICE multiplica el Alcance (cuántos usuarios) por el Impacto (cuánto se beneficia cada usuario) por la Confianza (el nivel de convicción del equipo, que suele expresarse en porcentaje) y lo divide por el Esfuerzo.

El multiplicador de confianza es el dato clave: una idea de gran impacto calificada con 50% de confianza se reduce a la mitad en comparación con la misma idea calificada con 100% de confianza.

De este modo se evita que las suposiciones poco fiables dominen la cartera.

ICE (Impact, Confidence, Ease) sigue una lógica similar, priorizando la velocidad y la simplicidad. Es útil para equipos que necesitan ciclos de decisión rápidos pero pueden permitirse perder algo de matiz.

Cuadro de mando de la innovación basada en datos de Strategyzer sustituye el lanzamiento basado en la opinión por la evaluación en cuatro dimensiones: Deseabilidad, Viabilidad, Viabilidad y Adaptabilidad.

El verdadero valor reside en obligar a los equipos a reunir pruebas para cada dimensión y reconocer lo que no saben.

WSJF (Weighted Shortest Job First) y Coste de Retraso son potentes en entornos en los que velocidad de comercialización y el momento competitivo importan.

Pero en el caso de las ideas en fase inicial, en las que la demanda es incierta, estos marcos pueden exagerar los beneficios críticos para el tiempo que pueden no materializarse.

Cada uno de ellos es mejor que el ROI puro para las ideas en fase inicial.

Pero todos comparten una limitación: tratan la confianza como un único multiplicador en lugar de preguntarse qué tipo de pruebas respaldan cada puntuación. Ahí es donde entran en juego los factores de confianza.

El factor confianza: Anclar las puntuaciones a las pruebas

Pregunte a cualquier miembro del equipo: “¿Hasta qué punto confía en ese resultado?” y obtendrá una respuesta. Pero la confianza en sí misma es subjetiva. Para una persona, 60% es 80% para otra.

Medidor de confianza de Itamar Gilad resuelve este problema asignando las ideas a un espectro de pruebas, garantizando que los niveles de inversión sigan siendo proporcionales al aprendizaje validado.

En lugar de preguntar “¿Con qué grado de confianza?”, pregunta “¿Qué pruebas tenemos?” y deja que el tipo de prueba determine el nivel de confianza.

Piénsalo de esta manera: una puntuación de 7 sobre 10 significa algo muy diferente dependiendo de cómo hayas llegado a ella.

¿Se basa en una conversación espontánea con un cliente potencial? ¿Datos de un informe de investigación de mercado? ¿En los resultados validados de un cliente beta de pago? ¿O en una opinión interna?

La puntuación debe reflejar el tipo de prueba.

Así es como funciona en la práctica: Dos ideas obtienen ambas una puntuación de 7,5 en “potencial de mercado” en su modelo ponderado. Sin factores de confianza, se tratan como iguales.

Pero uno está respaldado por los comentarios de los clientes beta. La otra se basa en la intuición interna. Las puntuaciones ajustadas a la confianza revelan la verdadera diferencia: 7,5 x 1,0 = 7,5 frente a 7,5 x 0,4 = 3,0.

El ajuste de confianza no penaliza las ideas en fase inicial. Aclara en qué punto se encuentran.

Una idea que puntúa 3,0 tras el ajuste de confianza no está muerta. Está en fase de exploración. Necesita investigación. La siguiente fase de trabajo es reunir pruebas para pasarla de Opinión a Apoyo Temático.

68% de las empresas integran la evaluación del ajuste estratégico en el análisis financiero utilizando una puntuación ponderada, y esto se correlaciona con 29% una mayor creación de valor a largo plazo.

Las organizaciones que mejor lo hacen no ocultan la incertidumbre tras decimales en gestión de la cartera. Salen a la superficie. Incluso se puede establecer un puente con la gobernanza financiera calculando el valor esperado ajustado a la confianza.

Si una idea tiene un valor potencial de $10M pero sólo está respaldada por 40% de confianza (pruebas de nivel de opinión), el valor esperado a efectos de planificación es de $4M.

Esto proporciona a los directores financieros el anclaje numérico que desean, al tiempo que lo fundamenta en una probabilidad realista.

Ponerlo en práctica: Un modelo de gobernanza

La puntuación ajustada a la confianza funciona mejor cuando va acompañada de una clara estructura de gobierno que reconoce las diferentes etapas de madurez de las ideas.

Separe sus carteras por horizonte

Los procesos Stage-Gate son adoptados por aproximadamente 80% de las empresas norteamericanas y aumentan los índices de éxito de los productos a 63-78% en comparación con 24% sin procesos formales.

Pero la puerta escénica se rompe en las primeras fases de la innovación. En su lugar, piensa en términos de horizontes.

Ideas para Horizonte 1 son mejoras incrementales de los productos y modelos de negocio existentes.

En este caso, existen datos históricos. La puntuación basada en el ROI tiene sentido. Se puede proyectar con una precisión razonable porque se dispone de precedentes.

Ideas para Horizonte 3 son exploratorias y transformadoras.

Está entrando en nuevos mercados, probando nuevos modelos de negocio o desarrollando nuevas tecnologías. En estos casos, la puntuación basada en la confianza es obligatoria.

Las proyecciones de ROI son ficción. Lo que importa son las pruebas de conveniencia, viabilidad y el ritmo al que se obtiene aprendizaje validado.

horizonte 2 se sitúa en el centro. Existen algunos datos, pero son incompletos. Puntuación ponderada con factores de confianza funciona bien aquí.

Financiación de los contadores por nivel de confianza

Aquí es donde la gobernanza se convierte en operativo. Asignación presupuestaria debe seguir la evidencia, no sólo el tamaño de la oportunidad.

Una idea puntuada con un nivel de confianza de opinión no consigue financiación millonaria.

Recibe diez mil dólares para responder a la siguiente pregunta crítica. Si el equipo reúne pruebas y pasa al apoyo temático, pasa a la fase de validación.

Esto obliga a disciplinaNo estás apostando la empresa por corazonadas. Estás invirtiendo en aprender.

Spotify utiliza la puntuación de confianza para la automatización financiera GenAI, aprovechando los modelos calibradores y la votación por mayoría para garantizar la precisión de las predicciones.

El principio es el mismo: adecuar la inversión al nivel de confianza.

Celebrar la tasa de mortalidad

Muchas organizaciones necesitan un cambio de mentalidad: la cancelación anticipada es capital ahorrado, no fracaso. Si matas 50% de ideas tras la fase de exploración, eso es el éxito.

Ha evitado malgastar recursos en conceptos de escaso potencial.

Las grandes ideas y las malas ideas parecen prácticamente idénticas en las primeras fases; el éxito requiere invertir pequeñas cantidades en muchos equipos y luego eliminar despiadadamente la mitad por falta de pruebas.

Eso es opcionalidad. Estás comprando el derecho a pivotar, la información para decidir, las pruebas para comprometerte.

Enmarcarlo así internamente: “Invertimos $30K en eliminar una mala idea. Esta decisión nos ha ahorrado $1,2 millones en gastos de desarrollo y comercialización.” De repente, la tasa de mortalidad es una señal positiva.

Invertir en pruebas, no en corazonadas

La pregunta que más importa en la evaluación inicial es: “¿Qué pruebas hay?”. El ROI te pide que predigas el futuro con una precisión que no tienes.

La puntuación ajustada a la confianza obliga a ser sincero sobre lo que sabes y lo que supones.

Para gerentes de innovación, Esto significa un mejor equilibrio de la cartera y menos sorpresas. Para los ejecutivos, significa que el capital fluye hacia la evidencia en lugar de hacia la política.

Las buenas ideas tienen la pista de aterrizaje que necesitan, no en función de quién las haya propuesto más alto, sino de lo que los clientes dicen en realidad. gestión de ideas.

¿Listo para dejar de perder buenas ideas por culpa de criterios de puntuación erróneos?

Descargue nuestro ebook en la creación de un sistema de puntuación ajustado a la confianza, o reservar una demostración para ver cómo Accept Mission gestiona los criterios ponderados, los niveles de pruebas y la priorización de carteras.