Avaliação de viabilidade: como adicionar restrições sem prejudicar a criatividade14 min de leitura

Um superior faz uma pergunta pertinente, pelo que o quadro de resultados passa a incluir uma coluna de viabilidade. Um ano depois, a lista aprovada é constituída por trabalhos que a equipa poderia ter realizado sem um.

Os sintomas são fáceis de reconhecer:

• As propostas ousadas ficam paralisadas na fase de aperfeiçoamento e caducam discretamente.
• As sessões de avaliação acabam por se transformar em discussões sobre quem terá disponibilidade no próximo trimestre.
• O portfólio é preenchido com ampliações cuidadosas do que já funciona.
• Não há nenhuma reunião em particular que explique para onde foi parar essa ambição.

A viabilidade deve constar em qualquer quadro de avaliação que determine para onde vai o dinheiro. Sem ela, a lista de finalistas fica repleta de trabalhos para os quais ninguém consegue arranjar recursos.

Os danos resultam de Como as As restrições são adicionadas, não resultam do facto de já existirem. Quais são as restrições absolutas, em que ponto entram em jogo, o que é que o número mede e qual é o nível de precisão da pontuação.

Quatro decisões relacionadas com o quadro de resultados são decisivas. Se as acertares, a opção segura deixa de vencer por defeito; se as errares, pouco muda.

Por que razão uma coluna de viabilidade opta discretamente pela opção mais segura

O fase de seleção de ideias comporta-se de forma diferente de geração para geração. Os dados experimentais sobre a forma como as pessoas tomam decisões não são nada lisonjeiros.

Os selecionadores optam pelo que é viável

UMA Estudo de 2010 sobre a seleção de ideias descreve “a forte tendência… para selecionar ideias viáveis e desejáveis, em detrimento da originalidade”.”

O facto de se ter instruído os selecionadores a darem prioridade à criatividade alterou as suas escolhas. Isso também reduziu a satisfação e a eficácia atribuída às suas escolhas (o compromisso entre eficácia e originalidade referido pelos autores).

A coluna «viabilidade» é onde essa tendência se manifesta processual:

1. Uma preferência que ninguém tem de defender tem o seu próprio campo no formulário.
2. À caixa é atribuído um peso e ao peso é atribuído um número.
3. O número é calculado como média, comunicado e interpretado como se fosse uma medição.

Vais sentir essa tensão na sala muito antes de alguém o dizer em voz alta. Por depois, é aritmética, e contestá-la significa contestar a forma.

A uma experiência realizada no início de 2006 pela mesma equipa concluiu que a seleção de ideias “não era significativamente melhor do que o acaso”.”

Esses dois resultados transmitem mensagens diferentes e não devem ser confundidos. Um deles diz respeito a exatidão um a nível do acaso e o outro sobre uma atração direcional.

Nada disto constitui um argumento a favor da eliminação total da viabilidade. A questão do desenho reside no ponto em que se permite que esse julgamento entre em ação.

Quando os critérios explícitos alteram o panorama

A experiência de Amabile de 1979 pediu aos estudantes universitários que criassem obras de arte sob condições de avaliação predefinidas. Os jurados atribuíram a essas obras uma classificação significativamente mais baixa em termos de criatividade.

Um O grupo que escapou a isso explicou explicitamente como criar trabalhos que fossem considerados criativos. Os critérios pouco claros parecem causar problemas, e divulgar os vossos pode ter três efeitos:

• Reduzir as suposições sobre o que os revisores pretendem.
• Acaba com a tua liberdade de alterar as regras a meio do ciclo.
• Indique aos participantes quais as incógnitas que devem ser identificadas e quais as que implicam a desqualificação.

A rubrica serve, portanto, também como um instruções para os candidatos. Descreve o que é financiado, nas palavras que escolheu.

Os colaboradores interpretam-na como uma descrição do que é financiado, e um critério mal definido acaba por trazer de volta ideias cuidadosamente pouco ambiciosas.

Essa exceção tem um grande peso neste contexto. Trata-se de uma condição num único estudo, pelo que uma rubrica publicada é uma aposta razoável, não uma solução comprovada.

O que as evidências realmente revelam sobre as limitações

As restrições têm melhor reputação na investigação do que na sala de avaliação. Os dados não sustentam um veredicto simples de «bom» ou «mau».

UMA Análise da revista «Journal of Management» de 2019 aponta para uma relação em forma de U invertido entre as restrições e a criatividade. Muito pouco suprime-o, e o excesso tem o mesmo efeito.

Para ser justo, trata-se de uma síntese de outros trabalhos, pelo que apresenta uma estrutura sem um ponto de viragem que possa ser calibrado. Eis uma aplicação a concepção do quadro de resultados:

Dentro Estudos sobre rima de Haught-Tromp, de 2017, os versos com restrições foram classificados mais mais criativas do que as sem restrições. As médias foram de 5,18 a 4,29 no primeiro estudo e de 5,13 a 4,36 no segundo estudo.

Haught-Tromp também constatou um efeito de transferência, em que a prática com restrições aumentava a criatividade em tentativas posteriores sem restrições. Trata-se de uma tarefa de rimas, por isso analise a transferência para prática criativa por pouco.

Estudo de campo de Rosso de 2014 Quatro equipas de I&D identificaram limitações ajudando favorecer algumas equipas e prejudicando outras.

A diferença residia no facto de a dinâmica circundante ser ou não propícia. Ao aplicar esse mecanismo aos quadros de resultados, uma lista de objetivos obrigatórios pode ter um impacto diferente em equipas diferentes.

Separar as restrições rígidas da viabilidade ponderada

Artigo de Cooper e Edgett de 2006 observa que os quadros de avaliação “podem incluir critérios obrigatórios (que têm de ser cumpridos), bem como critérios recomendados (desejáveis)”. Colocando ambos É quando se coloca tudo numa única coluna que começam os problemas.

Os critérios obrigatórios são binários, sem qualquer possibilidade de pontuação parcial. São verificados antes de tudo é pontuado, pelo que não podem alterar um resultado.

Bem, essa ordem é precisamente o que está em causa. Uma restrição rígida aplicada após a pontuação torna-se um veto tardio sobre uma opção que nunca foi elegível.

O teste para uma restrição rígida

Para risco da inovação, reserve as restrições imperativas para requisitos legais, regulamentares, de segurança, de proteção de dados ou estratégicos que ponham efetivamente fim à discussão.

O teste aqui é direto: se um “não” for discutível, não se trata de uma restrição rígida e deve, sim, ser considerada na pontuação.

Por que é que a lista não deve aumentar

Utilize 4 ou 5 restrições rígidas como limite máximo de trabalho. Cada Isso restringe ainda mais as opções antes de alguém ter lido a ideia.

Cooper e Edgett também são úteis no que diz respeito ao que acontece a jusante. Assim que um projeto tem início, escrevem eles, “há muito poucas hipóteses de que venha a ser cancelado”.”

O artigo não apresenta quaisquer dados quantificados sobre o desperdício, pelo que se deve considerar essa informação como orientativa. No entanto, explica por que razão critérios de abate pertencer a montante de qualquer compromisso verdadeiro.

Tem de ter em conta o custo de descobrir, e não as probabilidades de sucesso

Os índices de viabilidade iniciais são previsões relativas a trabalhos cujo âmbito ainda não foi totalmente definido. O cone de incerteza de Boehm estima que o intervalo seja de aproximadamente 0,25x a 4x na fase de viabilidade.

De acordo com a especificação dos requisitos, tal valor reduz-se para cerca de 0,67x a 1,5x, conforme a reformulação feita pelo próprio Boehm em 2013. Daí decorrem três conclusões:

• A pontuação obtida na admissão é uma previsão de um previsão.
• Uma escala de dez pontos sugere um nível de confiança que essa gama de valores não consegue transmitir.
• A orientação e a ordem de grandeza aproximada continuam a ser válidas, mas nada mais preciso do que isso.

As estimativas resultam do trabalho de desenvolvimento de software, pelo que a extrapolação para outras fases iniciais de definição do âmbito constitui uma suposição.

A precisão melhora à medida que o trabalho é especificado em pormenor. Até lá, a escala promete mais do que os dados comprovam.

Nada disso faz com que uma estimativa preliminar inútil. Isso faz com que o escala grava-se nisso para acertar.

Quando as estimativas iniciais são demasiado otimistas

O otimismo nas estimativas iniciais está bem documentado fora do âmbito das carteiras de inovação. Um estudo de 2003 sobre 258 projetos de transportes Em 20 países, foi registado um aumento médio por tipo de projeto:

Os autores concluem que o aumento dos custos “é a regra e não a exceção”. Trata-se da infraestrutura de transportes, aqui utilizada como um analogia.

Não se sabe qual será a dimensão do efeito no seio de uma carteira empresarial. O que importa é a direção, e isso contraria a ideia de se recorrer a um quadro de resultados para avaliar as probabilidades.

As probabilidades de sucesso dão lugar a custo de descobrir, e à rapidez. No que diz respeito à viabilidade, um teste de três semanas deverá superar um palpite seguro.

O planeamento orientado pela descoberta de McGrath e MacMillan, de 1995 estreia com grandes perdas em território desconhecido, o parque europeu da Disney ultrapassou o $1B em 1994 e o Zapmail da FedEx atingiu o $600M.

A solução que propõem passa por um melhor planeamento e por ferramentas de controlo. Quanto à viabilidade, um de baixo custo de teste Uma ideia com uma grande incógnita deve ter melhor pontuação do que uma cuja verificação seja dispendiosa.

Conceber a rubrica de forma a que não uniformize tudo

Utilização 3 níveis de referência em vez de um cursor de 1 a 10. Uma escala de 10 pontos leva a aritmética a sentença subjacente não o pode fundamentar.

O estudo de Tversky e Kahneman, de 1974 revelou que os pontos de referência influenciavam as estimativas. Os grupos com pontos de referência em 10 e 65 apresentaram estimativas medianas de 25% e 45% para os países africanos na ONU.

Sinceramente, trata-se de um estudo de estimativa geral, e a extrapolação é da minha autoria. Escalas mais precisas provavelmente deixam os avaliadores mais espaço para se deixarem levar pelo número que virem primeiro.

Fundamentar cada nível em evidências observáveis

Nomes de níveis de referência elementos que um revisor pode verificar, pelo que “moderadamente viável” não é suficiente. Classifique os níveis por custo para determinar o desconhecido, e não pela sua dimensão.

A análise clássica de 1980 sobre escalas baseadas no comportamento, da autoria de Jacobs, Kafry e Zedeck, concluiu que o método BARS “não é melhor nem pior do que outros métodos quando avaliado numa base quantitativa”.”

A mesma análise atribui ao formato um “maior potencial” no que diz respeito à utilização e aos critérios qualitativos. Assim, os apresentadores garantem-lhe uma quota de audiência interpretação enquanto a precisão das medições continua a estar fora do nosso alcance.

Mantenha os eixos separados e os critérios reduzidos

O Instituto de Produção de Cambridge salienta que analisar a oportunidade e a viabilidade separadamente. Mantenha ambos os resultados visíveis, porque um único total oculta o compromisso o que está em causa na decisão.

Artigo de Thorndike, de 1920, sobre erros de classificação refere que os julgamentos “parecem ser influenciados por uma tendência acentuada para considerar a pessoa, em geral, como sendo bastante boa ou bastante inferior”.”

Essas eram classificações de trabalhadores da indústria, pelo que a transferência é uma inferência. O risco num quadro de avaliação é que uma única impressão forte pode influenciar ambos os eixos.

O IfM’s orientação de convergência controlada estabelece “uma boa meta de critérios de alto nível… em torno de 10”, apresentada como orientação prática por uma instituição identificada, sem validado teto por trás dele.

Onde a viabilidade entra no funil

Em recolha de ideias, verifica as restrições imperativas e nada mais. Uma pontuação para uma ideia que ninguém tem analisado descreve o escritor, não a obra.

A viabilidade deve ser considerada no fase de avaliação após o enriquecimento, assim que alguém tiver analisado o assunto. Isso tem de ser feito antes de qualquer compromisso financeiro concreto.

A sequência decorre em quatro etapas:

• Entrada: apenas restrições rígidas, verificadas e registadas.
• Aprofundamento: o autor e um revisor apresentam evidências que sustentam as hipóteses mais arriscadas.
• Avaliação pontuada: o valor e a viabilidade são pontuados em eixos distintos, sendo que os pesos são mantidos dentro de cada eixo.
• Etapa de financiamento: comparam-se os resultados de ambos os eixos sem os somar e, em seguida, registam-se a decisão e o raciocínio.

UMA Estudo de 2019 sobre a avaliação prevista constatou que, nesse contexto, os grupos apresentavam um número menor de ideias, 21,03 contra 32,95, em média.

Os mesmos grupos exploraram menos categorias de ideias, 11,65 contra 15,05. As pontuações relativas à originalidade foram não diferem significativamente, o que é a interpretação correta do texto.

Portanto, o argumento diz respeito ao espaço de pesquisa, e não a uma diminuição comprovada da originalidade. Os grupos que anteciparam a avaliação produziram menos resultados e abrangeram um leque mais restrito.

Isso reduz as hipóteses de um verdadeiramente original ideia para chegar ao quadro de resultados.

Publicar os critérios de classificação e o calendário em o resumo da missão, e, em seguida, repita os pontos não negociáveis no formulário. Os custos previstos da avaliação, bem como a imprecisão, podem comprometer as ideias que valem a pena.

Quatro situações em que a pontuação de viabilidade pode sair errada

Vale a pena ter em conta quatro padrões de falha na conceção, um conjunto mais restrito do que o anti-padrões de governação que os rodeiam. Cada um é um pontuação um artefacto que não se revela.

Viabilidade como uma resposta negativa socialmente aceitável

A viabilidade dá ao revisor uma razão que não precisa de justificação. “É demasiado difícil neste momento” encerra uma conversa que “prefiro não” não conseguiria encerrar.

Esteja atento aos revisores cujas pontuações de viabilidade acompanhem as suas carga de trabalho com mais atenção do que à ideia que tinham diante de si.

O número pode ser genuíno, e o que o originou continua invisível até que alguém anote as referências.

Um nível de referência exige que o revisor identifique o que está realmente em falta. A capacidade para o próximo trimestre é uma questão de planeamento e deve ser abordada noutro contexto.

Aumento progressivo do peso

A viabilidade é a mais fácil critério para justificar em voz alta, por isso fica atento para ver se o seu peso vai aumentando gradualmente. Marca uma data no calendário para rever os pesos.

O IfM’s orientações sobre ponderação e classificação considera tanto as ponderações como as classificações “subjetivas e arbitrárias” e o método “extremamente sensível a pequenas alterações”.”

A publicação dos pesos ao lado das pontuações torna as alterações visíveis. Se o primeiro conjunto parecer errado, utilize a objeção para testar os seus pressupostos.

A pontuação torna-se o alvo

A formulação original de Goodhart é mais sucinta do que a versão que as pessoas costumam citar: “Qualquer regularidade estatística observada tenderá a desaparecer assim que for submetida a pressão com o objetivo de a controlar.”

A conhecida expressão “quando uma medida se torna um objetivo” é uma reformulação de Marilyn Strathern, de 1997, e vale a pena atribuí-la corretamente.

Assim que os autores se familiarizarem com a grelha de avaliação, poderão escrever de acordo com ela. Isso é viável quando a grelha de avaliação valoriza provas, e corrosivo quando se trata de adjetivos.

Inflação dos patrocinadores

Vale a pena comparar a antiguidade do patrocinador com as pontuações, uma vez que poucos avaliadores gostam de atribuir um «dois» à proposta de um diretor. Compare as pontuações por nível de patrocinador.

Peça aos avaliadores que atribuam as pontuações de forma independente antes da discussão, ou faça com que a primeira avaliação seja anônima. Isso protege a primeira pontuação registada, embora atrase a sessão.

UMA com data e hora O registo facilita a auditoria das alterações nos pesos e nas pontuações. É aí que a plataforma que utiliza para atribuir pontuações se destaca.

Registe as restrições por escrito antes de as transpor para a partitura

A rubrica é um documento de política, quer se lhe chame assim ou não. Indica às pessoas que tipo de ambição resiste ao contacto com o funil.

Vale a pena fazer quatro alterações em primeiro lugar:

• Separe as restrições obrigatórias e limite a lista a cinco.
• Calcule o custo de resolver o desconhecido, e não as probabilidades de sucesso.
• Avaliar a viabilidade em três níveis, com o valor classificado num eixo separado.
• Aplicar a avaliação de viabilidade após o enriquecimento e publicar a grelha de avaliação, os ponderadores e o registo.

A IA deve ser utilizada na elaboração e na auditoria. Pode sugerir critérios para o quadro de avaliação com base na vossa estratégia e assinalar pontuações que apresentem discrepâncias entre os avaliadores.

Comece pela lista de requisitos obrigatórios e finalize-a antes da próxima ronda de avaliação. O resto da grelha de avaliação torna-se mais fácil assim que essa coluna estiver completa.

O nosso ebook sobre avaliação de ideias e governação percorre todo o processo, desde a captação até à carteira. Aprofunda mais as questões do enriquecimento e da pontuação do que um artigo permite.

Ou reserve uma demonstração para ver como o Accept Mission lida com os quadros de avaliação, os critérios ponderados e os registos com data e hora que tornam visível a variação na pontuação.