Priorisation des idées avec l'ICE et l'Indicateur de Confiance
Auteur : Itamar Gilad
Source : Idea Prioritization With ICE and The Confidence Meter
Date : 18/04/2018
Traducteur : Fabrice Aimetti
Crédit : Vincent Billon
Date : 24/10/2023
Traduction :
Supposons que vous gériez un produit qui aide les petites entreprises à soutenir leurs clients. Vous cherchez à améliorer les niveaux d'engagement et de fidélisation des clients. Deux idées de produits sont sur la table :
- Un tableau de bord permettant au chef d'entreprise de suivre les statistiques et les tendances en matière d'engagement.
- Un chatbot pour aider le chef d'entreprise à automatiser la communication avec ses clients.
L'idée du tableau de bord a été évoquée à plusieurs reprises lors de discussions avec des clients et vous pensez qu'elle a un bon potentiel, mais il y a aussi le risque que seuls les utilisateurs chevronnés l'utilisent. Le chatbot est une idée qui plaît à toute l'entreprise et que la direction considère comme très prometteuse - c'est une grosse opportunité pour les clients, c'est un projet sympa et, oui, les chatbots font fureur en ce moment.
Quelle idée de produit choisiriez-vous ?
Ces questions de priorisation sont au cœur du product management. Le choix d'une mauvaise idée de produit peut être très pénalisant - coût de développement + coût de déploiement + coût de maintenance + coût d'opportunité + autres coûts résiduels. Nous sommes souvent tentés de prendre une décision sur la base de signaux faibles : votes majoritaires, opinion de la personne la mieux payée (Hippo), tendances de l'industrie, etc., mais il a été démontré à maintes reprises qu'il s'agit de mauvaises heuristiques qui ne valent pas mieux que de mettre des jetons sur une table de roulette (d'où le terme "Big Bet").
Dans cet article, je vais vous présenter ce que je considère comme la meilleure façon de prioriser les idées. Elle se compose de trois parties :
- Les scores ICE
- Les niveaux de confiance
- La validation incrémentale
Priorisation à l'aide du score ICE
Le score ICE est une méthode de priorisation inventée par Sean Ellis, célèbre pour avoir contribué à la croissance d'entreprises telles que DropBox et Eventbrite et pour avoir inventé le terme Growth Hacking. Les scores ICE ont été conçus à l'origine pour donner la priorité aux expériences de croissance, mais ils peuvent également être utilisés pour les idées de produits ordinaires.
Vous calculez le score par idée de la manière suivante :
Score ICE = Impact * Confiance * Facilité
- L'impact est une estimation de l'impact positif de l'idée sur l'indicateur clé que vous essayez d'améliorer.
- La facilité (de mise en œuvre) est une estimation de l'effort et des ressources nécessaires pour mettre en œuvre cette idée. Il s'agit généralement de l'inverse de l'effort (personne/semaine) - un effort moindre signifie une plus grande facilité.
- La confiance indique dans quelle mesure nous sommes sûrs de l'impact et, dans une certaine mesure, de la facilité de mise en œuvre. J'ai écrit un article entier pour expliquer pourquoi il ne suffit pas de prioriser en fonction de l'impact et de l'effort. En bref, nous sommes très mauvais dans l'estimation de ces deux éléments et nous en sommes parfaitement inconscients. Les valeurs de confiance sont l'antidote - elles nous permettent de rester honnêtes quant à nos hypothèses.
Les trois valeurs sont évaluées sur une échelle relative de 1 à 10 afin de ne pas surpondérer l'une d'entre elles. Chaque équipe peut choisir sa propre signification des valeurs 1 à 10, à condition que l'évaluation reste cohérente. L'objectif final est que votre banque d'idées ressemble à ceci :
Prenons notre exemple pour voir comment cela fonctionne.
1er tour de priorisation : 1er ICE
Vous décidez de calculer les scores ICE pour les deux idées de produits, le tableau de bord et le chatbot. À ce stade peu avancé, vous utilisez des valeurs approximatives basées uniquement sur votre propre intuition.
- Impact - vous pensez que le tableau de bord augmentera considérablement la fidélisation, mais seulement pour un sous-ensemble de vos clients - vous lui attribuez une note de 5 sur 10. Le chatbot, en revanche, peut changer la donne pour un grand nombre de clients et vous lui donnez donc 8 sur 10 (j'essaierai de faire un article séparé sur la façon d'évaluer l'impact).
- Facilité - Vous estimez qu'il faudra 10 semaines-personnes pour construire le tableau de bord et 20 semaines-personnes pour le chatbot, uniquement en pensant à des projets similaires dans le passé. Vous obtiendrez plus tard de meilleures estimations de la part de l'équipe. Vous utilisez ce tableau simple (choisi par vous et votre équipe) pour convertir votre estimation en facilité :
Le tableau de bord obtient donc une note de facilité de 4 sur 10 et le chatbot une note de 2.
Calcul de la confiance
Il n'y a qu'une seule façon de calculer la confiance - en recherchant des preuves tangibles. C'est dans ce but que j'ai créé l'outil ci-dessous : l'Indicateur de Confiance. Il répertorie les types de preuves les plus courants que vous pouvez trouver, et le niveau de confiance qu'ils apportent chacun (disponible en téléchargement ici).
Revenons à notre exemple pour voir l'outil en action.
- Preuves tangibles pour le chatbot : conviction personnelle (vous pensez que c'est une bonne idée), support thématique (l'industrie pense que c'est une bonne idée) et opinion des autres (vos supérieurs et collègues pensent que c'est une bonne idée). Cela lui donne une valeur de confiance totale de 0,1 sur 10, soit une confiance proche de zéro. L'outil ne considère manifestement pas les opinions comme un indicateur fiable. Intéressant.
- Le tableau de bord a cet avantage : conviction personnelle (vous pensez que c'est une bonne idée) et soutien anecdotique (une poignée de clients l'ont demandé). Cela fait grimper sa valeur de confiance à 0,5 sur 10, ce qui correspond à un niveau de confiance faible. Malheureusement, les clients ne sont pas doués pour prédire leur propre comportement futur.
Les scores ICE à l'issue de ce tour de priorisation :
Le tableau de bord semble être la meilleure idée de produit pour le moment, mais l'outil montre que vous n'avez pas dépassé le stade de la confiance faible. Il n'y a tout simplement pas assez d'informations pour prendre une décision.
2ème tour de priorisation : estimations et vérifications de faisabilité
Vous rencontrez ensuite vos homologues de l'ingénierie et de l'UX et, ensemble, vous étudiez les deux idées. Les deux projets semblent réalisables à première vue. Le responsable de l'ingénierie revient avec une estimation approximative des efforts à fournir : le lancement du tableau de bord prendra 12 semaines-homme et celui du chatbot 16 semaines-homme. Selon votre échelle de facilité, cela donne des scores de facilité de 4 et 3 respectivement.
En parallèle, vous effectuez quelques calculs préliminaires. En y regardant de plus près, le tableau de bord semble légèrement moins prometteur et obtient une note de 3. Le chatbot semble toujours avoir une note solide de 8.
L'utilisation de l'outil de confiance montre que les deux idées de produit passent désormais le test des estimations et des planifications et gagnent en confiance. Le tableau de bord passe à 0,8 et le chatbot à 0,4.
Le chatbot a comblé l'écart après ce tour de priorisation. Le niveau de confiance reste faible, et ce pour une bonne raison : il s'agit essentiellement de chiffres jetés au hasard, et vous savez qu'il vous faut recueillir davantage de preuves.
3ème tour de priorisation : données du marché
Vous envoyez à vos clients existants une enquête leur demandant de choisir l'une des cinq nouvelles fonctionnalités potentielles, dont le chatbot et le tableau de bord. Vous recevez des centaines de réponses. Les résultats sont très positifs pour le chatbot - c'est la première fonctionnalité de l'enquête avec 38 % des répondants qui l'ont choisie. Le tableau de bord arrive en troisième position avec 17 % des votes.
Cela permet aux deux fonctionnalités de bénéficier de données du marché, mais le chatbot obtient un score plus élevé (1,5). Le tableau de bord bénéficie également d'un regain de confiance, mais seulement à hauteur de 1.
Le chatbot a pris la tête de ce tour de priorisation. Vos collègues et l'industrie semblent avoir raison. Devriez-vous passer à l'action maintenant ? Probablement pas - le projet est assez coûteux et nous n'avons qu'une confiance modérée. Les résultats de l'enquête ne génèrent malheureusement pas un signal très fort. Continuez à travailler !
4ème tour de priorisation : preuves fournies par les clients
Pour en savoir plus, vous menez une étude auprès de 10 clients existants en leur montrant des prototypes interactifs des deux fonctionnalités. Parallèlement, vous menez des entretiens téléphoniques avec 20 participants à l'enquête qui ont choisi l'une des deux fonctionnalités candidates.
L'étude révèle une image plus nuancée :
- 8/10 des participants à l'étude ont trouvé le tableau de bord utile et ont déclaré qu'ils l'utiliseraient au moins une fois par semaine. Leur compréhension de la fonctionnalité correspond bien à ce que vous avez à l'esprit et ils n'ont eu aucun problème à l'utiliser. Les entretiens téléphoniques ont confirmé leur compréhension et leur désir de l'utiliser en moyenne une fois par semaine.
- 9/10 des participants à l'étude ont déclaré qu'ils utiliseraient le chatbot. Leur niveau d'enthousiasme était très élevé - tout le monde a immédiatement compris pourquoi cela pouvait les aider et beaucoup ont demandé à l'avoir dès que possible. Cependant, il y a eu des problèmes de facilité d'utilisation, et certains clients ont exprimé des inquiétudes quant à la possibilité de heurter leurs propres clients avec des réponses automatiques de la part du robot.
Cette étude qualitative vous donne des pistes de réflexion. Le tableau de bord semble être plus populaire que vous ne le pensiez. Le chatbot ressemble davantage à un projet à haut risque/haut potentiel. En consultant l'outil de confiance, vous attribuez au tableau de bord et au chatbot des valeurs de confiance respectives de 3 et 2,5. Vous ajustez l'impact à 6 pour le tableau de bord et à 9 pour le chatbot. Enfin, sur la base de l'étude d'utilisabilité, vous réalisez que l'obtention d'une bonne interface utilisateur pour le chatbot nécessitera plus de travail - vous réduisez la facilité à 2.
Les résultats ont encore changé et le tableau de bord est maintenant en tête après ce tour de priorisation. Vous présentez les résultats à votre équipe et à vos responsables. Si l'on se base strictement sur les scores de l'ICE, le tableau de bord devrait être déclaré vainqueur ; d'un autre côté, les scores de confiance des deux sont loin d'être élevés. Réticente à abandonner une fonctionnalité potentiellement intéressante, l'équipe décide de continuer à tester les deux.
Dernier tour de priorisation et un gagnant !
Vous décidez de commencer par construire un produit minimum viable (MVP) du chatbot - le développement prend 6 semaines et vous le lancez auprès de 200 répondants à l'enquête qui se sont déclarés prêts à le tester. 167 personnes activent la fonction, mais l'utilisation diminue considérablement de jour en jour et, au bout de deux semaines, vous n'avez plus que 24 utilisateurs actifs. Les enquêtes de suivi et les appels téléphoniques font apparaître une situation claire : le chatbot est plus difficile à utiliser et beaucoup moins utile que ce à quoi les participants s'attendaient, et pire encore, il contrarie leurs clients qui semblent attacher de l'importance à la personnalisation de l'expérience. En fait, cette fonctionnalité oblige les chefs d'entreprise à travailler plus dur. En analysant les résultats, vous et l'équipe concluez que le lancement d'une version utile du chatbot qui répondra aux attentes des clients nécessitera au moins 40 à 50 semaines-hommes supplémentaires (facilité de 1) et présente un risque élevé. Il est également clair que beaucoup moins de clients le trouveront utile que prévu. Vous réduisez donc l'impact à 2. La fonctionnalité étant fondamentalement modifiée, vous ne pouvez plus vous fier aux résultats de l'étude sur les utilisateurs pour la confirmer, et vous réduisez donc la confiance à 0,5 à l'aide de l'outil de confiance.
Le tableau de bord MVP est lancé dans les 5 semaines suivantes auprès de 200 autres clients. Les résultats sont très bons. 87 % des participants utilisent la fonction, dont un grand nombre quotidiennement, avec un faible taux d'abandon. Le retour d'information est extrêmement positif, la plupart des clients en redemandant. Vous réalisez que l'impact est plus élevé que prévu - 8. L'équipe d'ingénieurs estime qu'il faudra encore 10 semaines pour lancer le tableau de bord dans son intégralité, soit une facilité de 4. D'après l'outil de confiance, vous vous sentez à l'aise pour fixer la valeur de confiance à 6,5 sur 10.
À ce stade, la priorisation est en effet très facile. Personne ne conteste que le tableau de bord est la bonne fonctionnalité à développer en priorité. Vous conservez le chatbot dans votre banque d'idées afin d'enregistrer les trouvailles, mais il est naturellement relégué au bas de l'échelle en raison de son faible score ICE.
A retenir
Cessez d'investir dans de mauvaises idées de produits
Cet exemple montre à quel point il est risqué de parier sur des fonctionnalités à haut niveau d'effort en se basant sur des intuitions, des opinions, des thèmes, des tendances de marché, etc. La plupart des idées de produits ressemblent davantage à un chatbot qu'à un tableau de bord - elles n'ont pas l'impact escompté et coûtent beaucoup plus cher que ce que l'on pense. Le seul véritable moyen de trouver des idées gagnantes est de les mettre à l'épreuve et de réduire le niveau d'incertitude.
Préoccupez-vous des résultats/outcomes, pas des livrables/outputs
Cela peut sembler être une façon laborieuse et lente de construire des produits, mais c'est en fait beaucoup plus efficace que les autres solutions. Non seulement les tests de confiance évitent la plupart des efforts inutiles consacrés aux mauvaises idées, mais ils permettent également à l'équipe de se concentrer sur des étapes d'apprentissage courtes et tangibles, avec des résultats immédiatement mesurables, ce qui améliore le focus et la vélocité. Tout au long du processus, nous apprenons beaucoup sur le produit, les utilisateurs et le marché, et nous aboutissons à un meilleur produit final qui a déjà été testé par les utilisateurs. Nous sommes donc rarement surpris le jour du lancement et nous devons apporter beaucoup moins de corrections après le lancement.
Faites fleurir un millier de fleurs
En réalité, nous devons souvent choisir non pas entre deux idées, mais entre des dizaines. En limitant l'effort que nous consacrons à chaque idée en fonction de notre degré de confiance, nous nous permettons de tester de nombreuses idées de produits en parallèle, en évitant les pièges du développement traditionnel basé sur les gros paris - voir mon article sur le framework GIST pour plus d'informations à ce sujet.
Obtenez l'adhésion de vos managers et des parties prenantes
Voici ce qui inquiète le plus les gens lorsque j'explique ce sujet : comment obtenir l'adhésion des managers et des parties prenantes ? Peut-on vraiment les amener à limiter leur pouvoir divin sur le produit ? Eh bien, vous seriez surpris. Les managers me disent souvent qu'ils préfèrent ne pas être les décideurs en matière de produit, mais qu'ils se sentent obligés de s'impliquer parce que l'équipe leur présente des options peu convaincantes. Ce qui est faible ou fort est bien sûr sujet à opinion, à moins que vous ne vous présentiez à la réunion non seulement avec une présentation soignée, mais aussi avec des preuves réelles et des niveaux de confiance clairs. Vous pourriez être surpris de constater à quel point la conversation devient plus facile. À l'inverse, la prochaine fois que votre PDG vous surprendra avec une nouvelle idée incontournable, essayez de lui montrer comment son idée est évaluée - quel impact, quel effort et quelle confiance nous pouvons lui accorder, comment ses scores ICE se comparent à d'autres idées, et comment nous pouvons la tester pour gagner en confiance. La plupart des personnes raisonnables conviendront qu'il s'agit là d'une bonne façon de procéder. S'ils ne sont toujours pas convaincus, envoyez-leur ce billet et demandez-leur de laisser un commentaire (ou envoyez-moi un message à @ItamarGilad), et je promets de mener le bon combat en votre nom.
