La place de l’évaluation dans le process de création produit

Par Claire Bienaime, mercredi 11 mars 2020
Catégories : Evaluation, Je Lève La Main - version virtuelle

Conceptualiser et créer un produit, en voilà un beau projet ! C’est un projet auquel sont confrontées beaucoup d’entreprises et il peut être difficile pour elles d’évaluer si la création du produit évolue dans le bon sens. Comme chez Speechi on aime bien vous partager nos propres tests internes, on vous laisse découvrir ce billet de blog qui abordera la manière dont nous utilisons notre logiciel d’évaluation Je Lève la Main afin d’améliorer un produit au fur et à mesure de son développement.

Focus sur le produit en création : le cursus d’apprentissage de la programmation pour adultes

Nous en avons déjà parlé dans ce blog : nous développons en interne le futur cursus d’apprentissage de la programmation pour les adultes, toujours selon la méthode d’apprentissage Algora. Ce cursus est testé en avant-première par nos équipes (vous pouvez constater par vous-même leur sérieux et leur concentration ci-dessous).

Quel est l’objectif principal de ce test ? La réponse est simple : améliorer le produit pendant sa conception. Cette conception est un projet de plusieurs mois qui nécessite(ra) forcément quelques ajustements.

Pour que ce test soit concluant, nous collectons à chaque fin d’atelier les avis de chaque testeur via l’outil Je Lève la Main.

Le rôle du sondage Je Lève la Main dans l’amélioration du produit

Afin d’obtenir des retours pertinents de la part des testeurs, nous utilisons un outil “homemade” : l’application d’évaluation et de sondage Je Lève la Main.

Deux rôles principaux pour Je Lève la Main dans notre cas d’usage : 1) l’amélioration du produit pendant sa conception, 2) l’évaluation des connaissances. Dans ce billet de blog, nous allons nous focaliser sur le premier rôle. Le second rôle sera probablement développé dans un autre billet de blog.

Un cours se déroule de la manière suivante : pendant deux heures, les employés de Speechi, véritables cobayes des temps modernes, doivent suivre le nouveau livret de cours et programmer le robot phare du jour. A la fin du test, les testeurs reçoivent un mail avec deux liens Je Lève la Main. L’un servira à évaluer le cours (les difficultés et facilités rencontrées, les propositions d’axes d’amélioration, les incompréhensions, les différentes erreurs, etc.) tandis que l’autre servira à évaluer l’élève – ici le testeur.

Quel format de quiz utiliser pour sonder les testeurs d’un produit ?

Privilégier un format court

Les sondages se veulent assez rapides à remplir (5 à 10 minutes maximum) pour que cela ne soit pas trop contraignant. En effet, les testeurs accordent environ deux heures de leur temps toutes les deux semaines pour tester les cours de programmation pour adultes, il faut donc que le sondage soit concis : ici il ne fait pas plus de 5 questions et vient en complément d’un débat qui a lieu directement après l’atelier, à chaud.

Mélanger questions ouvertes et questions fermées

Avec les questions fermées (exemples ci-dessous), nous espérons pouvoir quantifier la qualité d’un atelier et de l’expérience qu’a eu un testeur. Cela permet aussi de constater que nous avons un plutôt bon panel de testeurs. Un soucis peut être détecté si par exemple l’ensemble des testeurs se positionne sur un extrême : atelier trop facile ou trop difficile.

Avec les questions ouvertes (exemples ci-dessous), celles que nous jugeons comme étant les plus intéressantes finalement, nous attendons des avis plus précis voire des propositions d’améliorations. Si à chaque fin de cours un débat collectif est lancé pour récupérer les réactions à chaud des participants, les questions ouvertes restent le moyen idéal pour les plus timides de donner leur ressenti. On peut aisément comprendre que quelqu’un qui n’a pas réussit l’exercice puisse complexer devant les autres : il aura tout le loisir d’expliquer son ressenti dans les questions ouvertes.

Comment interpréter les résultats et modifier le produit en cours de création ?

Ce n’est pas tout de créer un sondage pertinent et de récupérer les données, encore faut-il savoir les exploiter.

Dans notre cas d’usage, les sondages ont confirmé que la conception du cursus adultes suivait un développement cohérent et correspondait aux attentes de potentiels futurs élèves. Toutefois, ils ont été utiles et ont contribué à améliorer les livrets de cours par l’ajout d’éléments rendant leur lecture plus fluides, par exemple :

l’utilisation de différentes couleurs dans les plans de montage pour mieux différencier les parties en haut et en bas (pas toujours facile à bien discerner avec les effets de perspective)
l’ajout de petites icônes pour faire ressortir les moments où il faut écrire du code (icône “clavier”) ou créer un programme (icône “fichier”).

Faut-il pour autant, après des résultats positifs, arrêter de sonder les testeurs ? Absolument pas selon Michaël, le concepteur du cursus Algora pour adultes :

Comme on le dit si bien en bourse : “Les performances passées ne préjugent pas des performances futures”. Je pense qu’il est important de constamment rester à l’écoute des apprenants et d’être dans une démarche d’adaptation permanente. Sans ces retours, le cursus serait complètement construit “à l’aveugle”, avec le risque d’être complètement déconnecté des réalités.

En cas d’un retour négatif, il aurait fallu réfléchir à repartir de 0. Evidemment, cela dépend de la taille du panel (1000 retours négatifs n’ont pas le même impact que 2 retours négatifs) et il faut essayer de pondérer l’importance donnée à ces retours. Le petit conseil que nous pouvons vous donner (et que nous appliquons) : effectuer des sondages réguliers, dès qu’une modification est apportée au produit. Cela permet de détecter suffisamment tôt les erreurs dans le processus de création produit afin de limiter les pertes de temps et d’argent.

Un grand merci à mon collègue Michaël en charge de la conception des cours de programmation Algora adultes pour ses réponses éclairantes et le partage de l’un de ses sondages permettant d’illustrer mes propos.