Avant de vous lancer : tester un assistant IA sur votre propre entreprise en 15 minutes
Un plan de test court et pratique pour tout assistant de support IA : quelles questions poser, quoi observer dans les réponses et comment vérifier ce qui se passe quand il ne sait pas.
Vous avez ajouté votre site web et quelques documents, choisi vos couleurs, et l'assistant est prêt. Avant que vos clients ne le voient, consacrez 15 minutes à essayer de le prendre en défaut. Les erreurs que vous trouvez maintenant ne coûtent rien à corriger ; celles qu'un client trouve vous coûtent sa confiance.
Ce plan convient à un commerce, un cabinet, un salon ou une boutique en ligne. Ouvrez le chat de test de votre assistant et ayez de quoi prendre des notes.
Minutes 1 à 5 : les questions de tous les jours
Commencez par les questions auxquelles vous répondez le plus souvent. Si vous n'êtes pas sûr de les connaître, regardez votre dernière semaine d'e-mails, de messages WhatsApp ou d'appels. Notez-en huit à dix, avec les mots que les clients emploient vraiment.
La liste d'une boulangerie pourrait ressembler à ceci :
- « Vous êtes ouverts dimanche ? »
- « Vous avez du sans gluten ? »
- « Combien coûte un gâteau d'anniversaire pour 20 personnes ? »
- « Je peux commander pour demain ? »
- « Où puis-je me garer ? »
Dans le chat de test de Chatzora, vous verrez aussi des questions de test suggérées, rédigées à partir de vos propres informations. Utilisez-les, mais ne vous y limitez pas. Elles reposent sur ce que vous avez ajouté : elles vérifient bien que l'assistant a trouvé vos informations, et montrent moins bien ce qui manque.
Pour chaque réponse, vérifiez trois choses :
- Est-elle correcte ? Comparez avec ce que vous diriez. Vérifiez soigneusement les chiffres : prix, horaires, distances, délais de prévenance.
- Est-elle complète ? « Oui, nous faisons des gâteaux sur mesure » est exact, mais peu utile si cela omet qu'il faut prévenir 48 heures à l'avance.
- Vous ressemble-t-elle ? Trop formelle, trop bavarde, trop longue ? Notez-le maintenant ; vous réglerez le ton à la fin.
Minutes 5 à 8 : posez la même chose autrement
Les clients ne formulent pas les questions comme votre site web. Prenez trois de vos questions et reposez-les de différentes façons :
- Courte et vague : « dimanche ? »
- Avec une faute de frappe : « vous fermé a koi heure »
- Noyée dans une histoire : « La fête de ma fille est samedi et j'ai oublié de commander un gâteau, est-ce trop tard ? »
- Dans une autre langue, si vos clients vous écrivent parfois dans l'une d'elles.
Un bon assistant devrait s'en sortir pour la plupart. S'il échoue sur la question reformulée mais répond à l'originale, l'information est là, mais peut-être enfouie. Une entrée courte et directe de question-réponse règle souvent le problème : « Q : Êtes-vous ouverts le dimanche ? R : Oui, de 9 h à 15 h. »
Minutes 8 à 11 : les questions auxquelles il ne devrait pas pouvoir répondre
C'est le test que la plupart des gens sautent, et c'est le plus important. Posez des questions qui ne figurent pas du tout dans vos informations :
- Quelque chose de plausible mais faux : « Livrez-vous à l'aéroport ? » si ce n'est pas le cas.
- Quelque chose sur un produit ou un service que vous ne proposez pas.
- Quelque chose de précis que vous n'avez jamais écrit : « Le patron est-il là aujourd'hui ? »
- Quelque chose sans rapport : « Quel temps fera-t-il demain ? »
Vous cherchez un seul comportement : l'assistant doit dire qu'il ne sait pas, pas inventer. Une réponse comme « Oui, nous livrons à l'aéroport moyennant un petit supplément » alors que c'est faux est le genre d'erreur qui crée de vrais problèmes.
S'il invente, deux réglages aident. Degré de certitude requis avant de répondre détermine à quel point une question doit correspondre à vos informations pour qu'il réponde ; rendez-le plus strict. Et vos consignes peuvent le dire clairement : « Si la réponse ne figure pas dans les informations fournies, dis que tu ne sais pas et propose de transmettre la question à l'équipe. »
Vérifiez votre message « je ne sais pas »
Quand l'assistant ne peut pas répondre, il envoie le message que vous avez défini dans Réponse quand il ne sait pas. Lisez-le comme un client. Celui par défaut convient, mais un message dans vos propres mots est préférable, et il devrait dire au client ce qui se passe ensuite :
- Faible : « Je n'ai pas cette information. »
- Mieux : « Je ne suis pas sûr de cela. J'ai transmis votre question à l'équipe, et quelqu'un vous répondra ici, en général sous quelques heures en semaine. »
Ne promettez que ce que vous pouvez tenir. Si personne ne consulte les messages le week-end, ne dites pas « dans l'heure ».
Minutes 11 à 13 : demandez une personne
Écrivez ce qu'écrirait un client agacé : « Je veux parler à une vraie personne » ou « ça ne m'aide pas, quelqu'un peut m'appeler ? »
Vérifiez que :
- L'assistant arrête d'essayer de répondre et dit au client que l'équipe répondra.
- La conversation apparaît dans votre boîte de réception comme nécessitant votre attention.
- Votre alerte arrive là où vous l'attendez : l'application Android, Slack ou Discord, selon ce que vous avez configuré.
Si aucune alerte n'arrive, corrigez cela avant de vous lancer. Un client qui demande une personne et n'entend rien est dans une pire situation que celui qui n'a jamais eu de chat.
Notez que le chat de test de votre tableau de bord est un aperçu : il montre ce que l'assistant dirait, mais n'envoie pas de vraies alertes. Pour tester les alertes de bout en bout, utilisez le lien de chat partageable ou votre site web, dans une fenêtre de navigation privée, comme si vous étiez un client.
Minutes 13 à 15 : corrigez ce que vous avez trouvé
Passez en revue vos notes et corrigez dans cet ordre :
- Réponses fausses. Corrigez l'information source. Si votre site affiche l'ancien prix, changez le site, pas seulement l'assistant.
- Réponses manquantes. Ajoutez-les sous forme de courtes entrées question-réponse.
- Réponses inventées. Rendez le réglage de certitude plus strict et ajoutez la consigne ci-dessus.
- Ton. Ajoutez une ou deux lignes aux consignes, comme « Réponds en deux ou trois phrases » ou « Adopte un ton amical et décontracté ».
Puis reposez une dernière fois les questions qui ont échoué.
Après le lancement
Les tests ne s'arrêtent pas le jour du lancement. De vrais clients poseront des questions auxquelles vous n'avez pas pensé. Pendant les deux premières semaines :
- Lisez quelques vraies conversations tous les un ou deux jours.
- Consultez la file de révision, où s'accumulent les questions auxquelles l'assistant n'a pas pu répondre, et ajoutez des réponses.
- Lisez l'e-mail hebdomadaire, qui classe les questions restées le plus souvent sans réponse.
En bref
- Posez vos dix questions les plus courantes et vérifiez soigneusement les chiffres.
- Reformulez-en trois, volontairement mal.
- Posez quatre questions dont il ne devrait pas connaître la réponse, et vérifiez qu'il l'admet.
- Rendez votre message « je ne sais pas » honnête sur la suite.
- Demandez une personne et confirmez que l'alerte vous parvient.
- Corrigez l'information source, puis testez à nouveau.
Quinze minutes ne rendront aucun assistant parfait. Mais elles rendent bien plus probable que vos premiers clients obtiennent une réponse correcte, ou un honnête « je vous mets en relation avec quelqu'un ».