Antes de publicar: como testar um assistente de IA no seu próprio negócio em 15 minutos

Você já adicionou seu site e alguns documentos, escolheu as cores e o assistente está pronto. Antes que os clientes o vejam, gaste 15 minutos tentando pegá-lo em um erro. Erros que você encontra agora não custam nada para corrigir; erros que um cliente encontra custam a confiança dele.

Este plano funciona para uma loja, uma clínica, um salão ou uma loja virtual. Abra o chat de teste do seu assistente e tenha algo à mão para anotar.

Minutos 1 a 5: as perguntas de todo dia

Comece pelas perguntas que você mais responde. Se não tiver certeza de quais são, olhe sua última semana de e-mails, mensagens de WhatsApp ou ligações. Anote de oito a dez, com as palavras que os clientes realmente usam.

A lista de uma padaria poderia ser assim:

"Vocês abrem domingo?"
"Tem opção sem glúten?"
"Quanto custa um bolo de aniversário para 20 pessoas?"
"Posso encomendar para amanhã?"
"Onde posso estacionar?"

No chat de teste do Chatzora você também verá perguntas de teste sugeridas, elaboradas a partir das suas próprias informações. Use-as, mas não dependa só delas. Elas se baseiam no que você adicionou, então servem bem para checar se o assistente achou suas informações, e menos para mostrar o que está faltando.

Em cada resposta, verifique três coisas:

Está correta? Compare com o que você diria. Confira os números com cuidado: preços, horários, distâncias, prazos de aviso.
Está completa? "Sim, fazemos bolos personalizados" está correto, mas ajuda pouco se omite que você precisa de 48 horas de antecedência.
Parece com você? Formal demais, conversador demais, longo demais? Anote agora; o tom você ajusta no final.

Minutos 5 a 8: pergunte a mesma coisa de outro jeito

Os clientes não formulam as perguntas como o seu site. Pegue três das suas perguntas e faça de novo de maneiras diferentes:

Curta e vaga: "domingo?"
Com erro de digitação: "q horas vcs fexam"
Embrulhada numa história: "A festa da minha filha é sábado e esqueci de encomendar o bolo, ainda dá tempo?"
Em outro idioma, se seus clientes às vezes escrevem em um.

Um bom assistente deve lidar com a maioria. Se ele falha na pergunta reformulada mas acerta a original, a informação existe, mas pode estar escondida. Uma entrada curta e direta de pergunta e resposta costuma resolver: "P: Vocês abrem aos domingos? R: Sim, das 9h às 15h."

Minutos 8 a 11: perguntas que ele não deveria saber responder

Este é o teste que a maioria pula, e o que mais importa. Pergunte coisas que não estão nas suas informações de jeito nenhum:

Algo plausível, mas falso: "Vocês entregam no aeroporto?", se não entregam.
Algo sobre um produto ou serviço que você não oferece.
Algo específico que você nunca escreveu: "O dono está hoje?"
Algo fora do assunto: "Como vai estar o tempo amanhã?"

Você procura um único comportamento: o assistente deve dizer que não sabe, e não inventar algo. Uma resposta como "Sim, entregamos no aeroporto por uma pequena taxa", quando não é verdade, é o tipo de erro que causa problemas reais.

Se ele inventar, duas configurações ajudam. Quão seguro o assistente precisa estar antes de responder controla o quanto uma pergunta precisa se parecer com as suas informações para ele responder; deixe mais rigoroso. E suas instruções podem dizer com clareza: "Se a resposta não estiver nas informações fornecidas, diga que não sabe e ofereça repassar a pergunta à equipe."

Verifique sua mensagem de "não sei"

Quando o assistente não consegue responder, ele envia a mensagem que você definiu em Resposta quando não sabe. Leia como um cliente leria. A padrão serve, mas uma mensagem com as suas palavras é melhor, e deve dizer ao cliente o que acontece em seguida:

Fraca: "Não tenho essa informação."
Melhor: "Não tenho certeza sobre isso. Passei sua pergunta para a equipe e alguém vai responder aqui, geralmente em algumas horas em dias úteis."

Prometa só o que você consegue cumprir. Se ninguém olha as mensagens nos fins de semana, não diga "em até uma hora".

Minutos 11 a 13: peça uma pessoa

Digite o que um cliente frustrado digitaria: "Quero falar com uma pessoa de verdade" ou "isso não está ajudando, alguém pode me ligar?"

Verifique se:

O assistente para de tentar responder e diz ao cliente que a equipe vai responder.
A conversa aparece na sua caixa de entrada como precisando de atenção.
Seu alerta chega onde você espera: o aplicativo Android, o Slack ou o Discord, conforme o que você configurou.

Se nenhum alerta chegar, resolva isso antes de publicar. Um cliente que pede uma pessoa e não ouve nada fica pior do que um que nunca teve um chat.

Observe que o chat de teste do painel é uma pré-visualização: mostra o que o assistente diria, mas não envia alertas reais. Para testar os alertas de ponta a ponta, use o link de chat compartilhável ou o seu site, em uma janela privada do navegador, como se você fosse um cliente.

Minutos 13 a 15: corrija o que encontrou

Revise suas anotações e corrija as coisas nesta ordem:

Respostas erradas. Corrija a informação de origem. Se o seu site tem o preço antigo, mude o site, não só o assistente.
Respostas ausentes. Adicione-as como entradas curtas de pergunta e resposta.
Respostas inventadas. Deixe a configuração de "quão seguro" mais rigorosa e adicione a instrução acima.
Tom. Adicione uma ou duas linhas às instruções, como "Responda em duas ou três frases" ou "Use um tom amigável e informal".

Depois faça mais uma vez as perguntas que falharam.

Depois de publicar

Testar não termina no dia do lançamento. Clientes reais vão perguntar coisas em que você não pensou. Nas duas primeiras semanas:

Leia algumas conversas reais a cada um ou dois dias.
Confira a fila de revisão, onde se acumulam as perguntas que o assistente não conseguiu responder, e adicione respostas.
Leia o e-mail semanal, que lista as perguntas que mais ficaram sem resposta.

Resumindo

Faça as suas dez perguntas mais comuns e confira os números com cuidado.
Reformule três delas, de propósito mal.
Faça quatro perguntas que ele não deveria saber e veja se admite isso.
Deixe sua mensagem de "não sei" honesta sobre o que acontece depois.
Peça uma pessoa e confirme que o alerta chega até você.
Corrija a informação de origem e teste de novo.

Quinze minutos não deixam nenhum assistente perfeito. Mas aumentam muito a chance de seus primeiros clientes receberem uma resposta correta, ou um honesto "vou chamar alguém para você".