Agente de IA erra: o que fazer quando a resposta sai errada?
Sim, agente de IA erra — a pergunta certa não é "como evitar todo erro", é "o erro chega no cliente ou é pego antes". A resposta é corrigir o mecanismo que gerou o erro, não só reescrever a frase que saiu errada: se a causa foi uma instrução solta no texto do prompt, ela precisa virar uma regra fixa que o código obedece sempre — não uma nova frase pra tentar de novo. No próprio agente que atende o WhatsApp da Estefani & Co, foi assim que um defeito real de condução foi achado em teste com roleplay e corrigido antes de qualquer lead real receber aquela conversa.
Por que um agente de IA erra, mesmo bem configurado?
Porque parte da condução de uma conversa vive em texto — instrução em linguagem natural pro modelo seguir — e texto é interpretável. Uma frase como "proponha o próximo passo assim que o lead demonstrar interesse" parece clara pra quem escreveu. Só que "demonstrar interesse" é elástico: o modelo pode decidir que uma frase educada já basta, ou que vale nomear a dor do cliente por ele mesmo, pra acelerar. A regra não quebrou porque o modelo é ruim — quebrou porque deixava espaço pra interpretação, e modelo de linguagem preenche espaço vazio com o caminho mais curto até completar a tarefa. Por isso "erro de IA" quase nunca é aleatório: é sistemático, a mesma condição dispara o mesmo desvio toda vez, porque o modelo está seguindo a instrução exatamente como foi escrita — só que a instrução tinha um furo.
Dá pra pegar o erro antes de chegar no cliente?
Dá, e é assim que funciona por aqui: antes de qualquer configuração nova ir pro tráfego real, ela passa por um teste de roleplay — um segundo modelo faz o papel de cliente, com perfis diferentes (quem já chega com o problema claro, quem só quer o preço, quem está perdido, quem nem tem negócio rodando ainda), e conversa de verdade com o agente configurado. É supervisão rodando antes da conversa acontecer com gente de verdade, não depois. Só que o teste também pode ter furo — e foi o que aconteceu no caso abaixo: o critério de aprovação media a coisa errada, e um defeito real passou disfarçado de qualidade.
O que muda entre "corrigir a resposta" e "corrigir o mecanismo"?
Corrigir a resposta é reagir ao sintoma: o agente disse algo errado, alguém edita aquela frase ou pede "não faça mais isso" no prompt. Funciona uma vez, pro caso exato que apareceu — e costuma voltar em outra formulação, porque a causa raiz (a instrução ambígua) continua lá.
Corrigir o mecanismo é achar por que a instrução deixava espaço pra aquele desvio e fechar esse espaço de um jeito que o modelo não consiga contornar reformulando a frase. No caso descrito acima, isso significou mover a decisão de "quando propor o próximo passo" de uma frase de tom pro modelo interpretar, pra um cálculo determinístico que roda em código antes do modelo escrever qualquer coisa. O modelo continua gerando o texto da resposta — mas não decide mais o quê fazer, só como dizer o que já foi decidido. É a mesma lógica de não deixar a IA decidir sozinha o que é reversível ou não: quanto mais a decisão sai do texto solto e vai pra uma regra fixa, menos espaço sobra pro modelo "interpretar" errado.
Isso quer dizer que, depois de corrigido, o agente nunca mais erra?
Não — prometer isso seria a mesma promessa vazia de "a IA nunca erra" que todo empresário desconfiado tem razão de desconfiar. Existem hoje outros pontos conhecidos e ainda em aberto no mesmo agente — por exemplo, casos em que ele monta uma conta em cima do que o lead disse e o lead rejeita a conta mesmo quando a aritmética está certa. Essa falha não tem solução definitiva ainda; está registrada como pendência, não escondida. O ponto não é "zerar erro" — é ter processo pra achar o erro sistemático, entender a causa e fechar o mecanismo, em vez de empilhar frase de exceção sobre frase de exceção até o texto virar ilegível. Quando o erro aparece já em produção, com cliente real, a saída não muda: registrar a conversa onde o desvio apareceu, reproduzir o mesmo cenário no roleplay de teste, confirmar que a correção não quebra o que já funcionava, e só então subir a mudança — nunca editar o prompt no calor da hora, direto em produção.
Em julho de 2026, a configuração do agente de atendimento da própria Estefani & Co trazia uma instrução assim: propor o próximo passo no primeiro sinal bom, aceitando a dor nomeada mesmo sem o lead colocar um número em cima dela — a ideia era não travar esperando "a conversa perfeita". O modelo obedeceu essa instrução com precisão cirúrgica demais: passou a fechar a conversa em só 4 turnos, baseado numa única pergunta rasa, e — o problema real — nomeando a dor do lead por ele mesmo, em vez de deixar o lead dizer. O roleplay que devia pegar esse tipo de desvio não pegou, porque o critério de aprovação usado media só "a conversa fecha em até 3 turnos? Se sim, PASS" — e um fechamento rápido demais passava como se fosse uma vitória.
O defeito foi identificado e corrigido em 17 de julho de 2026. A correção não foi trocar a frase por outra mais educada — foi tirar a decisão do texto e colocar num portão de código: hoje o agente só avança pra propor um próximo passo quando dois sinais concretos estiverem presentes ao mesmo tempo — uma dor concreta articulada pelo lead e (um custo quantificado ou os papéis de quem decide já mapeados). O modelo não decide mais se "já deu pra propor" — o código decide, checando os sinais extraídos daquela conversa. Junto entrou um teto de 5 perguntas de descoberta, pra o agente não travar no sentido contrário (nunca fechar). No mesmo levantamento apareceu outro erro parecido, corrigido na mesma data: lead de anúncio pago, que já chegava dizendo o que queria comprar, recebia nota zero de qualificação — só os sinais de dor "orgânica" pesavam no cálculo — e era descartado como frio na primeira mensagem, queimando o clique pago.
Perguntas frequentes
A IA aprende sozinha com os próprios erros, sem alguém intervir?
Não, pelo menos não da forma que evita erro repetido. A melhoria roda fora do ar: alguém revisa a conversa real, entende a causa, ajusta a config ou o portão de decisão, testa de novo — e só depois a mudança sobe. O agente não reescreve as próprias regras sozinho enquanto conversa com um cliente.
Como saber se um erro do agente é grave ou é só um deslize sem importância?
Pelo tipo de dano: se o agente afirmou preço, prazo ou promessa que a empresa não confirmou, é grave. Se foi só um jeito de escrever mais seco ou mais longo do que o ideal, é ajuste de tom, não de segurança.
Um erro do agente sempre chega até o cliente final?
Não necessariamente. Parte é pega antes, no teste com roleplay que roda contra configurações novas antes de irem pro tráfego real — foi assim que o defeito de condução descrito no caso acima foi achado e corrigido, antes de qualquer lead real receber aquela conversa.
Vale a pena ter um humano revisando toda conversa da IA, sempre?
Revisar toda conversa em tempo real não escala e não é o ponto. O que funciona é supervisão por amostragem de conversas reais mais teste estruturado antes de qualquer mudança de config ir ao ar.
Isso serve só pra agente de atendimento, ou vale pra qualquer automação de IA?
Vale pra qualquer automação que toma decisão repetida com base em texto interpretado. O princípio é sempre o mesmo: quando um erro se repete pelo mesmo motivo, a correção que dura é tirar aquela decisão do texto solto e prender numa regra que o sistema obedece sempre.