Como avaliar seu chatbot de IA: guia prático de avaliação de LLM

Por que avaliar seu chatbot não é opcional

Hoje é fácil lançar um chatbot de IA; difícil é saber se ele é realmente bom. Modelos de linguagem são probabilísticos por natureza: a mesma pergunta pode gerar duas respostas diferentes, e "testei e parecia tudo bem" com meia dúzia de prompts não significa que ele esteja pronto para milhares de clientes. A avaliação é a forma sistemática de responder a uma pergunta: o bot faz o trabalho dele com precisão, segurança e consistência, antes de você lançá-lo e depois de cada mudança?

A regra é simples: você não consegue melhorar o que não mede. Sem um sistema de avaliação, cada ajuste de prompt ou atualização de modelo vira uma aposta em que você não sabe se melhorou algo ou se quebrou outra coisa sem perceber.

Passo zero: defina o que "sucesso" significa para você

Antes de qualquer métrica, responda: que tarefa o bot deve cumprir? Um bot de suporte tem sucesso quando resolve o problema ou o encaminha corretamente. Um bot de vendas tem sucesso quando qualifica o lead e coleta os dados certos. Um bot interno para funcionários tem sucesso quando responde com precisão e com base nas suas políticas. Vincule a avaliação a um objetivo de negócio, e não a uma vaga sensação de que a resposta soa bem.

Monte um "conjunto de dados de referência" (golden dataset)

A base de qualquer avaliação séria é um conjunto fixo de exemplos contra o qual você testa sempre. Reúna-o a partir de três fontes:

• Perguntas reais de registros de conversas reais (depois de remover os dados pessoais).
• Casos extremos: perguntas vagas, incompletas ou fora do escopo, ou em dialetos diferentes.
• Casos adversariais: tentativas de levar o bot além dos limites ou de vazar informações.

Comece com 50–100 exemplos que cubram seus cenários mais importantes, em vez de milhares de exemplos aleatórios. Para cada um, defina, na medida do possível, a resposta de referência ou o critério que torna uma resposta correta.

O que exatamente você mede? As dimensões principais

"Qualidade" é uma palavra vaga, então divida-a em dimensões mensuráveis:

• Sucesso da tarefa: o usuário realmente alcançou o objetivo? É a métrica mais importante e a mais próxima do valor de negócio.
• Fidelidade (sem alucinação): em sistemas baseados nas suas fontes (RAG), a resposta é construída apenas sobre os documentos recuperados ou o bot inventou algo?
• Relevância: a resposta trata de fato da pergunta do usuário ou só fica rodeando o assunto?
• Qualidade da recuperação: em RAG, o sistema puxou os trechos certos da sua base de conhecimento? (precisão e revocação do contexto). A maioria das falhas de RAG vem de uma recuperação ruim, não do modelo em si.
• Correção: a resposta bate com uma referência conhecida?
• Segurança e conformidade: ele recusa pedidos perigosos? Protege dados pessoais? Mantém o tom e as políticas da marca? Resiste a tentativas de jailbreak?
• Custo e latência: uma ótima resposta que leva 30 segundos ou custa caro demais por conversa pode ser um fracasso comercial. Sempre meça tokens e tempo.

Os três métodos de avaliação

1. Avaliação humana: o padrão-ouro de qualidade, mas lenta, cara e difícil de escalar. Use-a para construir sua referência e para calibrar os métodos automatizados.
2. LLM como juiz: você usa um modelo forte para pontuar as respostas do bot segundo uma rubrica clara, ou comparando duas respostas. Rápido e escalável, e a abordagem mais comum hoje, desde que você o calibre contra o julgamento humano e fique atento aos vieses dele (como favorecer a resposta mais longa).
3. Métricas automatizadas baseadas em referência: como correspondência exata para perguntas de resposta fechada, ou similaridade semântica via embeddings. Baratas e instantâneas, mas limitadas para respostas abertas.

Na prática: combine os três. Métricas automatizadas rápidas como primeira barreira, um LLM juiz para as dimensões qualitativas e uma revisão humana periódica de uma amostra.

Avaliação offline vs. online

Existem dois tipos complementares, e você precisa de ambos:

• Offline: você roda o bot contra seu conjunto de dados de referência a cada mudança, de preferência dentro de um pipeline de CI/CD, para que nenhuma atualização chegue à produção se as pontuações caírem. É o teste de regressão que impede você de quebrar o que já funcionava.
• Online: com usuários reais: testes A/B entre duas versões, um botão de feedback (👍/👎) e métricas de proteção (taxa de transferência para um atendente humano, perguntas repetidas, abandono da conversa). Monitore a produção continuamente, porque o comportamento real dos usuários revela o que nenhum conjunto de teste consegue.

Um fluxo prático para colocar a avaliação em marcha

1. Defina as 3–5 dimensões que realmente importam para você (por exemplo, sucesso da tarefa, fidelidade, segurança).
2. Monte um conjunto de referência pequeno, mas representativo (50–100 casos).
3. Escreva uma rubrica de pontuação clara para cada dimensão: o que vale nota 5 e o que vale nota 1.
4. Automatize a execução: um script que roda o bot sobre o conjunto e calcula as pontuações (humano + LLM juiz).
5. Coloque isso no pipeline de deploy: qualquer pontuação abaixo do limite bloqueia o lançamento.
6. Adicione um ciclo de produção: colete o feedback dos usuários e os casos que falharam, e continue adicionando-os ao seu conjunto de referência.

Erros comuns que tornam a avaliação inútil

• Testar só o caminho feliz e ignorar os casos extremos e adversariais.
• Um conjunto de teste pequeno demais ou que não representa seus usuários reais.
• Confiar em um LLM juiz sem calibrá-lo contra o julgamento humano.
• Ignorar custo e latência e focar apenas na qualidade.
• Avaliar uma única vez no lançamento em vez de transformar isso em um processo contínuo a cada atualização.

O valor não está em lançar um bot que conversa, e sim em ter um sistema que diga, em números, se ele ficou melhor ou pior depois de cada mudança.

Ferramentas que ajudam

Existem ferramentas de código aberto e comerciais que encurtam a construção de um pipeline de avaliação, entre elas: Ragas e DeepEval para sistemas RAG; LangSmith, Braintrust e Arize Phoenix para monitoramento e avaliação; e OpenAI Evals e promptfoo para escrever testes. Escolha a ferramenta que combina com a sua stack, mas lembre-se de que a metodologia importa mais do que a ferramenta.

O papel da Origami

Na Origami somos uma empresa de tecnologia que constrói sistemas de IA e os mede antes de entregá-los: projetamos um conjunto de dados de referência sob medida para o seu domínio, construímos um pipeline de avaliação automatizado integrado ao deploy e adicionamos um monitoramento em produção que detecta regressões cedo e mantém o custo sob controle. O objetivo é um bot em cujos números você possa confiar, e não apenas uma demonstração.

Fontes

• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., 2023): arxiv.org/abs/2306.05685
• Documentação do Ragas sobre métricas de avaliação de RAG (fidelidade, relevância, qualidade do contexto): docs.ragas.io
• Documentação de avaliação do LangSmith: docs.smith.langchain.com
• OpenAI Evals: github.com/openai/evals
• Orientações da Anthropic sobre como construir avaliações: docs.anthropic.com