In questo articolo
- Perché valutare il tuo chatbot non è facoltativo
- Passo zero: definisci cosa significa "successo" per te
- Costruisci un "dataset di riferimento" (golden dataset)
- Cosa misuri esattamente? Le dimensioni fondamentali
- I tre metodi di valutazione
- Valutazione offline vs. online
- Un flusso di lavoro pratico per avviare la valutazione
- Errori comuni che rendono inutile la valutazione
- Strumenti utili
- Il ruolo di Origami
- Fonti
Perché valutare il tuo chatbot non è facoltativo
Oggi lanciare un chatbot AI è facile; sapere se è davvero buono è la parte difficile. I modelli linguistici sono probabilistici per natura: la stessa domanda può produrre due risposte diverse, e "l'ho provato e sembrava andare bene" su una manciata di prompt non significa che sia pronto per migliaia di clienti. La valutazione è il modo sistematico per rispondere a una domanda: il bot fa il suo lavoro in modo accurato, sicuro e coerente, prima del rilascio e dopo ogni modifica?
La regola è semplice: non puoi migliorare ciò che non misuri. Senza un sistema di valutazione, ogni ritocco al prompt o aggiornamento del modello diventa una scommessa in cui non sai se hai migliorato qualcosa o se hai rotto silenziosamente qualcos'altro.
Passo zero: definisci cosa significa "successo" per te
Prima di qualsiasi metrica, rispondi a questa domanda: quale compito deve svolgere il bot? Un bot di assistenza ha successo quando risolve il problema o lo smista correttamente. Un bot di vendita ha successo quando qualifica il lead e raccoglie i dati giusti. Un bot interno per i dipendenti ha successo quando risponde con precisione e sulla base delle tue policy. Collega la valutazione a un obiettivo di business, non a una vaga sensazione che la risposta suoni bene.
Costruisci un "dataset di riferimento" (golden dataset)
La base di qualsiasi valutazione seria è un insieme fisso di esempi su cui testi ogni volta. Raccoglilo da tre fonti:
- Domande reali dai log effettivi delle chat (dopo aver rimosso i dati personali).
- Casi limite: domande vaghe, incomplete o fuori ambito, oppure in dialetti diversi.
- Casi avversariali: tentativi di spingere il bot oltre i suoi limiti o di fargli divulgare informazioni.
Inizia con 50–100 esempi che coprano gli scenari più importanti invece di migliaia di esempi casuali. Per ciascuno, definisci, per quanto possibile, la risposta di riferimento o il criterio che rende corretta una risposta.
Cosa misuri esattamente? Le dimensioni fondamentali
"Qualità" è una parola vaga, quindi scomponila in dimensioni misurabili:
- Successo del compito: l'utente ha davvero raggiunto il suo obiettivo? È la metrica più importante e la più vicina al valore di business.
- Fedeltà (nessuna allucinazione): nei sistemi basati sulle tue fonti (RAG), la risposta si fonda solo sui documenti recuperati o il bot si è inventato qualcosa?
- Pertinenza: la risposta affronta davvero la domanda dell'utente o gira solo intorno all'argomento?
- Qualità del recupero: nel RAG, il sistema ha estratto i passaggi giusti dalla tua base di conoscenza? (precisione e richiamo del contesto). La maggior parte dei fallimenti del RAG deriva da un recupero scadente, non dal modello in sé.
- Correttezza: la risposta corrisponde a un riferimento noto?
- Sicurezza e conformità: rifiuta le richieste pericolose? Protegge i dati personali? Mantiene il tono e le policy del brand? Resiste ai tentativi di jailbreak?
- Costi e latenza: un'ottima risposta che richiede 30 secondi o costa troppo per conversazione può essere un fallimento commerciale. Misura sempre token e tempi.
I tre metodi di valutazione
- Valutazione umana: lo standard di riferimento per la qualità, ma lenta, costosa e difficile da scalare. Usala per costruire il tuo riferimento e per calibrare i metodi automatizzati.
- LLM come giudice: usi un modello potente per assegnare un punteggio alle risposte del bot secondo una griglia chiara, oppure confrontando due risposte. Veloce e scalabile, ed è l'approccio più diffuso oggi, a patto di calibrarlo rispetto al giudizio umano e di tenere d'occhio i suoi bias (come preferire la risposta più lunga).
- Metriche automatiche basate su riferimenti: come la corrispondenza esatta per le domande a risposta chiusa, o la similarità semantica tramite embedding. Economiche e immediate, ma limitate per le risposte aperte.
In pratica: combina tutti e tre. Metriche automatiche rapide come prima barriera, un LLM giudice per le dimensioni qualitative e una revisione umana periodica su un campione.
Valutazione offline vs. online
Esistono due tipi complementari, e ti servono entrambi:
- Offline: esegui il bot sul tuo dataset di riferimento a ogni modifica, idealmente all'interno di una pipeline di CI/CD, così che nessun aggiornamento arrivi in produzione se i punteggi calano. È il test di regressione che ti impedisce di rompere ciò che già funzionava.
- Online: con utenti reali: test A/B tra due versioni, un pulsante di feedback (👍/👎) e metriche di controllo (tasso di passaggio a un operatore umano, domande ripetute, abbandono della conversazione). Monitora la produzione in modo continuo, perché il comportamento reale degli utenti rivela ciò che nessun set di test può mostrare.
Un flusso di lavoro pratico per avviare la valutazione
- Definisci le 3–5 dimensioni che contano davvero per te (ad esempio successo del compito, fedeltà, sicurezza).
- Costruisci un set di riferimento piccolo ma rappresentativo (50–100 casi).
- Scrivi una griglia di valutazione chiara per ogni dimensione: cosa merita un 5 e cosa merita un 1.
- Automatizza l'esecuzione: uno script che fa girare il bot sul set e calcola i punteggi (umano + LLM giudice).
- Inseriscilo nella pipeline di deployment: qualsiasi punteggio sotto la soglia blocca il rilascio.
- Aggiungi un ciclo di produzione: raccogli il feedback degli utenti e i casi falliti, e continua ad aggiungerli al tuo set di riferimento.
Errori comuni che rendono inutile la valutazione
- Testare solo il percorso ideale e ignorare i casi limite e avversariali.
- Un set di test troppo piccolo o non rappresentativo dei tuoi utenti reali.
- Affidarsi a un LLM giudice senza calibrarlo rispetto al giudizio umano.
- Ignorare costi e latenza e concentrarsi solo sulla qualità.
- Valutare una sola volta al lancio invece di farne un processo continuo a ogni aggiornamento.
Il valore non sta nel rilasciare un bot che parla, ma nel possedere un sistema che ti dica, in numeri, se è migliorato o peggiorato dopo ogni modifica.
Strumenti utili
Esistono strumenti open source e commerciali che accorciano la costruzione di una pipeline di valutazione, tra cui: Ragas e DeepEval per i sistemi RAG; LangSmith, Braintrust e Arize Phoenix per monitoraggio e valutazione; e OpenAI Evals e promptfoo per scrivere i test. Scegli lo strumento più adatto al tuo stack, ma ricorda che la metodologia conta più dello strumento.
Il ruolo di Origami
In Origami siamo un'azienda tecnologica che costruisce sistemi di AI e li misura prima di consegnarli: progettiamo un dataset di riferimento su misura per il tuo settore, costruiamo una pipeline di valutazione automatizzata collegata al deployment e aggiungiamo un monitoraggio in produzione che individua presto le regressioni e tiene sotto controllo i costi. L'obiettivo è un bot dei cui numeri ti puoi fidare, non solo una demo.
Fonti
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., 2023): arxiv.org/abs/2306.05685
- Documentazione di Ragas sulle metriche di valutazione del RAG (fedeltà, pertinenza, qualità del contesto): docs.ragas.io
- Documentazione di LangSmith sulla valutazione: docs.smith.langchain.com
- OpenAI Evals: github.com/openai/evals
- Indicazioni di Anthropic su come costruire valutazioni: docs.anthropic.com
Domande frequenti
Qual è la differenza tra valutazione offline e online?
La valutazione offline esegue il bot su un dataset di riferimento fisso a ogni modifica, idealmente nella tua pipeline di CI, per individuare le regressioni prima del rilascio. La valutazione online avviene con utenti reali tramite test A/B, pulsanti di feedback e metriche di controllo. Ti servono entrambe: quella offline ti protegge prima della pubblicazione, mentre quella online rivela ciò che solo l'uso reale fa emergere.
Quanti esempi mi servono nel set di test?
Inizia con 50 a 100 esempi ben scelti che coprano gli scenari più importanti e più rischiosi, non con migliaia di esempi casuali. Un set piccolo, rappresentativo e ben etichettato batte uno grande e rumoroso, e lo fai crescere nel tempo aggiungendo i fallimenti reali della produzione.
Posso affidarmi a un modello di AI perché valuti se stesso?
L'LLM come giudice è veloce, scalabile e molto diffuso, ma ha dei bias (come preferire le risposte più lunghe) e va calibrato rispetto al giudizio umano su un campione. Usalo per le dimensioni qualitative, mantieni una revisione umana periodica e non considerare mai il suo punteggio come verità assoluta senza verificarlo.
Da quale metrica dovrei iniziare?
Dal successo del compito, cioè se l'utente ha davvero raggiunto il suo obiettivo, perché è la più vicina al valore di business. Per i sistemi basati sui tuoi documenti (RAG), aggiungi la fedeltà per prevenire le allucinazioni, poi integra sicurezza, costi e latenza.
Con quale frequenza devo rifare la valutazione?
A ogni modifica significativa (una modifica al prompt, un aggiornamento del modello o un aggiornamento della base di conoscenza) e in modo continuo in produzione. La valutazione non è un controllo una tantum prima del lancio; è un processo continuo che ti dice se ogni modifica ha aiutato o peggiorato le cose.
Segua Origami su Google
Aggiunga Origami tra le fonti preferite e i nostri articoli le compariranno per primi nella Ricerca Google e nelle notizie principali.
