Mengapa Menilai Chatbot Anda Bukan Pilihan

Melancarkan chatbot AI kini mudah; bahagian yang sukar ialah mengetahui sama ada ia benar-benar bagus. Model bahasa bersifat kebarangkalian secara semula jadi: soalan yang sama boleh menghasilkan dua jawapan berbeza, dan "saya sudah mencubanya dan ia nampak baik" pada segelintir prompt tidak bermakna ia sedia untuk ribuan pelanggan. Penilaian ialah cara sistematik untuk menjawab satu soalan: adakah bot melakukan tugasnya dengan tepat, selamat dan konsisten — sebelum anda melancarkannya, dan selepas setiap perubahan?

Peraturannya mudah: anda tidak boleh menambah baik apa yang tidak anda ukur. Tanpa sistem penilaian, setiap pelarasan prompt atau naik taraf model menjadi pertaruhan di mana anda tidak tahu sama ada anda telah menambah baik sesuatu atau secara senyap merosakkan perkara lain.

Langkah Sifar: Tentukan Maksud "Kejayaan" bagi Anda

Sebelum sebarang metrik, jawab soalan ini: apakah tugasan yang sepatutnya dicapai oleh bot? Bot sokongan berjaya apabila ia menyelesaikan isu atau menghalakannya dengan betul. Bot jualan berjaya apabila ia melayakkan bakal pelanggan dan mengumpul data yang betul. Bot dalaman untuk pekerja berjaya apabila ia menjawab dengan tepat dan berasaskan dasar anda. Kaitkan penilaian dengan matlamat perniagaan, bukan dengan rasa samar bahawa jawapannya sedap dibaca.

Bina "Set Data Emas"

Asas kepada sebarang penilaian yang serius ialah satu set contoh tetap yang anda gunakan untuk menguji setiap kali. Kumpulkannya daripada tiga sumber:

  • Soalan sebenar daripada log perbualan sebenar (selepas data peribadi dibuang).
  • Kes pinggir: soalan yang kabur, tidak lengkap atau di luar skop, atau dalam dialek yang berbeza.
  • Kes adversarial: cubaan untuk menolak bot melepasi hadnya atau membocorkan maklumat.

Mulakan dengan 50–100 contoh yang meliputi senario paling penting anda dan bukannya ribuan contoh rawak. Bagi setiap contoh, tentukan — sejauh yang mungkin — jawapan rujukan atau kriteria yang menjadikan sesuatu respons itu betul.

Papan pemuka analitik dengan carta dan metrik prestasi, melambangkan pengukuran prestasi chatbot AI
Penilaian mengubah kualiti bot daripada gerak hati kepada angka yang boleh anda jejaki dan tambah baik.

Apakah Sebenarnya yang Anda Ukur? Dimensi Teras

"Kualiti" ialah perkataan yang kabur, jadi pecahkannya kepada dimensi yang boleh diukur:

  • Kejayaan tugasan: adakah pengguna benar-benar mencapai matlamatnya? Metrik paling penting dan paling hampir dengan nilai perniagaan.
  • Kesetiaan kepada sumber (tiada halusinasi): dalam sistem yang berasaskan sumber anda (RAG), adakah jawapan dibina hanya berdasarkan dokumen yang diambil, atau adakah bot mereka-reka sesuatu?
  • Kerelevanan: adakah jawapan benar-benar menjawab soalan pengguna, atau sekadar berlegar di sekitar topik?
  • Kualiti pengambilan: dalam RAG, adakah sistem menarik petikan yang betul daripada pangkalan pengetahuan anda? (ketepatan dan dapatan semula konteks). Kebanyakan kegagalan RAG berpunca daripada pengambilan yang lemah, bukan daripada model itu sendiri.
  • Ketepatan jawapan: adakah jawapan sepadan dengan rujukan yang diketahui?
  • Keselamatan dan pematuhan: adakah ia menolak permintaan berbahaya? Adakah ia melindungi data peribadi? Adakah ia mengekalkan nada dan dasar jenama? Adakah ia tahan terhadap cubaan jailbreak?
  • Kos dan kependaman: jawapan hebat yang mengambil masa 30 saat atau terlalu mahal bagi setiap perbualan boleh menjadi kegagalan komersial. Sentiasa ukur token dan masa.

Tiga Kaedah Penilaian

  1. Penilaian manusia: piawaian emas untuk kualiti, tetapi perlahan, mahal dan sukar diskalakan. Gunakannya untuk membina rujukan anda dan menentukur kaedah automatik.
  2. LLM sebagai hakim: anda menggunakan model yang kuat untuk memberi skor kepada jawapan bot berdasarkan rubrik yang jelas, atau dengan membandingkan dua jawapan. Pantas dan boleh diskalakan, serta pendekatan paling biasa hari ini — dengan syarat anda menentukurnya berbanding penilaian manusia dan berwaspada terhadap berat sebelahnya (seperti memihak kepada jawapan yang lebih panjang).
  3. Metrik automatik berasaskan rujukan: seperti padanan tepat untuk soalan berjawapan tertutup, atau persamaan semantik melalui embedding. Murah dan segera, tetapi terhad untuk jawapan terbuka.

Secara praktikal: gabungkan ketiga-tiganya. Metrik automatik yang pantas sebagai pengawal pertama, hakim LLM untuk dimensi kualitatif, dan semakan manusia berkala ke atas satu sampel.

Penilaian Luar Talian berbanding Dalam Talian

Terdapat dua jenis yang saling melengkapi, dan anda memerlukan kedua-duanya:

  • Luar talian: anda menjalankan bot terhadap set data emas anda pada setiap perubahan, sebaik-baiknya dalam saluran CI/CD supaya tiada kemas kini sampai ke pengeluaran jika skor menurun. Inilah ujian regresi yang menghalang anda daripada merosakkan apa yang sudah berfungsi.
  • Dalam talian: pada pengguna sebenar — ujian A/B antara dua versi, butang maklum balas (👍/👎), dan metrik pengawal (kadar penyerahan kepada manusia, soalan berulang, perbualan yang ditinggalkan). Pantau pengeluaran secara berterusan, kerana tingkah laku pengguna sebenar mendedahkan perkara yang tidak dapat ditunjukkan oleh mana-mana set ujian.

Aliran Kerja Praktikal untuk Memulakan Penilaian

  1. Tentukan 3–5 dimensi yang benar-benar penting kepada anda (contohnya kejayaan tugasan, kesetiaan kepada sumber, keselamatan).
  2. Bina set emas yang kecil tetapi mewakili (50–100 kes).
  3. Tulis rubrik pemarkahan yang jelas bagi setiap dimensi: apa yang layak mendapat 5 dan apa yang layak mendapat 1.
  4. Automasikan larian: skrip yang menjalankan bot ke atas set tersebut dan mengira skor (manusia + hakim LLM).
  5. Masukkannya ke dalam saluran pengerahan: sebarang skor di bawah ambang akan menyekat keluaran.
  6. Tambah gelung pengeluaran: kumpulkan maklum balas pengguna dan kes yang gagal, dan terus menambahkannya ke dalam set emas anda.

Kesilapan Biasa yang Menjadikan Penilaian Tidak Bernilai

  • Menguji laluan ideal sahaja dan mengabaikan kes pinggir serta kes adversarial.
  • Set ujian yang terlalu kecil atau tidak mewakili pengguna sebenar anda.
  • Bergantung pada hakim LLM tanpa menentukurnya berbanding penilaian manusia.
  • Mengabaikan kos dan kependaman serta memberi tumpuan kepada kualiti semata-mata.
  • Menilai sekali semasa pelancaran dan bukannya menjadikannya proses berterusan pada setiap kemas kini.
Nilainya bukan pada melancarkan bot yang boleh bercakap — tetapi pada memiliki sistem yang memberitahu anda, dalam angka, sama ada ia menjadi lebih baik atau lebih teruk selepas setiap perubahan.

Alat yang Membantu

Terdapat alat sumber terbuka dan komersial yang memendekkan usaha membina saluran penilaian, termasuk: Ragas dan DeepEval untuk sistem RAG; LangSmith, Braintrust dan Arize Phoenix untuk pemantauan dan penilaian; serta OpenAI Evals dan promptfoo untuk menulis ujian. Pilih alat yang sesuai dengan tindanan teknologi anda, tetapi ingat bahawa metodologi lebih penting daripada alat.

Peranan Origami

Di Origami, kami ialah syarikat teknologi yang membina sistem AI dan mengukurnya sebelum menyerahkannya: kami mereka bentuk set data emas yang disesuaikan dengan bidang anda, membina saluran penilaian automatik yang disambungkan kepada pengerahan, dan menambah pemantauan pengeluaran yang mengesan regresi lebih awal serta mengawal kos. Matlamatnya ialah bot yang angkanya boleh anda percayai, bukan sekadar demo.

Sumber

  • Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., 2023): arxiv.org/abs/2306.05685
  • Dokumentasi Ragas mengenai metrik penilaian RAG (kesetiaan kepada sumber, kerelevanan, kualiti konteks): docs.ragas.io
  • Dokumentasi penilaian LangSmith: docs.smith.langchain.com
  • OpenAI Evals: github.com/openai/evals
  • Panduan Anthropic mengenai membina penilaian: docs.anthropic.com