Jawapan ringkasnya: demo yang berjaya tidak membuktikan apa-apa tentang kebolehpercayaan ejen AI, kerana soalan yang betul bukanlah sama ada ia menyiapkan tugasan sekali, tetapi sama ada ia menyiapkannya dengan betul setiap kali. Dalam kajian yang diterbitkan oleh Microsoft pada 20 Ogos 2026, model terkuat mencatat skor 65,36% apabila setiap tugasan dijalankan sekali, namun lulus kesemua dua puluh cubaan bagi 25,25% tugasan sahaja. Jurang itu tepat sekali merupakan jarak antara ejen yang membuat anda kagum dalam mesyuarat dengan ejen yang boleh anda amanahkan data pelanggan.

Apa yang sebenarnya dibina oleh Microsoft

Alat ini dinamakan Thinkingbox, iaitu persekitaran pengujian sumber terbuka yang dikeluarkan di bawah lesen MIT di GitHub. Ideanya mudah dan bijak: daripada menyambungkan alat terus kepada ejen, anda mentakrifkannya sebagai pelayan yang serasi dengan MCP, menjalankan ejen di dalam sesi terasing dengan pangkalan data sokongannya sendiri, dan merekodkan jejak pelaksanaan sepenuhnya.

Perkara utamanya terletak pada cara ia menilai. Rangka kerja ini tidak membaca apa yang dikatakan oleh ejen telah dilakukannya; ia menyemak apa yang benar-benar berubah dalam pangkalan data sebaik sahaja tugasan tamat. Perbezaan ini bukan perincian teknikal. Ejen sangat mahir menulis ringkasan yang meyakinkan tentang kerja yang tidak pernah berlaku, dan sebarang penilaian berdasarkan transkrip perbualan mengukur kualiti penulisan, bukan kualiti pelaksanaan.

Di atas persekitaran itu, pasukan tersebut membina penanda aras bernama Thinkingbox-bench yang mengandungi 507 aliran kerja bersyarat polisi merentasi lima domain: runcit dan e-dagang, pelancongan dan hospitaliti, insurans kenderaan, sokongan IT dalaman di sebuah neobank, serta sokongan IT dan sumber manusia di sebuah firma perundingan. Setiap tugasan dijalankan dua puluh kali pada dua belas model, sama ada proprietari mahupun pemberat terbuka.

Mengapa angka itu penting bagi pemilik perniagaan

Bayangkan anda menyerahkan tugas memproses permintaan pemulangan di kedai anda kepada sebuah ejen. Kadar kejayaan 65% kelihatan boleh diterima di atas kertas. Dari segi operasi, ia bermakna satu pertiga permintaan berakhir dengan hasil yang salah: bayaran balik dikeluarkan dua kali, pesanan ditutup tanpa memulangkan stok ke inventori, atau pengecualian diberikan kepada pelanggan yang tidak dibenarkan oleh polisi anda.

Lebih teruk lagi, kegagalan dalam kajian ini bukanlah ranap sistem yang jelas. Kertas itu secara terang menyatakan bahawa banyak kegagalan berakhir dengan kemas dan mengambil langkah yang kelihatan sah, sedangkan keadaan akhir sistem tetap salah. Tiada mesej ralat, tiada henti, tiada apa-apa yang menyala pada papan pemuka pemantauan. Hanya log yang kelihatan biasa dan data yang secara senyap telah menjadi salah.

Kegagalan yang menghentikan sistem memang menjengkelkan tetapi kelihatan. Kegagalan yang menyelesaikan aliran dan meninggalkan data anda salah ialah yang benar-benar merugikan anda, kerana anda hanya menemuinya sebulan kemudian semasa penyesuaian akaun.

Ini juga menjelaskan punca kekecewaan yang biasa. Projek rintis lulus kerana ia menjalankan tugasan sekali dengan data yang bersih. Operasi sebenar ialah tugasan yang sama ribuan kali di atas keadaan terkumpul yang bercelaru, dan di situlah perbezaan antara 65% dan 25% terserlah.

Apa yang perlu dilakukan sebelum menggunakan mana-mana ejen

  • Tuntut larian berulang, bukan satu demo. Jadikan dua puluh larian berturut-turut bagi tugasan yang sama dengan data yang sama sebagai kriteria penerimaan anda. Vendor yang menolak sedang memberitahu anda sesuatu.
  • Ukur keadaan data, bukan teks jawapan. Tentukan terlebih dahulu bagaimana rekod dalam pangkalan data anda sepatutnya kelihatan selepas tugasan, dan bandingkan realiti dengannya. Jangan berpuas hati dengan membaca ringkasan ejen itu sendiri.
  • Uji polisi, bukan hanya tugasan mudah. Kebanyakan kerja anda tidak bersifat terbuka; ia dikekang oleh peraturan: tempoh pemulangan, had kredit, pengecualian untuk pelanggan keutamaan. Ejen yang berjaya tanpa kekangan boleh tumbang pada syarat sebenar yang pertama.
  • Bina set ujian daripada kes anda sendiri. Ambil dua puluh kes sebenar dari beberapa bulan kebelakangan ini, termasuk kes pelik yang mengelirukan kakitangan anda, dan jadikannya suite ujian tetap yang anda jalankan pada mana-mana model sebelum menggunakannya dan selepas setiap kemas kini.
  • Berikan kuasa secara berperingkat. Mulakan dengan ejen yang mencadangkan tetapi tidak melaksanakan, kemudian biarkan ia melakukan operasi berimpak rendah, lalu luaskan skopnya apabila rekod pengukuran yang sebenar terkumpul. Kuasa perlu diperoleh dengan data, bukan dengan tanggapan.

Cara kami mengendalikannya di Origami

Apabila kami membina sistem yang merangkumi ejen AI, kami melayan ejen itu seperti mana-mana komponen perisian lain: ia mendapat suite ujian automatik, semakan pengesahan yang memeriksa keadaan pangkalan data selepas setiap operasi, dan titik penyerahan yang jelas kepada manusia apabila ambang keyakinan dilepasi. Model itu sendiri kekal sebagai tetapan yang boleh ditukar, bukan sesuatu yang dikimpal ke dalam kod, kerana model terbaik hari ini mungkin bukan yang terbaik tiga bulan dari sekarang.

Kesimpulan yang wajar diambil daripada kajian ini bukanlah bahawa ejen tidak boleh digunakan. Sebaliknya, kayu ukur yang kita gunakan untuk menilai mereka selama ini adalah salah. Ejen hari ini merupakan alat yang berkuasa dalam skop yang ditakrifkan dengan baik dan diukur secara berterusan, dan sangat lemah apabila proses yang sensitif diserahkan kepadanya hanya berdasarkan demo yang meyakinkan. Perbezaannya bukan pada model; ia terletak pada disiplin kejuruteraan di sekelilingnya.

Sumber