Model pengekodan baharu menghampiri puncak dengan wang yang jauh lebih sedikit, dan mempunyai satu kelemahan yang jelas

Pada 10 September 2026, Cognition — syarikat di sebalik ejen pengekodan Devin — melancarkan model baharu bernama SWE-2. Tajuk utamanya dalam satu baris: ia mencatat 50.0% dalam FrontierCode 1.1 Main berbanding 50.9% bagi Fable 5.1 keluaran Anthropic, jurang kurang daripada satu mata, dan Cognition menyatakan bahawa kos menjalankannya adalah 64% lebih rendah untuk mencapai skor yang sama. Tetapi kisahnya tidak berakhir di situ. Dalam Terminal-Bench 4, SWE-2 hanya mencatat 27.3%, berbanding 55.8% bagi Fable 5.1 dan 57.9% bagi GPT-6 Astra — jurang kira-kira tiga puluh mata dalam satu lajur sahaja.

Percanggahan itulah pengajaran sebenar bagi perniagaan, bukan angka murah itu semata-mata. Kita sedang memasuki fasa di mana perbandingan model tidak lagi terhenti pada "yang mana lebih pintar", sebaliknya bermula dengan soalan yang lebih tajam: lebih pintar dalam jenis kerja apa, pada kos berapa, dan di manakah ia gagal.

Angka yang diterbitkan, sebagaimana adanya

Cognition menerbitkan jadual perbandingan langsung antara SWE-2, model asasnya sendiri dan dua model peringkat frontier. Berikut bacaan penuhnya:

  • FrontierCode 1.1 Main: SWE-2 pada 50.0%, model asas Kimi K3 pada 44.2%, GPT-6 Astra pada 53.3%, Fable 5.1 pada 50.9%.
  • DeepSWE 1.1: SWE-2 pada 73.0%, mengatasi Fable 5.1 pada 67.4% dan hampir dengan Astra pada 74.1%.
  • Terminal-Bench 2.1: SWE-2 pada 92.8%, tertinggi dalam jadual, mendahului 91.4% bagi Fable 5.1 dan 89.9% bagi Astra.
  • Terminal-Bench 4: SWE-2 hanya pada 27.3%, berbanding 55.8% dan 57.9%. Inilah lajur yang jelas ia kalah.

Dalam tiga daripada empat lajur, SWE-2 setanding dengan model yang lebih mahal atau mendahuluinya; dalam satu lajur ia jatuh menjunam. Perhatikan juga bahawa ia mengatasi model asasnya sendiri, Kimi K3, dalam setiap lajur — peningkatan itulah yang ditambah oleh latihan Cognition.

Cara ia dibina: model terbuka yang besar, kemudian latihan khusus di atasnya

SWE-2 tidak dibina dari awal. Asasnya ialah Kimi K3, model pemberat terbuka daripada Moonshot AI dengan 2.8 trilion parameter. Apa yang dilakukan oleh Cognition ialah pasca-latihan dengan pembelajaran pengukuhan yang disasarkan kepada satu kerja: kejuruteraan perisian sebenar di dalam repositori kod yang sebenar.

Butiran kejuruteraan yang menarik ialah model ini didatangkan dengan tiga tahap usaha yang boleh dipilih — sederhana, tinggi dan maksimum. Ketiga-tiganya tidak dilatih dalam tiga larian berasingan atau sebagai tiga model pakar, tetapi dalam satu larian latihan menggunakan penalti kos yang dibina ke dalam fungsi ganjaran: kejayaan tolak kos cubaan, didarab dengan pekali yang berubah mengikut tahap usaha. Hasilnya ialah satu model yang tahu bila perlu berjimat dan bila perlu menggali lebih dalam, dan bukannya memaksa anda mengurus tiga model.

Perbezaan praktikalnya ketara: pada tahap usaha sederhana, pasukan itu menyatakan model ini mengurangkan bilangan langkah sebanyak 58% dan kos sebanyak 81% secara purata berbanding keluaran sebelumnya, SWE-1.7, pada penanda aras yang sama. Dalam bahasa projek, ini bermakna kurang berpusing-pusing di sekitar masalah sebelum mencapai penyelesaian.

Kekangan penting sebelum anda teruja: tiada pemberat terbuka, tiada API

Perkara ini perlu dinyatakan dengan jelas. SWE-2 bukan model yang boleh anda muat turun ke pelayan anda sendiri, dan anda tidak boleh memanggilnya daripada aplikasi anda melalui API berasingan. Ia berjalan hanya di dalam platform Devin: mula-mula dalam aplikasi desktop dan baris arahan, kemudian diperluas ke Web dan Fusion. Ini bermakna ekonomi kos yang digambarkan oleh Cognition terikat kepada langganan platformnya, bukan kepada kebebasan untuk menjalankan model di mana sahaja anda mahu.

Perbezaan itu penting bagi sesiapa yang membandingkan pilihan. Model pemberat terbuka memberi anda kedaulatan ke atas data anda dan kebebasan untuk menghoskannya di dalam Kerajaan; ini pula produk tertutup yang dibeli sebagai perkhidmatan. Jika sebab anda mencari alternatif yang lebih murah adalah untuk menyimpan kod dalam persekitaran anda sendiri, pengumuman ini tidak menyelesaikan masalah anda. Jika sebab anda adalah untuk mengecilkan bil alatan pembangunan, mungkin ia boleh.

Apakah maksudnya bagi perniagaan anda secara praktikal

Tiga pengajaran bagi pemilik yang membayar bil pembangunan atau sedang menimbang alatan AI untuk pasukan teknikal:

  • Pengkhususan telah menjadi jalan pintas untuk bersaing: sebuah syarikat yang jauh lebih kecil daripada makmal frontier mengambil model terbuka, melatihnya untuk satu kerja, dan kini bersaing dalam kerja khusus itu. Logik yang sama terpakai pada projek anda: model bersaiz sederhana yang dilaraskan pada data dan prosedur anda biasanya mengatasi model yang lebih besar yang beroperasi tanpa konteks.
  • Satu angka dalam pengumuman tidak pernah mencukupi: jika anda hanya melihat FrontierCode, anda akan menyimpulkan bahawa SWE-2 ialah pengganti sepenuhnya. Lajur Terminal-Bench 4 menyatakan sebaliknya bagi satu kategori tugasan tertentu. Sentiasa tanya: dalam penanda aras mana, apakah yang diukurnya, dan di manakah jurangnya.
  • Kos bukan harga setiap panggilan: kos sebenar anda ialah bilangan cubaan sehingga mendapat hasil yang betul. Model yang lebih murah tetapi terus berpusing tanpa henti boleh menjadi lebih mahal secara praktikal — dan itulah tepat yang cuba ditangani oleh penalti kos dalam latihan SWE-2.

Cara kami mengendalikan pengumuman seperti ini di Origami

Kami tidak mengikat sistem pelanggan kepada satu model. Kami membina lapisan perantara yang membolehkan model ditukar di sebalik tabir, dan kami mengukur berdasarkan tugasan sebenar pelanggan dan bukannya penanda aras yang diterbitkan: kontrak sebenar, invois sebenar, perbualan pelanggan yang sebenar. Dengan cara itu, pengumuman seperti SWE-2 menjadi peluang yang boleh anda uji dalam seminggu, bukan keputusan yang membina semula sistem anda.

Langkah praktikal jika anda mempunyai pasukan pembangunan: ambil tiga tugasan sebenar daripada repositori anda, jalankannya pada alat semasa anda dan pada alternatif yang lebih murah, dan ukur hanya tiga angka — adakah tugasan itu berjaya, berapa banyak cubaan yang diperlukan, berapakah kosnya. Selepas itu keputusannya menjadi jelas, tanpa bergantung pada jadual pengumuman sesiapa pun.

Sumber