Model coding baru mendekati puncak dengan biaya jauh lebih murah, dan punya satu celah yang jelas

Pada 10 September 2026, Cognition — perusahaan di balik agen coding Devin — merilis model baru bernama SWE-2. Intinya dalam satu kalimat: model ini mencetak 50,0% di FrontierCode 1.1 Main dibandingkan 50,9% milik Fable 5.1 dari Anthropic, selisih kurang dari satu poin, dan Cognition menyebut biaya menjalankannya 64% lebih rendah untuk mencapai skor yang sama. Namun ceritanya tidak berhenti di situ. Di Terminal-Bench 4, SWE-2 hanya mencetak 27,3%, dibandingkan 55,8% milik Fable 5.1 dan 57,9% milik GPT-6 Astra — selisih sekitar tiga puluh poin dalam satu kolom.

Kontradiksi itulah pelajaran sesungguhnya bagi bisnis, bukan angka murahnya semata. Kita memasuki fase di mana membandingkan model tidak lagi berhenti pada "mana yang lebih pintar", melainkan dimulai dari pertanyaan yang lebih tajam: lebih pintar dalam jenis pekerjaan apa, dengan biaya berapa, dan di mana ia gagal.

Angka yang dipublikasikan, apa adanya

Cognition menerbitkan tabel perbandingan langsung antara SWE-2, model dasarnya sendiri, dan dua model kelas frontier. Berikut pembacaan lengkapnya:

  • FrontierCode 1.1 Main: SWE-2 di 50,0%, model dasar Kimi K3 di 44,2%, GPT-6 Astra di 53,3%, Fable 5.1 di 50,9%.
  • DeepSWE 1.1: SWE-2 di 73,0%, di atas Fable 5.1 yang mencetak 67,4% dan mendekati Astra di 74,1%.
  • Terminal-Bench 2.1: SWE-2 di 92,8%, tertinggi di tabel, di depan 91,4% milik Fable 5.1 dan 89,9% milik Astra.
  • Terminal-Bench 4: SWE-2 hanya di 27,3%, dibandingkan 55,8% dan 57,9%. Inilah kolom yang jelas-jelas kalah.

Di tiga dari empat kolom, SWE-2 sejajar dengan model yang lebih mahal atau mengunggulinya; di satu kolom ia terjun bebas. Perhatikan juga bahwa ia mengalahkan model dasarnya sendiri, Kimi K3, di setiap kolom — peningkatan itulah yang ditambahkan oleh pelatihan Cognition.

Cara membangunnya: model terbuka berukuran besar, lalu pelatihan khusus di atasnya

SWE-2 tidak dibangun dari nol. Dasarnya adalah Kimi K3, model open-weights dari Moonshot AI dengan 2,8 triliun parameter. Yang dilakukan Cognition adalah post-training dengan reinforcement learning yang ditujukan untuk satu pekerjaan: rekayasa perangkat lunak nyata di dalam repositori kode yang sesungguhnya.

Detail teknis yang menarik adalah model ini hadir dengan tiga tingkat upaya yang bisa dipilih — menengah, tinggi, dan maksimum. Ketiganya tidak dilatih dalam tiga proses terpisah atau sebagai tiga model spesialis, melainkan dalam satu proses pelatihan menggunakan penalti biaya yang tertanam dalam fungsi reward: keberhasilan dikurangi biaya percobaan, dikalikan dengan koefisien yang berubah sesuai tingkat upaya. Hasilnya adalah satu model yang tahu kapan harus hemat dan kapan harus menggali lebih dalam, alih-alih memaksa Anda mengelola tiga model.

Perbedaan praktisnya nyata: pada tingkat upaya menengah, tim menyebut model ini memangkas jumlah langkah sebesar 58% dan biaya rata-rata sebesar 81% dibandingkan rilis sebelumnya, SWE-1.7, pada benchmark yang sama. Dalam bahasa proyek, artinya lebih sedikit berputar-putar di sekitar masalah sebelum mencapai solusi.

Batasan penting sebelum Anda bersemangat: tanpa bobot terbuka, tanpa API

Hal ini perlu dikatakan dengan jelas. SWE-2 bukan model yang bisa Anda unduh ke server sendiri, dan Anda tidak bisa memanggilnya dari aplikasi Anda melalui API mandiri. Model ini berjalan hanya di dalam platform Devin: pertama di aplikasi desktop dan baris perintah, lalu diperluas ke Web dan Fusion. Artinya, ekonomi biaya yang digambarkan Cognition terikat pada berlangganan platformnya, bukan pada kebebasan menjalankan model di mana pun Anda mau.

Perbedaan ini penting bagi siapa pun yang sedang membandingkan pilihan. Model open-weights memberi Anda kedaulatan atas data dan kebebasan untuk meng-host-nya di dalam Kerajaan; ini adalah produk tertutup yang dibeli sebagai layanan. Jika alasan Anda mencari alternatif yang lebih murah adalah menjaga kode tetap di lingkungan sendiri, pengumuman ini tidak menyelesaikan masalah Anda. Jika alasan Anda adalah memangkas tagihan perangkat pengembangan, mungkin bisa.

Apa artinya bagi bisnis Anda dalam praktik

Tiga pelajaran bagi pemilik bisnis yang membayar tagihan pengembangan atau sedang menimbang alat AI untuk tim teknis:

  • Spesialisasi telah menjadi jalan pintas untuk bersaing: sebuah perusahaan yang jauh lebih kecil daripada laboratorium frontier mengambil model terbuka, melatihnya untuk satu pekerjaan, dan kini bersaing di pekerjaan spesifik itu. Logika yang sama berlaku untuk proyek Anda: model berukuran menengah yang disesuaikan dengan data dan prosedur Anda biasanya mengalahkan model yang lebih besar yang bekerja tanpa konteks.
  • Satu angka dalam pengumuman tidak pernah cukup: jika hanya melihat FrontierCode, Anda akan menyimpulkan SWE-2 adalah pengganti penuh. Kolom Terminal-Bench 4 mengatakan sebaliknya untuk kategori tugas tertentu. Selalu tanyakan: di benchmark mana, apa yang diukurnya, dan di mana selisihnya.
  • Biaya bukan harga per panggilan: biaya nyata Anda adalah jumlah percobaan sampai mendapatkan hasil yang benar. Model yang lebih murah tetapi terus berputar-putar tanpa akhir bisa lebih mahal dalam praktik — dan itulah persis yang coba diatasi oleh penalti biaya dalam pelatihan SWE-2.

Cara kami menangani pengumuman seperti ini di Origami

Kami tidak mengikat sistem klien pada satu model. Kami membangun lapisan perantara yang memungkinkan model diganti di balik layar, dan kami mengukur berdasarkan tugas nyata klien, bukan benchmark yang dipublikasikan: kontrak nyata, faktur nyata, percakapan pelanggan yang nyata. Dengan begitu, pengumuman seperti SWE-2 menjadi peluang yang bisa Anda uji dalam seminggu, bukan keputusan yang membangun ulang sistem Anda.

Langkah praktis jika Anda memiliki tim pengembangan: ambil tiga tugas nyata dari repositori Anda, jalankan di alat Anda saat ini dan di alternatif yang lebih murah, lalu ukur hanya tiga angka — apakah tugasnya berhasil, berapa kali percobaan yang dibutuhkan, berapa biayanya. Setelah itu keputusannya menjadi jelas, tanpa bergantung pada tabel pengumuman siapa pun.

Sumber