एक नया कोडिंग मॉडल बहुत कम पैसे में शीर्ष के करीब पहुँचता है, और उसमें एक साफ़ कमी है

10 सितंबर 2026 को, Devin कोडिंग एजेंट के पीछे की कंपनी Cognition ने SWE-2 नाम का एक नया मॉडल जारी किया। एक पंक्ति में मुख्य बात: इसने FrontierCode 1.1 Main पर Anthropic के Fable 5.1 के 50.9% के मुकाबले 50.0% स्कोर किया, यानी एक अंक से भी कम का अंतर, और Cognition का कहना है कि उसी स्कोर तक पहुँचने के लिए इसे चलाने की लागत 64% कम है। लेकिन कहानी यहीं खत्म नहीं होती। Terminal-Bench 4 पर SWE-2 ने केवल 27.3% स्कोर किया, जबकि Fable 5.1 ने 55.8% और GPT-6 Astra ने 57.9% — एक ही कॉलम में लगभग तीस अंकों का अंतर।

व्यवसायों के लिए असली सबक यही विरोधाभास है, अकेला सस्ता आँकड़ा नहीं। हम एक ऐसे दौर में प्रवेश कर रहे हैं जहाँ मॉडलों की तुलना "कौन ज़्यादा स्मार्ट है" पर नहीं रुकती, बल्कि एक ज़्यादा सटीक सवाल से शुरू होती है: किस तरह के काम में ज़्यादा स्मार्ट, किस लागत पर, और कहाँ यह नाकाम होता है।

प्रकाशित आँकड़े, जैसे हैं वैसे

Cognition ने SWE-2, अपने बेस मॉडल और दो फ्रंटियर-स्तर के मॉडलों के बीच सीधी तुलना की एक तालिका प्रकाशित की। यह रहा पूरा विवरण:

  • FrontierCode 1.1 Main: SWE-2 का 50.0%, बेस मॉडल Kimi K3 का 44.2%, GPT-6 Astra का 53.3%, Fable 5.1 का 50.9%।
  • DeepSWE 1.1: SWE-2 का 73.0%, जो Fable 5.1 के 67.4% से ऊपर और Astra के 74.1% के करीब है।
  • Terminal-Bench 2.1: SWE-2 का 92.8%, तालिका में सबसे ऊँचा, Fable 5.1 के 91.4% और Astra के 89.9% से आगे।
  • Terminal-Bench 4: SWE-2 का केवल 27.3%, जबकि अन्य के 55.8% और 57.9%। यही वह कॉलम है जिसमें यह साफ़ तौर पर हारता है।

चार में से तीन कॉलमों में SWE-2 महंगे मॉडलों के बराबर या उनसे आगे खड़ा है; एक कॉलम में यह खाई में गिर जाता है। यह भी ध्यान दें कि इसने हर कॉलम में अपने बेस, Kimi K3, को पीछे छोड़ा — यही सुधार ठीक वह है जो Cognition की ट्रेनिंग ने जोड़ा।

इसे कैसे बनाया गया: एक बड़ा ओपन मॉडल, फिर उसके ऊपर विशेष ट्रेनिंग

SWE-2 को शून्य से नहीं बनाया गया। इसका आधार Kimi K3 है, Moonshot AI का 2.8 ट्रिलियन पैरामीटर वाला ओपन-वेट्स मॉडल। Cognition ने एक ही काम को लक्ष्य बनाकर रीइन्फ़ोर्समेंट लर्निंग से पोस्ट-ट्रेनिंग की: असली कोड रिपॉज़िटरी के भीतर वास्तविक सॉफ़्टवेयर इंजीनियरिंग।

दिलचस्प इंजीनियरिंग पहलू यह है कि मॉडल तीन चुने जा सकने वाले प्रयास स्तरों के साथ आता है — मध्यम, उच्च और अधिकतम। इन्हें तीन अलग-अलग रन में या तीन विशेषज्ञ मॉडलों के रूप में ट्रेन नहीं किया गया, बल्कि एक ही ट्रेनिंग रन में, रिवॉर्ड फ़ंक्शन में बनी लागत पेनल्टी का उपयोग करके: सफलता में से प्रयास की लागत घटाई जाती है, जिसे प्रयास स्तर के साथ बदलने वाले एक गुणांक से गुणा किया जाता है। नतीजा एक ऐसा मॉडल है जो जानता है कि कब किफ़ायत करनी है और कब गहराई में जाना है, बजाय इसके कि आपको तीन मॉडल संभालने पड़ें।

व्यावहारिक अंतर ठोस है: टीम का कहना है कि मध्यम प्रयास स्तर पर, उसी बेंचमार्क पर पिछले SWE-1.7 रिलीज़ की तुलना में मॉडल चरणों की संख्या को 58% और लागत को औसतन 81% कम कर देता है। प्रोजेक्ट की भाषा में, इसका मतलब है समाधान तक पहुँचने से पहले समस्या के इर्द-गिर्द कम चक्कर लगाना।

उत्साहित होने से पहले अहम सीमा: न ओपन वेट्स, न API

यह बात साफ़ कहनी ज़रूरी है। SWE-2 कोई ऐसा मॉडल नहीं है जिसे आप अपने सर्वरों पर डाउनलोड कर सकें, और आप इसे किसी स्वतंत्र API के ज़रिए अपने एप्लिकेशन से कॉल नहीं कर सकते। यह केवल Devin प्लेटफ़ॉर्म के भीतर चलता है: पहले डेस्कटॉप ऐप और कमांड लाइन में, फिर Web और Fusion तक विस्तार के साथ। इसका मतलब है कि Cognition जिस लागत अर्थशास्त्र का वर्णन कर रही है, वह उसके प्लेटफ़ॉर्म की सदस्यता से जुड़ा है, न कि मॉडल को जहाँ चाहें वहाँ चलाने की आज़ादी से।

विकल्पों की तुलना करने वाले हर व्यक्ति के लिए यह अंतर मायने रखता है। एक ओपन-वेट्स मॉडल आपको अपने डेटा पर संप्रभुता और उसे किंगडम के भीतर होस्ट करने की आज़ादी देता है; यह एक बंद प्रोडक्ट है जिसे सेवा के रूप में खरीदा जाता है। अगर सस्ता विकल्प खोजने का आपका कारण कोड को अपने ही वातावरण में रखना था, तो यह घोषणा आपकी समस्या हल नहीं करती। अगर आपका कारण डेवलपमेंट-टूलिंग का बिल घटाना था, तो शायद कर दे।

व्यवहार में आपके व्यवसाय के लिए इसका क्या मतलब है

डेवलपमेंट का बिल चुकाने वाले या तकनीकी टीम के लिए AI टूल्स पर विचार कर रहे मालिक के लिए तीन सीख:

  • विशेषज्ञता प्रतिस्पर्धा का शॉर्टकट बन गई है: फ्रंटियर लैब्स से कहीं छोटी एक कंपनी ने एक ओपन मॉडल लिया, उसे एक ही काम पर ट्रेन किया, और अब वह उसी खास काम में प्रतिस्पर्धा कर रही है। यही तर्क आपके प्रोजेक्ट पर भी लागू होता है: आपके डेटा और आपकी प्रक्रियाओं पर ट्यून किया गया मध्यम आकार का मॉडल आमतौर पर बिना संदर्भ के काम करने वाले बड़े मॉडल से बेहतर प्रदर्शन करता है।
  • किसी घोषणा में एक आँकड़ा कभी काफ़ी नहीं होता: अगर आप केवल FrontierCode देखते, तो निष्कर्ष निकालते कि SWE-2 पूरा विकल्प है। Terminal-Bench 4 कॉलम कामों की एक खास श्रेणी के लिए इसका उल्टा कहता है। हमेशा पूछें: किस बेंचमार्क पर, वह क्या मापता है, और अंतर कहाँ है।
  • लागत प्रति कॉल की कीमत नहीं है: आपकी असली लागत सही नतीजे तक पहुँचने में लगे प्रयासों की संख्या है। एक सस्ता मॉडल जो लगातार चक्कर काटता रहे, व्यवहार में ज़्यादा महंगा पड़ सकता है — और SWE-2 की ट्रेनिंग में लागत पेनल्टी ठीक इसी समस्या को हल करने की कोशिश करती है।

Origami में हम ऐसी घोषणाओं को कैसे संभालते हैं

हम क्लाइंट सिस्टम को किसी एक मॉडल से नहीं बाँधते। हम एक मध्यवर्ती परत बनाते हैं जिससे पर्दे के पीछे मॉडल बदला जा सके, और हम प्रकाशित बेंचमार्क के बजाय क्लाइंट के असली कामों पर मापते हैं: असली अनुबंध, असली इनवॉइस, असली ग्राहक बातचीत। इस तरह SWE-2 जैसी घोषणा एक ऐसा अवसर बन जाती है जिसे आप एक हफ़्ते में परख सकते हैं, न कि ऐसा फ़ैसला जो आपके सिस्टम को दोबारा बनाए।

अगर आपके पास डेवलपमेंट टीम है तो व्यावहारिक कदम: अपनी रिपॉज़िटरी से तीन असली काम लें, उन्हें अपने मौजूदा टूल और सस्ते विकल्प पर चलाएँ, और केवल तीन आँकड़े मापें — क्या काम सफल हुआ, उसमें कितने प्रयास लगे, उसकी लागत कितनी आई। उसके बाद फ़ैसला साफ़ हो जाता है, किसी की घोषणा तालिका पर निर्भर हुए बिना।

स्रोत

  • Cognition की आधिकारिक SWE-2 घोषणा और बेंचमार्क तालिका: cognition.com/blog/swe-2
  • Moonshot AI — ओपन-वेट्स बेस मॉडल Kimi K3: moonshotai.github.io