ایک نیا کوڈنگ ماڈل بہت کم پیسوں میں چوٹی کے قریب پہنچ جاتا ہے، اور اس میں ایک واضح خامی ہے

10 ستمبر 2026 کو Cognition — جو Devin کوڈنگ ایجنٹ کے پیچھے کی کمپنی ہے — نے SWE-2 نام کا ایک نیا ماڈل جاری کیا۔ ایک سطر میں سرخی: اس نے FrontierCode 1.1 Main پر Anthropic کے Fable 5.1 کے 50.9% کے مقابلے میں 50.0% اسکور کیا، یعنی ایک پوائنٹ سے بھی کم کا فرق، اور Cognition کا کہنا ہے کہ اسی اسکور تک پہنچنے کے لیے اسے چلانے کی لاگت 64% کم ہے۔ لیکن کہانی یہیں ختم نہیں ہوتی۔ Terminal-Bench 4 پر SWE-2 نے صرف 27.3% اسکور کیا، جبکہ Fable 5.1 نے 55.8% اور GPT-6 Astra نے 57.9% — ایک ہی کالم میں تقریباً تیس پوائنٹس کا فرق۔

کاروباروں کے لیے اصل سبق یہی تضاد ہے، اکیلا سستا عدد نہیں۔ ہم ایک ایسے مرحلے میں داخل ہو رہے ہیں جہاں ماڈلز کا موازنہ "کون زیادہ ذہین ہے" پر نہیں رکتا بلکہ ایک زیادہ واضح سوال سے شروع ہوتا ہے: کس قسم کے کام میں زیادہ ذہین، کس لاگت پر، اور کہاں یہ ناکام ہو جاتا ہے۔

شائع شدہ اعداد، جیسے ہیں ویسے

Cognition نے SWE-2، اپنے بیس ماڈل اور دو فرنٹیئر سطح کے ماڈلز کے درمیان براہ راست موازنے کی ایک جدول شائع کی۔ یہ رہا مکمل جائزہ:

  • FrontierCode 1.1 Main: SWE-2 کا 50.0%، بیس ماڈل Kimi K3 کا 44.2%، GPT-6 Astra کا 53.3%، Fable 5.1 کا 50.9%۔
  • DeepSWE 1.1: SWE-2 کا 73.0%، جو Fable 5.1 کے 67.4% سے اوپر اور Astra کے 74.1% کے قریب ہے۔
  • Terminal-Bench 2.1: SWE-2 کا 92.8%، جدول میں سب سے زیادہ، Fable 5.1 کے 91.4% اور Astra کے 89.9% سے آگے۔
  • Terminal-Bench 4: SWE-2 کا صرف 27.3%، جبکہ دوسروں کے 55.8% اور 57.9%۔ یہی وہ کالم ہے جس میں یہ واضح طور پر ہارتا ہے۔

چار میں سے تین کالموں میں SWE-2 مہنگے ماڈلز کے برابر یا ان سے آگے کھڑا ہے؛ ایک کالم میں یہ کھائی میں گر جاتا ہے۔ یہ بھی دیکھیں کہ اس نے ہر کالم میں اپنے بیس، Kimi K3، کو پیچھے چھوڑا — یہی بہتری بالکل وہ ہے جو Cognition کی ٹریننگ نے شامل کی۔

اسے کیسے بنایا گیا: ایک بڑا اوپن ماڈل، پھر اس کے اوپر خصوصی ٹریننگ

SWE-2 کو صفر سے نہیں بنایا گیا۔ اس کی بنیاد Kimi K3 ہے، جو Moonshot AI کا 2.8 ٹریلین پیرامیٹرز والا اوپن ویٹس ماڈل ہے۔ Cognition نے ایک ہی کام کو ہدف بنا کر ری انفورسمنٹ لرننگ کے ذریعے پوسٹ ٹریننگ کی: حقیقی کوڈ ریپوزٹریز کے اندر حقیقی سافٹ ویئر انجینئرنگ۔

دلچسپ انجینئرنگ پہلو یہ ہے کہ ماڈل تین قابلِ انتخاب محنت کی سطحوں کے ساتھ آتا ہے — درمیانی، اونچی اور زیادہ سے زیادہ۔ انہیں تین الگ رنز میں یا تین ماہر ماڈلز کے طور پر ٹرین نہیں کیا گیا، بلکہ ایک ہی ٹریننگ رن میں، انعامی فنکشن میں شامل لاگت کی سزا کے ذریعے: کامیابی میں سے کوشش کی لاگت منفی کی جاتی ہے، جسے ایک ایسے عددی ضریب سے ضرب دیا جاتا ہے جو محنت کی سطح کے ساتھ بدلتا ہے۔ نتیجہ ایک ایسا ماڈل ہے جو جانتا ہے کہ کب کفایت کرنی ہے اور کب گہرائی میں جانا ہے، بجائے اس کے کہ آپ کو تین ماڈلز سنبھالنے پڑیں۔

عملی فرق ٹھوس ہے: ٹیم کا کہنا ہے کہ درمیانی محنت کی سطح پر، اسی بینچ مارک پر پچھلے SWE-1.7 ریلیز کے مقابلے میں ماڈل مراحل کی تعداد کو 58% اور لاگت کو اوسطاً 81% کم کر دیتا ہے۔ پروجیکٹ کی زبان میں اس کا مطلب ہے حل تک پہنچنے سے پہلے مسئلے کے گرد کم چکر لگانا۔

پُرجوش ہونے سے پہلے اہم پابندی: نہ اوپن ویٹس، نہ API

یہ بات صاف کہنا ضروری ہے۔ SWE-2 کوئی ایسا ماڈل نہیں جسے آپ اپنے سرورز پر ڈاؤن لوڈ کر سکیں، اور آپ اسے کسی الگ API کے ذریعے اپنی ایپلیکیشن سے کال نہیں کر سکتے۔ یہ صرف Devin پلیٹ فارم کے اندر چلتا ہے: پہلے ڈیسک ٹاپ ایپ اور کمانڈ لائن میں، پھر Web اور Fusion تک توسیع کے ساتھ۔ اس کا مطلب ہے کہ Cognition جس لاگت کی معاشیات کو بیان کر رہی ہے وہ اس کے پلیٹ فارم کی سبسکرپشن سے جڑی ہے، نہ کہ ماڈل کو جہاں چاہیں چلانے کی آزادی سے۔

یہ فرق اختیارات کا موازنہ کرنے والے ہر شخص کے لیے اہم ہے۔ ایک اوپن ویٹس ماڈل آپ کو اپنے ڈیٹا پر خود مختاری اور اسے مملکت کے اندر ہوسٹ کرنے کی آزادی دیتا ہے؛ یہ ایک بند پروڈکٹ ہے جو بطور سروس خریدی جاتی ہے۔ اگر سستا متبادل تلاش کرنے کی آپ کی وجہ کوڈ کو اپنے ہی ماحول میں رکھنا تھی تو یہ اعلان آپ کا مسئلہ حل نہیں کرتا۔ اگر آپ کی وجہ ڈیولپمنٹ ٹولز کا بل کم کرنا تھی تو شاید کر دے۔

عملی طور پر آپ کے کاروبار کے لیے اس کا کیا مطلب ہے

ڈیولپمنٹ کا بل ادا کرنے والے یا تکنیکی ٹیم کے لیے AI ٹولز پر غور کرنے والے مالک کے لیے تین نتائج:

  • تخصص مقابلے کا شارٹ کٹ بن گیا ہے: فرنٹیئر لیبز سے کہیں چھوٹی ایک کمپنی نے ایک اوپن ماڈل لیا، اسے ایک ہی کام پر ٹرین کیا، اور اب وہ اسی مخصوص کام میں مقابلہ کر رہی ہے۔ یہی منطق آپ کے پروجیکٹ پر بھی لاگو ہوتی ہے: آپ کے ڈیٹا اور آپ کے طریقۂ کار پر ٹیون کیا گیا درمیانے سائز کا ماڈل عام طور پر بغیر سیاق و سباق کے کام کرنے والے بڑے ماڈل سے بہتر کارکردگی دکھاتا ہے۔
  • کسی اعلان میں ایک عدد کبھی کافی نہیں ہوتا: اگر آپ صرف FrontierCode دیکھتے تو یہ نتیجہ نکالتے کہ SWE-2 مکمل متبادل ہے۔ Terminal-Bench 4 کا کالم کاموں کی ایک مخصوص قسم کے لیے اس کا الٹ کہتا ہے۔ ہمیشہ پوچھیں: کس بینچ مارک پر، وہ کیا ناپتا ہے، اور فرق کہاں ہے۔
  • لاگت فی کال قیمت نہیں ہے: آپ کی اصل لاگت درست نتیجے تک پہنچنے کی کوششوں کی تعداد ہے۔ ایک سستا ماڈل جو مسلسل چکر کاٹتا رہے عملی طور پر زیادہ مہنگا پڑ سکتا ہے — اور SWE-2 کی ٹریننگ میں لاگت کی سزا بالکل اسی مسئلے کو حل کرنے کی کوشش کرتی ہے۔

Origami میں ہم ایسے اعلانات کو کیسے سنبھالتے ہیں

ہم کلائنٹ سسٹمز کو کسی ایک ماڈل سے نہیں باندھتے۔ ہم ایک درمیانی پرت بناتے ہیں جس سے پردے کے پیچھے ماڈل بدلا جا سکے، اور ہم شائع شدہ بینچ مارکس کے بجائے کلائنٹ کے حقیقی کاموں پر پیمائش کرتے ہیں: حقیقی معاہدے، حقیقی انوائسز، حقیقی کسٹمر گفتگو۔ اس طرح SWE-2 جیسا اعلان ایک ایسا موقع بن جاتا ہے جسے آپ ایک ہفتے میں آزما سکیں، نہ کہ ایسا فیصلہ جو آپ کا سسٹم دوبارہ بنائے۔

اگر آپ کے پاس ڈیولپمنٹ ٹیم ہے تو عملی قدم: اپنی ریپوزٹری سے تین حقیقی کام لیں، انہیں اپنے موجودہ ٹول اور سستے متبادل پر چلائیں، اور صرف تین اعداد ناپیں — کیا کام کامیاب ہوا، اسے کتنی کوششیں درکار ہوئیں، اس کی لاگت کتنی آئی۔ اس کے بعد فیصلہ واضح ہو جاتا ہے، کسی کی اعلانیہ جدول پر انحصار کیے بغیر۔

ذرائع