一款新的编程模型以低得多的价格逼近顶尖水平,但有一个明显短板

2026年9月10日,Devin编程智能体背后的公司Cognition发布了一款名为SWE-2的新模型。一句话概括:它在FrontierCode 1.1 Main上得分50.0%,对比Anthropic的Fable 5.1的50.9%,差距不到一分;Cognition表示,达到同样分数时运行它的成本要低64%。但故事并未就此结束。在Terminal-Bench 4上,SWE-2仅得27.3%,而Fable 5.1为55.8%,GPT-6 Astra为57.9%——仅在这一列就相差约三十分。

这种矛盾才是企业真正应该吸取的教训,而不仅仅是那个便宜的数字。我们正在进入这样一个阶段:比较模型不再止步于"哪个更聪明",而是从一个更尖锐的问题开始——在哪类工作上更聪明、成本是多少、在哪里会失灵。

已发布的数据,原样呈现

Cognition发布了一张直接对比表,涵盖SWE-2、其自身的基础模型以及两款前沿级模型。以下是完整解读:

  • FrontierCode 1.1 Main:SWE-2为50.0%,基础模型Kimi K3为44.2%,GPT-6 Astra为53.3%,Fable 5.1为50.9%。
  • DeepSWE 1.1:SWE-2为73.0%,高于Fable 5.1的67.4%,接近Astra的74.1%。
  • Terminal-Bench 2.1:SWE-2为92.8%,是表中最高分,领先Fable 5.1的91.4%和Astra的89.9%。
  • Terminal-Bench 4:SWE-2仅为27.3%,而对手分别为55.8%和57.9%。这是它明显落败的一列。

在四列中的三列里,SWE-2与更昂贵的模型持平或领先;而在其中一列,它断崖式下跌。还要注意,它在每一列都超过了自己的基础模型Kimi K3——这一提升正是Cognition的训练所带来的。

它是如何构建的:一个大型开放模型,再叠加专门训练

SWE-2并非从零构建。它的基础是Kimi K3,即Moonshot AI推出的拥有2.8万亿参数的开放权重模型。Cognition所做的是针对单一任务的强化学习后训练:在真实代码仓库中进行真正的软件工程。

有趣的工程细节在于,该模型提供三个可选的投入级别——中、高和最高。它们并不是分三次单独训练的,也不是三个专门模型,而是在一次训练中完成的,方法是在奖励函数中内置成本惩罚:成功减去尝试的成本,再乘以一个随投入级别变化的系数。结果是一个模型就知道何时该节省、何时该深挖,而不必让您管理三个模型。

实际差异是切实可见的:团队表示,在中等投入级别下,与上一版本SWE-1.7在同一基准测试上相比,该模型平均将步骤数量减少58%,成本降低81%。用项目语言来说,这意味着在找到解决方案之前,围绕问题打转的次数更少。

兴奋之前的重要限制:没有开放权重,没有API

这一点必须说清楚。SWE-2不是一个可以下载到您自有服务器上的模型,您也无法通过独立的API从自己的应用中调用它。它只能在Devin平台内运行:先是桌面应用和命令行,随后扩展到Web和Fusion。这意味着Cognition所描述的成本经济性与订阅其平台绑定,而不是让您可以随意在任何地方运行模型。

对于任何正在比较选项的人来说,这一区别都很重要。开放权重模型让您拥有数据主权,并可以自由地在王国境内托管;而这是一款以服务形式购买的封闭产品。如果您寻找更便宜替代方案的原因是将代码保留在自己的环境中,这一发布并不能解决您的问题。如果您的原因是降低开发工具的账单,它或许可以。

这对您的企业在实践中意味着什么

给支付开发费用或正在为技术团队评估AI工具的企业主的三点启示:

  • 专业化已成为参与竞争的捷径:一家规模远小于前沿实验室的公司拿来一个开放模型,针对单一任务进行训练,如今就在这项特定任务上参与竞争。同样的逻辑也适用于您的项目:一个根据您的数据和流程调优的中等规模模型,通常能胜过一个在没有上下文的情况下运行的更大模型。
  • 发布公告中的单一数字永远不够:如果只看FrontierCode,您会得出SWE-2可以完全替代的结论。而Terminal-Bench 4这一列对某一特定类别的任务却给出了相反的答案。务必要问:是哪个基准测试、它衡量什么、差距在哪里。
  • 成本不是每次调用的价格:您的真实成本是得到正确结果之前的尝试次数。一个不停打转的便宜模型在实践中可能更贵——这正是SWE-2训练中的成本惩罚试图解决的问题。

我们在Origami如何处理此类发布

我们不会把客户系统绑定在单一模型上。我们构建一个中间层,让模型可以在幕后替换;我们用客户的真实任务而非已发布的基准测试来衡量:真实的合同、真实的发票、真实的客户对话。这样,像SWE-2这样的发布就成了您可以在一周内测试的机会,而不是需要重建系统的决定。

如果您有开发团队,可以采取的实际步骤是:从您的代码仓库中选取三个真实任务,分别在现有工具和更便宜的替代方案上运行,只衡量三个数字——任务是否成功、需要多少次尝试、花费多少。之后,决策就一目了然,无需依赖任何人的发布对比表。

资料来源