2026 年 8 月 25 日,IBM 发布了 Granite 4.2:三款参数规模分别为 3B、8B 和 30B 的开源推理模型,以 Apache 2.0 许可发布在 Hugging Face、GitHub 和 Ollama 上。每个模型都带有思考开关,因此同一个检查点既可以逐步推理,也可以直接作答。它们原生支持 128K token 的上下文,并在包括阿拉伯语在内的十二种语言上进行了测试。对企业而言,实际要点很简短:这是一套称职的推理和工具调用能力,您可以下载它,在自己的基础设施内运行,并用于商业用途,没有许可门槛,也没有按 token 计费的账单。

IBM 实际发布了什么

Granite 4.2 是由三个稠密的纯解码器模型组成的系列。公布的规模为 3B、8B 和 30B。三者都在约 15 万亿个 token 上进行了预训练,并通过最后一个训练阶段扩展了可用上下文;IBM 列出的原生上下文为 128K token,针对长文档可扩展至 512K。许可为 Apache 2.0,允许下载、微调和商业生产使用,无需另行签订协议。

更有意思的是训练方式,而不是规模。IBM 在真实的沙盒环境中对 8B 和 30B 模型应用了智能体强化学习,模型在其中学习编辑代码、操作终端和执行搜索,而不仅仅是预测文档中的下一个 token。这就是该系列瞄准智能体工作的原因:工具调用、多步骤任务,以及需要模型真正去做某件事而不是去写这件事的工作流。

如实解读基准测试

IBM 报告称,30B 模型在 SWE-bench Verified 上得分 57.00,8B 得分 47.67;在 MMLU-Pro 上分别为 77.60 和 74.04。Terminal-Bench 2.1 的成绩为 29.24 和 20.56。对于这一规模的开源模型来说,这些成绩相当不错,但并非前沿水平。在最难的推理任务上,最大的闭源模型仍然领先。

值得停下来细看的是 8B 的成绩。这一级别的模型在真实的软件工程基准上拿到接近五十分的高四十分段,已足以胜任范围明确的内部自动化,而且它只需单块现代 GPU 就能运行。这种组合——足够好,又便宜到可以自己拥有——对中型企业的账本影响,远大于排行榜顶端两分的差距。

为什么开放权重在这里比在其他地方更重要

沙特企业受《个人数据保护法》约束,该法由 SDAIA 负责执行,对个人数据的处理、传输和披露方式规定了实实在在的义务。每当客户数据离开您的基础设施、进入第三方模型的 API,这一传输就成为您必须说明理由、形成记录并通过合同加以控制的事项。

一个由您掌握权重的模型改变了这种格局。推理在您控制的硬件上进行,在您定义的网络内运行,日志归您所有。这并不会免除您的义务——您仍然需要对客户做到正确处理、遵守保留期限并具备合法依据——但它从答案中去掉了一整类跨境传输问题。对于诊所、律师事务所、人力资源部门或任何处理薪资和身份数据的机构来说,这就是项目顺利通过审查与卡在审查中之间的区别。

第二个影响是成本结构。API 按 token 计费,因此一款成功的产品恰恰会随着增长而越来越贵。自托管模型则把这部分变成可以预先规划的固定基础设施成本。在一定用量以下,API 几乎总是更划算;超过这一用量,自有部署更划算。要知道自己处在哪一边,唯一的方法是测量真实的工作负载,而不是假设的工作负载。

思考开关,以及它为何是一项成本功能

大多数推理模型在回答之前都会花费 token 进行思考,而这些 token 正是昂贵的部分。Granite 4.2 提供了思考与非思考模式的开关,另外还有一个低投入模式,为简单问题只分配最少的推理。

在实践中,这与企业实际使用 AI 的方式高度契合。对收到的工单进行分类、从发票中提取一个字段,或回答一个常规的政策问题,都不需要深思熟虑;而核对供应商的差异或规划一次多步骤的数据修复则需要。能够在同一个已部署的模型上按每个请求做出这一选择,意味着您不必再为那百分之八十从来不需要推理的流量支付推理成本。

它真正适合的场景

在沙特企业中,自托管 8B 的现实用途包括:基于您自己的政策、合同和流程的内部助手,文档从不离开办公楼;在人工查看之前,对通过 WhatsApp 或电子邮件收到的咨询进行分类和分派;从发票、送货单和采购订单中提取结构化字段并导入您的 ERP;以及起草双语回复,由员工审核后再发送。阿拉伯语位列十二种经过测试的语言之中,这一点对后两项直接相关。

它无法替代的,是前沿模型在真正困难工作上的表现:复杂的法律推理、微妙的战略判断,或在陌生代码库中进行长周期编程。成熟的架构不是单一模型,而是一个路由器——小型本地模型处理大批量任务,大型托管模型处理少数困难任务——统一置于一个内部接口之后,这样随着模型进步,可以重新调整分工。

用一周时间评估它的方法

挑选一项团队已经在手工完成的、范围窄且重复性高的任务,收集五十个真实示例,并附上您认为正确的答案。先在笔记本电脑上通过 Ollama 运行 3B,只为查看输出的形式;然后在单块 GPU 上运行 8B,并用这五十个示例给它打分。衡量三件事:在您数据上的准确率、在预期并发量下的延迟,以及硬件的月度成本与通过 API 处理同等用量的成本对比。然后依据数字而不是印象做决定。

从第一天起,就让代码中的所有调用都经过同一个内部接口。如果评估表明目前托管 API 更划算,那么正是这个接口让您在六个月后可以通过修改配置而不是重写代码来重新审视这一决定。

结论

Granite 4.2 不会登上任何排行榜的榜首,而这也不是重点。重点在于,一家严肃的企业级供应商以 Apache 2.0 许可发布了能力出色、支持阿拉伯语、具备工具调用功能的推理模型,而且小到足以在您现有的硬件上运行。对您的企业来说,问题已经悄然从能否获得优秀的 AI,转变为希望它在哪里运行——这是一个关乎您的数据、合规态势和成本曲线的问题,而不是关乎基准测试的问题。

资料来源:IBM 于 2026 年 8 月 25 日在 Hugging Face IBM Granite 博客上发布的 Granite 4.2;关于许可、上下文和语言支持的 Granite 4.2 8B 模型卡;Granite 4.2 模型合集;以及 MarkTechPost 的报道。沙特数据义务依据沙特数据和人工智能管理局(SDAIA)。