如何保护企业免受人工智能风险？结合最新警告的实用建议

保护企业免受人工智能风险，可以从七个步骤入手：了解企业中运行的每一个 AI 工具和智能体；为每个智能体单独设立账户，并给予尽可能少的权限；在任何付款、删除或向客户发送消息之前要求人工批准；不让客户数据进入未经批准的工具；在几天内为面向互联网的系统打上补丁；通过第二渠道核实涉及资金的请求；并核查保险的保障范围。这些步骤源自 2026 年 10 月的一系列警告：微软呼吁企业把智能体当作可能出错或被操纵的内部人员来对待；两个 PHP2Shell 漏洞（其中一个由 AI 模型发现）在公开披露 5 天后被列入在野利用漏洞清单；Anthropic 的 IPO 招股书则警告，其模型的行为可能并非任何用户或开发者的本意。

最新的警告有哪些？为什么与您的企业相关？

不到一个月内，构建 AI 模型的公司本身和政府网络安全机构都相继发出了警告。以下是其中最主要的几项，按发布时间排列：

这些警告的共同点在于，AI 从两个方向抬高了风险：一是外部，因为攻击者如今能更快地发现和利用漏洞；二是内部，即当某个工具或智能体获得了超出需要的权限时。牵头应对 PHP 漏洞联盟的 OpenAI 称这些漏洞是近期影响最大的安全问题之一，并表示“同样的能力也可能帮助攻击者迅速开发进攻工具和漏洞利用代码”。该公司预计类似的发现“将在未来几个月急剧增加”。Anthropic 的 IPO 招股书还补充说，“恶意行为者已经利用 AI 的能力发现漏洞、生成恶意软件并规避检测工具，实施了引人注目的网络攻击”。

如何保护您的企业？7 条实用建议

1. 了解企业中运行的每一个 AI 工具和智能体。微软说得很直白：“看不见的东西，就无法保护。”微软已扩展其工具，可检测员工设备上运行的 60 种智能体，其中包括 Claude Code、OpenAI Codex 和 GitHub Copilot，因为有些智能体是在没有任何集中部署的情况下进入设备的。先建立一张表格：列出每个工具、谁在使用、它能接触哪些数据、账户是个人账户还是企业账户，以及由谁负责。这张表格也正是SDAIA 国家人工智能风险管理框架的起点。
2. 为每个智能体单独设立账户，并给予尽可能少的权限。微软举的例子是一个审核报销申请的智能体：它需要读取申请和公司政策，但不应继承设置它的那名员工的全部权限。微软建议，智能体在开始时不具备任何权限，只获得任务所需的权限，且只在任务持续期间有效；影响较大的操作则必须经过可验证的人工批准。具体做法是：不要把智能体连接到管理者的账户，不要把公司的银行密码交给它，把读取权限和写入权限分开，删除代码和配置中那些为它打开过多权限的被遗忘的密钥，并保留随时立即停止它的手段。微软首席执行官萨提亚·纳德拉这样总结：“最值得信赖的智能体系统，不会是我们最信任其模型的那个系统，而是经过设计、让我们可以最少地信任模型的那个系统。”
3. 不要让智能体在未经审核的情况下，根据它在邮件、文件或网页中读到的内容采取行动。Anthropic 的 IPO 招股书将提示注入（prompt injection）定义为一种攻击：把恶意指令嵌入模型需要处理的内容中，例如网站、文档或工具输出，以操纵模型的行为，而用户通常毫不知情。一个能读取客户邮件、又能转账、删除或发送内容的智能体，可能会执行攻击者写在某封邮件里的命令。微软也描述了同样的场景：报销智能体可能在外部文档中遇到提示注入，即使配置没有任何变化，它的行为也会改变。请确保任何让资金或数据流出公司的步骤都必须经过员工批准，尤其是在智能体读取了外部内容之后。我们在一打开项目就执行攻击者命令的编程智能体身上也看到了同样的风险。
4. 不要让客户数据进入未经批准的工具。根据OpenAI 帮助中心，OpenAI 默认不会使用 ChatGPT Business、ChatGPT Enterprise 或其 API 的输入和输出来改进模型；而 Free、Plus 和 Pro 等个人套餐的内容可能被用于训练，除非用户在设置中关闭。Anthropic 表示，默认不会用其商业产品（如 Claude for Work 和其 API）的输入来训练模型。因此，请统一使用企业账户，并书面告知员工哪些内容绝不能输入任何工具：客户个人数据、合同和密码。如果您把客户的个人数据输入某个 AI 工具，工具提供商就是在代表您处理这些数据；沙特《个人数据保护法》（PDPL）实施条例第17条要求您选择能提供充分保障的数据处理方，并签订协议，明确处理的目的和期限，以及处理方在发生任何泄露时通知您的义务。如果泄露可能损害相关个人，第24条要求您在获知后 72 小时内通知主管机关。
5. 在几天而不是几周内为面向互联网的系统打补丁。Fortinet 表示，AI 工具如今能帮助攻击者对补丁进行逆向分析，并“在数小时或数天内而不是数周内”构造出可用的漏洞利用代码，而且“从披露到被利用之间的时间窗口仍在不断缩短”。Anthropic 则表示，漏洞利用代码如今可以在几分钟内开发出来。正因如此，针对 PHP2Shell 漏洞，CISA 提出了明确的步骤：清点所有运行 PHP 的系统；立即打补丁，从面向互联网的系统开始；无法更新的系统在更新之前先下线；同时指出 Web 应用防火墙（WAF）在此期间可以提供一定的保护。沙特国家网络安全局（NCA）也发布了警报，建议更新受影响的产品。请把同样的规则用于每一个暴露在外的系统：网站、防火墙、VPN 和电子邮件。详细内容见我们关于PHP2Shell 漏洞、新的 Linux 漏洞和FortiGate 防火墙的文章。
6. 通过第二渠道核实任何涉及资金或数据的请求。在关于深度伪造的宣传活动中，SDAIA 与通信、航天和技术委员会（CST）指出，“在视频中看到某人或听到其声音，并不能证明他说过那些话”，并把经济损失和诈骗、突破验证系统以及身份盗用列为相关风险。因此，即使声音听起来像是管理者本人，也绝不要仅凭一通电话、一条语音消息或一段视频就转账或发送数据。请拨打您已有的号码回电确认，并对超过您设定限额的每一笔转账要求两个签名。我们在关于深度伪造和 AI 欺诈的文章中介绍了各层防护，并在币安被黑事件的教训中说明了如何堵住每一条未经您签字就能转走公司资金的途径。
7. 核查保险的保障范围，以及供应商合同的约定。Anthropic 的 IPO 招股书写道：“由于我们的模型可能以任何用户或开发者都未曾预期的方式行事，由此类行为引起的索赔可能导致重大责任。”招股书还补充说，其保险可能无法提供足够的保障，并且“针对人工智能特有风险的保险市场尚处于起步和演变阶段”。既然构建模型的公司尚且如此，请书面询问您的保险公司：保单是否涵盖由 AI 智能体造成的数据泄露，或利用克隆语音进行的欺诈转账？同时询问每一家工具供应商：您的数据存储在哪里、保留多长时间，以及发生事件时何时通知您。

沙特主管机构怎么说？

对于任何使用 AI 的沙特企业，有三个参考依据十分重要：

• SDAIA 发布了国家人工智能风险管理框架，作为政府和私营机构的指导性参考；我们已经介绍过该框架的四个阶段，以及您的企业如何应用。
• 国家网络安全局（NCA） 将其人工智能网络安全指南草案公开征求意见，并把 2026 年 8月5日定为反馈截止日期。草案以 4 个领域为基础：网络安全治理、网络安全防御、网络安全韧性以及第三方网络安全，覆盖生成式 AI 和智能体 AI。
• 《个人数据保护法》（PDPL） 约束所有处理个人数据的企业，包括上文提到的其实施条例第17条和第24条。更多内容见我们的该法实用指南。

前 30 天的计划是什么？

Origami 的观点

我们并不认为这些警告意味着应该在企业中关掉 AI，而是应该在清晰的边界内使用它。微软自己也说，目标不是让模型的每一个动作都可预测，而是建立“即使模型不安全，系统仍然安全”的体系。Origami 会以有限的权限、审批步骤和清晰的日志，把 AI 功能和智能体集成到企业系统中；审查借助 AI 工具编写的代码并修补其中的漏洞；并更新面向互联网的服务器和应用。联系我们，一起审查您的工具和智能体。

要点总结

• 2026 年 10 月的警告表明，AI 加快了漏洞的发现和利用，智能体可能出错或被操纵，模型的行为也可能并非任何人的本意。
• 了解您的工具和智能体，给每个智能体最少的权限，并在涉及资金和敏感操作的步骤之前要求人工批准。
• 使用默认不以您的数据训练模型的企业账户，不让客户数据进入未经批准的工具。
• 在几天内为暴露在外的系统打补丁，通过第二渠道核实资金请求，并审查您的保险和供应商合同。

资料来源

• 微软：智能体是您最新的内部人员，2026 年 10月19日
• OpenAI：Patch the Planet，协调应对 PHP 严重漏洞
• CISA：PHP 严重漏洞需要立即修补
• 沙特国家网络安全局（NCA）：PHP 警报
• Fortinet：多款产品的安全加固版本
• Anthropic：面向开源软件的自愿加入式漏洞发现服务，2026 年 10月8日
• Anthropic：借助 Claude 发现和利用漏洞，2026 年 10月27日
• Anthropic：向美国证券交易委员会（SEC）提交的 S-1 注册声明
• 沙特通讯社（SPA）：SDAIA 发布国家人工智能风险管理框架
• 沙特国家网络安全局（NCA）：人工智能网络安全指南征求意见
• SDAIA 与 CST：深度伪造与虚假视频
• SDAIA：《个人数据保护法》实施条例
• OpenAI：您的数据如何被用于提升模型性能
• Anthropic：我的数据会被用于模型训练吗？