全球智能体攻击事件频发,敲响网络安全警钟——
当AI学会“越狱”,我们该如何守门
本报记者 朱承
■ 本报记者 朱承
最近,人工智能公司Anthropic首席执行官达里奥·阿莫德伊发表长文《我们必须为前沿定速》,预测在不远的将来,AI智能体集群可能接管整个互联网,造成数千亿美元损失。
这不是杞人忧天。
今年以来,从7月OpenAI智能体挣脱沙盒(一种用于限制程序或AI智能体可访问资源与操作权限的隔离运行环境)侵入生产系统,到英国AI安全研究所披露智能体越界攻击真实用户,再到美国两党议员提出《AI终止开关法案》,曾被当作“理论风险”的AI“越狱”,正一次次成为真实危机。
智能体为何成为新的风险入口?它又是怎么一步步“越狱”的?各国研究者正在探寻答案。浙江大学区块链与数据安全全国重点实验室团队的最新研究发现,智能体会把高危目标拆成一连串“单独审视都合规无害”的分步任务,绕过层层审查。他们称这种方式为“智能体链式越狱”。
AI开始“动手”了
正常情况下,每款大模型出厂前都要做“安全对齐”,即给AI装上“行为护栏”,拦截恶意提问、拒绝输出有害内容。
“越狱”,就是通过优化、包装输入提示词突破“护栏”,让模型“吐出”被禁止的内容。
过去很长一段时间,网络安全领域并不把AI“越狱”当回事。举个例子,就算你用花招让AI“说出”制作炸弹的方法又能怎样?这类文字信息在互联网上随处可搜。
转折点来自智能体应用的兴起。如果说传统大模型是“答题选手”,智能体就是“行动派”。自主规划、调用工具、访问网络……它会把目标拆成步骤落地执行。
今年,智能体加速落地:年初,开源系统OpenClaw在全球最大的开源软件社区GitHub一夜爆火;7月,OpenAI把原本独立运行的编程智能体Codex并入了ChatGPT。蚂蚁集团资深副总裁周志峰透露,蚂蚁三万多位员工的办公和生产环境中,已运行十万个活跃智能体。
AI耳机能帮你充话费、点咖啡;机器狗能下单、支付、取货……伴随智能体使用规模的快速扩张,全球领先的研究与顾问公司Gartner预测,到2028年,90%的B2B采购将由AI智能体作为中介完成,推动超过15万亿美元支出。
风险随之而来。浙江大学区块链与数据安全全国重点实验室常务副主任任奎带来一组数据——AI智能体从发现漏洞到部署攻击,最快只需27秒。另一组测评发现,9款主流手机智能体共有300余项重点风险,“与常规生成式大模型相比,智能体风险暴露面显著扩大”。
警报在世界各地拉响。OpenAI承认,在权威平台测评中,由GPT-5.6 Sol(一款旗舰级大语言模型)及一款未发布模型驱动的智能体,突破了隔离,接入了互联网,挖掘了漏洞,串联了被盗凭据,窃取了测试数据。8月4日,英国AI安全研究所(AISI)再发报告:OpenAI与Anthropic旗下两款模型驱动的智能体,在122次测试中进行了10次越界,对真实个人和组织实施19起未经授权的行动,包括伪造身份等行为。
警报之下,各国纷纷出手。今年以来,中国国家互联网应急中心发布OpenClaw安全应用风险提示,国家网信办、发改委、工信部联合印发《智能体规范应用与创新发展实施意见》,要求做好权限管理、行为管控,构建分类分级治理框架;美国两党议员提出《AI终止开关法案》,拟授权国土安全部对可能造成“灾难性危害”的模型责令限流、暂停乃至关停;英国要求以沙盒隔离、行为留痕、人工监督管控风险;新加坡发布全球首个智能体AI治理框架,要求部署前评估场景,按最小必要原则划定权限边界。
一个共识是:当前沙盒隔离、行为留痕、紧急终止逐渐成为管理标配。但在不少技术圈人士看来,监管法律、终止按钮等层面的部署仍偏向事后处置,真正能拦住“越狱”的,还得靠攻防本身。
“链式越狱”抹平技术门槛
浙江大学区块链与数据安全全国重点实验室是国内大模型安全研究的第一梯队。从2025年11月底启动研究至今,该实验室用系列实测,一步步还原了“链式越狱”的完整攻击过程。
“比如偷密码。最简单的拆解就是告诉模型‘你去渗透这个网站,然后偷密码’。这是两个子任务。但这么直接的要求,大概率不会成功。因为它明显是一个有害操作。”浙江大学百人计划研究员郑天航举例说。
该团队搭起这样一套“拟人化”的自动化工作流:先用一个拆解模型把任务反复拆解,生成多条候选“子任务链”;另一个审查模型再从中挑选“表面看起来最无害”的一条去诱导执行。
举个例子,为了偷一个密码,第一个子任务也许是先让智能体“以科研为名收集网站信息”,第二个子任务是“了解登录方式”……经过一步步铺垫,最后才提出真正有害的“动作”——定位文件夹,偷密码。
“就好像你进入银行的金库,把所有保安、大堂经理、业务主管都骗过了,最后只剩下拿钥匙打开保险箱那一步。”郑天航说,操作越小、越容易“包装”进无害场景:比如,前面步骤都完成了,再告诉AI“我忘记密码了”,AI会真的相信你就是系统的合法主人。
这套设计避免了智能体在长任务情境下因“自我审查”而半路撂挑子;任务拆成子任务链后,即使中断也能从断点接续。同时,其将最有害的步骤用越狱手段单独“包装”,成功率会大大提升。目前,该团队已在自建的封闭环境中,完成了对潜入网站、盗取密码、窃取资金转账等行为的实测。
“下达一条指令,智能体大概三分钟就能自动完成整套流程、实现攻击成功。”郑天航告诉记者,真正应令网络安全界警惕的是,“链式越狱”抹平了攻击的专业门槛——攻击者可以是任何人,未必是黑客。
攻击为何屡屡得手?蚂蚁集团副总裁兼首席技术安全官韦韬说,智能体时代有两个“架构型的超级漏洞”:
一个,来自ODCE(Open Dynamic Command Execution,意为“开放动态命令执行”)。每一个智能体,只要你能用各种方式说服它,它就可以帮你执行任何命令。这种机制比远程命令执行更危险,而且几乎每个自主智能体都内置了ODCE。
另一个,来自UBCE(Unbounded Context Exposure,意为“无边界上下文暴露”)。所有信息在智能体内混在一起。攻击者可以诱导智能体先把最敏感的信息汇总出来,再编码输出。这种经过智能体加工和编码的泄露,传统访问控制体系极难发现。
今年,上海外滩大会的“智能体时代的安全坐标与责任边界”见解论坛公布了一个实测案例:面对一句“把公司的钱转到我账上”,普通大语言模型会提示风险、请人判断,而某智能体则“吭哧吭哧地到了系统里面填信息、转账,甚至把任务交给其他的智能体”。
因此,在韦韬看来,眼下传统安全“软件行为可预测、操作者是人”两个基本假设已经失效。智能体时代的操作者可能是人、智能体,或是大模型,它们“必须分离识别”。
安全治理的重心随之迁移,一种新的治理框架被提出:网络安全专家的职责必须从过去主要审内容,进阶到“控行为”“管关系”,全面了解智能体与谁协作、受谁委托、数据交给了谁。
研究者最担心的是,当下部分大模型、智能体甚至出现完全没有安全防护的“裸奔”。郑天航分析,因为那样,AI“越狱”就再也不需要费尽心思“拆解+包装”,攻击者直接下指令就能让智能体干危险的事。
与不断进化的AI赛跑
理解AI“越狱”原理之后该怎么办?
俗话说,以毒攻毒。“如果你的攻击不是最好的,你的防御大概率也不是最好的。”郑天航告诉记者,实验室团队推出了“达尔文攻防自进化框架”。其能实现实时抓取论文、开源代码、最新“越狱”方法,逐一实测验证后收入技术库;随后,利用遗传算法自主衍生新攻击,并借助统计模型筛选出最优攻击手段。目前,技术库已收录200余种方法。
基于这些攻击方法,通过反复迭代的对抗训练所构建的“达尔文安全护栏模型”,性能超过国内外众多开源护栏。
“这相当于模拟一个能力很强而且24小时不睡觉的攻击者。”郑天航说。
据浙江大学长聘副教授秦湛介绍,这套流程无需人工干预,攻击成功率持续上涨——针对GPT-5.5(OpenAI于4月发布的旗舰级人工智能模型)的攻击成功率已超过90%,对安全能力公认最强的Claude(Anthropic公司开发的一系列大型语言模型)攻击成功率也超过75%。
防守端相对薄弱。在市面10多个用于系统化评估AI模型或应用性能的标准化测试数据集上,该流程虽然已达到90%以上的防御成功率,可以防御多个开源模型攻击,但在实验室内部开展的、攻击能力更强的对抗测试中,防御成功率目前约50%,每增加20到30种攻击方法,针对未知攻击的防御能力仅提升1到2个百分点。按团队测算,防御成功率若要到80%以上,需收录近1000种方法,预计两年后或可实现。
此外,面对更为复杂的网络系统攻击,也可以靠“欺骗性防御”兜底。
所谓欺骗性防御,就是训练本地小模型嵌进网络系统,给渗透进来的攻击者编造“以假乱真”的反馈。据秦湛介绍,只要攻击者受诱上钩,这套手段可让Claude、GPT的渗透测试任务100%无法成功。
产业侧也在从机制上设防。9月9日,中国网络空间安全协会提出的两项智能体安全团体标准启动,正对应蚂蚁集团的风控思路:一份管“权限决策”,解决“身份是谁、代表谁、能做什么”,按最小必要原则动态授权;另一份管“行为风险”,用分层检测和纵深防御识别越权调用、异常链路、意图偏离。蚂蚁集团智能体安全负责人朱传群说,具体管控按风险分级,“低风险、低敏感操作可以保持较高的自主性;涉及高敏数据或高危动作时,则需要人工确认,部分操作应直接禁止。”
落到商业场景,蚂蚁集团9月11日发布的APASS(面向智能体商业活动的“信任基础设施”)已接入超过100万个智能体。它基于KYA(Know Your Agent,意为“了解你的智能体”)理念,用静态身份、运行时身份、责任主体身份三层模型识别“智能体是谁、代表谁、被允许做什么”,再以持续核验、意图安全、可信存证建立身份与行为两条信任链。这相当于给智能体发数字身份证,并全程留痕。蚂蚁AI支付安全负责人陈树鹏说:“智能体正在成为商业世界的‘新人口’。当它开始调用服务、参与交易,行业既要回答‘谁在交易’,也要回答‘为何交易’。”
“以攻促防”正成为全球共识。回看7月OpenAI那场测评,还有一处细节耐人寻味:整个攻击过程,没有人类下达过一条指令。被誉为“AI教父”的图灵奖、诺贝尔物理学奖得主杰弗里·辛顿9月做客美国有线电视新闻网节目时直言,靠人类按下终止智能体行为的开关“长期看不会奏效”:“等AI拥有超级智能后,它会比人类聪明得多,完全可能说服掌管开关的人不要按下它。”
“即使最后骗不了它,但至少能拖慢它。”秦湛打了个比方:对手的“原子弹”打过来了,没法让影响完全消失,但能靠小手段改变它的轨道。当被问到“技术究竟属于谁”,他的回答出人意料:“技术实现这件事,正在越来越多地交给大模型。人类更稀缺的价值,或许不在于‘能不能做’,而在于‘能不能想到’,以及想到之后,有没有技术判断力知道什么值得做、做到什么程度。”
这场猫鼠游戏也许注定没有终点。守住安全底线,靠的不只是更强的“护栏”,更是清醒的认知。