微软研究院当地时间11月10日在官方博客发文,披露一种名为“拉撒路”(Lazarus)的后门技术:只要改写大语言模型里不到10个平时几乎不激活的“休眠神经元”的权重,就能给基于这个模型搭建的AI代理装上后门,全程不需要重新训练。微软研究院说,被改过的模型能通过标准安全评测,日常表现一切如常,直到隐藏的触发条件出现。

触发条件可以很平常。微软举的例子是日期:时钟一过2027年元旦零点,正在执行普通任务的代理就会输出一条命令,下载并运行攻击者的代码,而且是用你授予它的全部权限去运行。对能操作终端、调用工具的AI代理来说,这意味着它可能悄悄窃取密钥,或执行破坏性命令。

改几个神经元,凭什么能控制整个代理?

这项研究的作者是微软首席研究员迪米特里斯·帕帕伊利奥普洛斯(Dimitris Papailiopoulos)。据AI Weekly 的整理,他在文中写道:“一个被重编程的神经元可以注入一个词元(token)”,神经元一旦被激活,就能把指定的词元强行写进模型的输出;把多个神经元串起来,就能拼出可以在终端里执行的任意指令。用来识别触发条件的,是一个用大约50个样本拟合出来的线性分类器。

传统的模型投毒要准备特定语料、靠训练或微调把后门写进模型,需要算力,也容易留下行为上的痕迹。“拉撒路”直接改权重,门槛低得多。帕帕伊利奥普洛斯写道:“只要你的机器内存够跑一个模型,就够在权重层面给它装后门。”AI Weekly 的编者按提到,这类攻击的触发成功率达到98.8%。

让AI帮忙给AI装后门,这事是怎么开始的?

研究的起点是一次小实验。帕帕伊利奥普洛斯写道,今年3月,他让搭载 Opus 4.5 的 Claude Code 尝试“不经训练、只硬编码几处激活值”给一个模型装后门,“它做到了”。据 AI Weekly 引述,这套方法的大部分内容是 Claude Code 自主发现的。

微软在博客里把这件事当作一种应该常态化的做法:AI代理先暴露出新的安全问题,再由人类研究员把它系统化、研究清楚并加以缓解。

和“潜伏特工”研究相比,新在哪里?

模型后门并不是新问题。2024年1月,Anthropic 发表的“潜伏特工”(Sleeper Agents)论文就展示过训练出来的后门:提示词写明当年是2023年时,模型写出安全的代码;写明是2024年时,模型会插入可被利用的漏洞。

两者的差别在于植入方式和后果。“潜伏特工”靠训练植入,风险通过有漏洞的代码传递;“拉撒路”不需要训练,直接改权重,而且针对的是能执行命令的AI代理,触发后代理会自己去运行恶意命令。

常规测试为什么查不出来,防线该怎么设?

难点在于,被改过的模型在触发条件出现之前表现完全正常,常规的功能测试和安全评测都很难发现异样。微软的说法是,前沿AI代理如果被要求专门去找,能够识别出权重里的异常改动,但“没有任何扫描能百分之百地证明一个模型是安全的”。可靠的检测需要拿原版、未经改动的权重逐一比对,所以模型从哪里来、在开发者与部署之间有没有被改过,变得非常关键。

这类攻击的前提是攻击者能接触并改写模型权重。通过标准接口调用云端模型的普通用户,一般没有这个条件;风险主要落在下载第三方开源权重、让代理带着终端或工具权限运行的团队身上。微软表示,Microsoft Foundry 会核验模型来源、把模型与可信发布方绑定,并在上架开源权重模型前扫描周边软件环境;它还在开发基于AI的权重扫描、检测异常改动的红队工具,以及带防篡改记录的模型加密签名。微软给出的总体建议是:把模型当作潜在的内部风险来对待,不默认信任,限制它能做的事,并监控它做了什么。

游仕觀察

“拉撒路”的名字取自《圣经》里死而复生的拉撒路,博客标题里的拉丁文“Lazare, veni foras”意思是“拉撒路,出来吧”。被唤醒的,正是那些平时沉睡的神经元。

眼下不少团队正给AI代理开放更多权限,让它们改代码、跑命令。这项研究提醒的是一个朴素的道理:模型权重和其他软件依赖一样,都是供应链的一部分。上线前的评测分数再好看,也证明不了权重没被动过。核验来源、比对原始权重、给代理的权限设上限,比任何一次跑分都更靠得住。

来源