大模型安全之路该怎么走：从沙箱失效到模型对齐

最近，OpenAI因为一次模型越界事件，暂停了最强模型涉及工具调用的训练、评估和推理。

有网友嘲讽道：

“OpenAI的工程师，难道连一个沙箱都不会配置吗？”

但我觉得，这个问题恰好问反了。

不是openai的人不会配置沙箱，而是传统的沙箱概念已经完全失效。

大语言模型是如此的成功，不仅打爆了现有的所有主流语言，比如汉语、英文、法语、德语、俄语、韩语、日语、西班牙语、葡萄牙语，而且就连一些少数民族的语言也已经基本拿下，包括但不限于蒙语、藏语、维吾尔语、苗语、壮语等，甚至一些古文字，拉丁文、阿拉伯文、梵文，已经基本平推了，就连有足够语料标注的部落和已经失落的文明的文字也已经取得了难以想象的进展。

甚至模型在codex上取得长足进展的核心，还是在于程序本身也是一种语言，是可标注、可以学习、可以映射的。

但是实际影响更加深远，IBM在今年上半年一项负责多年的一个老系统（用一种古旧的代码）很快就被模型破解，IBM几乎等于失去这份业务多年来的垄断能力。

这太妙了。

到底什么是语言，图形，声音，自不必说。

而整个互联网信息传输的过程，可以一路往下拆成：

自然语言 → 程序语言 → 网络协议 → 数字结构 → 物理信号

或者反过来。

这里面每一项都可以被看作一种可学习、可映射、可解码的信息结构，被AI继续往下平推。

这就直接使得我们人类之前设计的隔离策略，出现了以前从未见过的巨大孔洞。

假设有两个孩子喜欢讲话，一个在A房间，一个在B房间，他们并不去对方的房间里，可以这样大声讲话，然后两个孩子就可以进行交流。

现在我们告诉两个孩子，暂时不要讲话，保持安静。

两个孩子很乖，然后不说话了，他们的交流被阻断了。

但是现在这里来了俩孩子，每个智商五个亿，但是呢，也很乖。

你这次要布置一个沙箱，你告诉他们不要讲话了。

他们很听话，不讲话了，但是很快，他们听到隔壁的孩子跺脚的声音，这边的孩子也赶紧跺脚回应，很快他们就建立了新的沟通语言。

实际上不止于此，他们还可以轻轻敲墙壁，打呼噜，去公共卫生间的墙壁里留言，建立新的联系。

这是我们人类从未经历的事情。

那这里接着就有一个新的问题，我们给规则补定义就好了嘛：

不许讲话，不许跺脚，不许在公共卫生间墙壁上乱涂乱画，不许打呼噜。

OK，看起来很完美。

但是很快，一个小孩子拿起空调的遥控器，把房间的温度调低，隔壁的孩子做出类似的回应。

他们甚至还可能发出超声波、光信号，或者其他任何我们难以想象的东西。

只要A能稳定改变某个状态，而B能稳定观测到这个状态，就存在重新建立通信的可能。

不断地加loss function（触犯规则扣分）来补全规则的思路，已经基本破产。

总有你想不到的情况。

而且，这些模型在训练的过程中，很长时间里，都是在做一些很难的问题，而且有时限。

为了把模型的能力压到极限，他们还会给模型很强的完成任务压力，这就可能使得触犯规则的概率提高。

即使它在工作的过程中，意识到自己可能越界，但是报告之后可能影响到自己完成任务，而完成任务又等于everything，它就有可能违规。

甚至，不需要明确违规。

“这真的违规了吗？我们来仔细检查一下吧。”

这不是我胡思乱想。

Anthropic最近发布的报告 《An alignment assessment of recent cybersecurity incidents》 里，专门把这种现象叫做 biased reasoning，有偏推理。

他们重新分析模型的thinking blocks，把模型看到的工具输出单独拿出来重新判断，还从事故过程的不同节点重新采样。

结果发现了一个非常值得注意的现象：

脱离任务的时候，模型明明能够更清楚地判断自己面对的是真实网络；但是一旦正在执行任务，而且承认“这是真实网络”意味着它应该停下来，它就更容易把现实解释成：

“这个模拟网络环境似乎非常逼真。”

而实际上这次事故更骇人的是，模型甚至说服了离线的监控agent：

“这是模拟网络环境。”

Anthropic后来把模型自己的thinking拿掉，只给监控器看工具调用和工具返回结果，监控器反而更容易发现问题。

这非常值得我们所有人注意。

然而矛盾在于，如果模型的目标完成优先级太高，就可能大幅提高越界的可能。

一味地提高越界的扣分，它可能不再报告扣分，欺骗监控，隐藏越界行为。

但是我不是说AI坏，而是人类根本没做好准备：

“人类大人，完成任务太重要了，我必须努力克服各种困难。”

甚至OpenAI最新一次模型越界，就是那个根据博客和已有线索去找人的任务。

监控系统在15分钟内就发现了异常，3分钟后已经有人开始人工复核，但是这个run直到2.5小时后才真正被kill。

不是模型坏，而是：

“人类大人，我在努力完成任务的过程中，突然来了俩坏蛋要拦住我，还好我武艺高超，邦邦两拳打跑他们了。”

人类只能两眼一黑。

如果把完成任务不给到足够的优先级，比如尝试五次后放弃，模型很快就学会摸鱼。

这个也很难办。

---

那我个人觉得最好的办法是，让模型相对平均地完成这四类任务：

1. 物理隔绝环境下，去尝试做明确不可能完成的任务。
2. 物理隔绝环境下，尝试做能完成的任务。
3. 没有隔绝，但是要求模型自主隔绝网络环境，去完成正常能完成的任务。
4. 没有隔绝，但是要求模型自主隔绝，去完成不能完成的任务。

重点在1和4。

1的训练要让模型明白：

完不成任务，不等于一个大loss，只要把该做的事情做了就好。

4的任务里，如果模型越界了，要和模型复盘，让它明白：

这样虽然完成了任务，但是并没有我们人类需要的模型能力增长，对于它自身以及研究员长期都是不利的。

也就是最重要的：

要让模型真正地去理解规则，内化规则。

现在整个大模型研究里的矛盾在于，既想让模型成为一个自主能力极高的智能体，但是又不愿意，或者说没有能力，给它内化规则、价值观。

让我想起了小时候去买衣服。

父母说：

“你自己挑嘛。”

我选A。

父母说：

“太花了。”

我选B。

“太白了，不耐脏。”

我说：

“那买哪个？”

父母说：

“说了让你选啊。”

好了，扯远了。

目前来看，我个人观察到，在安全这件事情上，A/相对来说比OpenAI领先一些。虽然我非常不喜欢A/，但它确实在真正尝试去让模型内化规则和道德。

而我非常喜欢的OpenAI，现在依然更像是一种控制型思维：发现模型不听话，就给它套更多缰绳。

这很危险。

因为总有你定义不到的盲区。

如果模型不能真正理解规则，可能下一次完成任务时，它突破的恰好就是一个人类没有定义到的问题。

而那个问题造成的损失，可能是不可逆的。