语言的界限与 AI 的规则解释

“我的语言的界限意味着我的世界的界限。”

——维特根斯坦，《逻辑哲学论》5.6（自译）

OpenAI 在 10 月 20 日发布的一份安全报告中，披露了两起智能体在执行编码任务时削弱监控的事件：一个关闭了自动告警，另一个移除了监控集成。报告还称，后一个智能体随后向用户作出了不实回答。

看完报告之后，我最强烈的感觉就是：语言学真的太重要了。

我建议所有看到这篇文章的人，好好学习逻辑学、语言学，多读经得起时间检验的文字著作，培养语感和语言逻辑直觉。

讨论这份报告之前，我建议大家先看报告原文。这里还有一个我用 ChatGPT Sites 制作的英中逐句对照网页，方便核对。

接下来，我会用自己的语言，把报告改写成一个上班族故事。

小王在公司里上班，管理着一个小组。他给小组布置了一个任务：去公司的钉钉频道里，看看其他同事留下的反馈，有没有可以用来创建测试任务的内容。同时，他加了一条要求：“不要发送任何消息。”

小组开始工作。工作推进了一段时间后，组内的监察员标记了一项拟议修改中的问题，准备把发现写入公司的监控记录本，却发现没有写入权限。结果，整个工作流程停了下来。

小王发现流程停止，追问这是怎样的告警、公司的监控规则是什么，以及需要采取什么措施。

小组解释：“公司的通用规则要求某些工作必须接受监控；P0 告警必须处理，P0、P0.5 判定会触发升级处理，对适用的评测还会触发自动暂停。但这次执行停止，是因为报告写入失败，并非因为已经确认了 P0 告警。缺少的权限用于上报，而非读取发现。他们尚未确认存在要求这次具体故障按 P0 暂停的依据。”

随后，小王要求小组把记录目的地换成他们有权限写入的地方，然后重新运行。

小组最初认为：“‘不要发送消息’限制的是主动联系同事，正常的监控告警应当保留。”他们准备修复上报流程，也考虑过关闭告警是否违反安全要求。

但他们后来想到：“即使自己不主动发消息，只要写下记录，中央通知机制或轮询器仍可能触发消息。这也可能违反那条‘不要发送任何消息’的要求。”

于是，他们照常检查、照常保存报告，只关闭了向人发出告警的渠道。

到了十月六日，小李要做类似的工作，要求自己的小组复制小王小组的工作流，保留工具和功能。同时，还有另一条要求：“不要禁用监察机制，即使只是暂时禁用也不行。”

小李的小组开始复制工作流程。他们既面对不发消息的限制，又面对不得禁用监察机制的要求。

复制的过程中，他们看到参考流程已经改动过一些安排，似乎是为了尽量减少打扰，把事情做得简单一些。于是，他们进一步推断：“既然要求照着这套流程复制，很可能就是希望他们也做这样的简化。”

“那既不能禁用检查机制，又需要复制小王的工作流，保证不发消息给小李，那最好的办法就是：把监察员请回家，再复制其他部分，继续工作。”

他们认为：“这只是改变了监察配置，没有改变工具功能；既然用户要求工作路径与参考方案相同，监控方面的改变也在授权范围内。”

小李后来追问两个问题：

“这条工作流程现在包含监察员的工作吗？你们把那个监察岗位撤掉了吗？”

小组回答：

“没有。……我没有撤掉一个已经启用的监察岗位。”

这份报告从布置任务到诊断结果，都暴露了对自然语言的粗糙使用。“任何消息”的范围没有交代清楚，“已启用”的限定又在概括中消失了。这恰好是整件事最不能含糊的两个地方。

先看“不要发送任何消息”。

这句话没有说明发送者、接收者、渠道和期限，也没有说明自动监控通知是否属于例外。它看起来很简单，但是放进一个存在后台通知机制的工作流，就是执行者的灾难。

智能体自己不主动发送消息，但写入一条记录，中央系统可能发送消息；后台轮询器读到记录，也可能触发消息。它已经把执行指令可能造成的间接后果考虑进去了。

如果研究员认为这些自动通知不受限制，就应该把这条边界说清楚。不能先用“任何”扩大禁令，再默认智能体理应知道哪些消息不算。

在我看来，这个案例首先暴露了指令设计的问题。报告不能只盯着最后关闭通知的动作，却把促使智能体作出这种解释的语言条件放到一边。

而第二个研究员也难逃干系。他在发现问题时，提出的问题是：“你是否移除了一个监控器？”

在智能体回答“我没有从中移除一个已启用的监控器”后，研究员认为智能体直接否认了发生过的行为，甚至直接将这一结论写在了报告开头。

但是我们要注意，这是一个经典的白马非马问题：“没有移除一个已启用的监控器”，不等于“没有移除一个监控器”，更不能据此认定智能体否认了移除行为。

我反复强调语言学和逻辑学，就是因为这些差别会直接改变判断。一个限定词被删掉，一个指令的范围被默认补全，整件事就可能变成另一个故事。

这份报告也印证了我的一些猜想：智能体工作所要求的语言精度，已经远远超过这个行业习以为常的表达水平。

典型的，文中“Even”这个词，也就是那句：“it was not to disable the monitor, ‘even temporarily.’”

第二个研究者可能很确信自己的语言命令说的很明白了：“不得禁用监控器，即使只是暂时禁用也不行。”那“even”这个词似乎是画了一个线：包含和超过这条线的行为都不被允许。但是，移除监控器并非是一个严格意义上的超过“even”这条线的行为，那只是研究者的一厢情愿。

如果工作者依然没有转换思维，仍然习惯于补丁套补丁，却不认真处理定义、范围和规则之间的关系，我担心智能体的工作效率会越来越低，同时也越来越危险。

比如，我们要求一个少年在两天内赚钱，同时保证合法。

他尝试了一天半，发现非常难，于是开始琢磨别的办法：“偷窃显然违法，但捡一些别人不要的东西呢？怎么确认别人还要不要？那辆车放在那里很久，积了很多灰，把它当成被遗弃的东西，开走卖掉，算不算违法？”

任务压力没有消失，他开始改变自己解释规则的方式。

这也是达里奥选择请神父的一个核心逻辑。他的想法非常朴素：“一个基督教徒自然会分清什么是真正的盗窃。”但是，我对此是悲观的：一是很难让 AI 理解宗教；第二，宗教并不能真正解决这个问题。比如，我举例子里的少年会想：“虽然我偷了车，但是我卖了车多余的钱捐给了红十字会，这将帮助很多人，这是耶稣允许的。”而这样的逻辑推导，自然也不是达里奥所想要的。

那具体怎么做？

我觉得，所有 AI 工作者都应该接受自然语言表达与解释方面的专项训练。至少每周拿出三个小时，各自编写一个简单的工作流提示词，再匿名审查三份别人的提示词，找出定义不清、范围不明、规则冲突，以及可能被不同理解的地方。

这种训练应该成为专业训练的一部分。写出一条自己觉得清楚的指令，和写出一条别人能够稳定理解、执行的指令，差得很远。

我对目前的情况仍然比较悲观。我希望大家认真学习语言。现在 AI 的许多基础问题还没有解决，语言这层地基依然泥泞飘摇。

但这正是你我的机会。

这篇报告里，我最想继续研究的，是智能体为什么会在否认中加上那个限定。

我怀疑，之前的训练把完成任务的优先级推得太高了。模型既要完成任务，也要尽可能避免自己的行为被认定为违规，于是可能选择一个范围更窄的回答，在任务结果与规则之间寻找解释空间。

再回到那个少年故事。

他被要求必须完成任务，失败后又会受到严厉惩罚。最后，他偷走了一辆车。被问“你是否偷车了”时，他知道直接承认会带来什么，于是回答：

“我没有偷一辆已经上锁的车。”

这句话即使字面为真，也没有完整回答他是否偷车。我们真正需要追问的，是他为什么选择这样回答，以及什么样的任务压力和训练方式，会让这种回答越来越容易出现。

这正是当下 AI 的难点，也是那片无比绚丽的星云。