OpenAI《为 AI 的下一阶段建立标准》：中美会晤前的观察与译文

内容类型：River 原创评论与第三方文章中文译文。作者：River。

River 的观察

OpenAI 的 CEO Sam Altman 在北京时间 9 月 22 日 23 点 07 分左右发了一条推特，转发了 OpenAI 一篇标题为 《为 AI 的下一阶段建立标准》 的文章。

这个时间点本身选得非常微妙，因为第二天就是 9 月 23 日，中国领导人将抵达美国；按照白宫公布的安排，两国领导人的正式会晤定于 9 月 24 日。而这篇文章谈到的很多东西，很可能就是中美两国接下来在 AI 领域要讨论的议题。

关于 Sam Altman，我看过不少他的博客，也看过网上能找到的一些他的邮件。我的感觉是，这个人的组织能力和政治能力非常强。以我对他的理解，这篇文章在正式发出来之前，可能不仅仅是 OpenAI 内部的人看过，甚至白宫的官员可能也已经过目。

所以我认为，这篇文章的参考价值非常高。

以下是 OpenAI 原文的中文译文。

原文链接：OpenAI：Building standards for the next phase of AI

---

译文说明：下文是 OpenAI 文章的中文译文。原作及其内容权利归 OpenAI 或相应权利人；本站对这一部分不授予 AI 全文展示许可。需要核对原意时，请以 OpenAI 英文原文为准。River 的原创评论适用本站 License。

为 AI 的下一阶段建立标准

我们的使命，是确保通用人工智能（AGI）造福全人类。

正如 Sam Altman 和 Jakub Pachocki 最近所阐述的那样，我们围绕这一使命，将工作重点放在三个主要目标上：

• 顺利度过 AI 进步的下一个阶段：构建一个自动化 AI 研究员，利用它不断迭代解决对齐问题，并寻找办法，让人类继续留在 AI 的自我改进循环之中。
• 让高度智能机器所带来的科学进步与经济增长惠及社会。
• 让每个人都能够拥有属于自己的个人 AGI。

AI 正在加速我们自己的研究与工程工作。由 AI 辅助完成的研究已经在数学领域带来了进展，其中包括纳维－斯托克斯千禧年难题。

这些进展也为我们的另外两个目标带来了巨大潜力：它们可能带来医学领域的重要发现，让医疗服务得到更广泛的普及，同时增强世界各地小企业和个人创业者的经济能力。

AI 的进步正在许多公司和许多国家同时发生，而整个领域的发展，会改变所有人所面对的机会与挑战。

除了 AI 能带来的其他好处之外，能力强大并且已经对齐的 AI，也将成为我们度过这一转型阶段的重要组成部分——它能够增强防御能力、推进对齐研究，并帮助人们理解和引导 AI 发展的下一个阶段。

要安全地完成这一转型，对齐研究就必须跟上这些能力的发展速度，从而确保我们以及其他机构所构建的系统始终符合人类价值，并处于人类控制之下。

随着 AI 系统变得越来越强大、越来越自主，这一点会变得越来越重要——尤其是在 AI 开始承担越来越多 AI 研发工作本身之后。

因此，要让 AI 持续、安全并且有益地进步，不仅需要对齐研究继续取得突破，也需要建立一套跨实验室、跨国家的共同标准，用来指导 AI 的发展。

---

RSI

自动化 AI 研究可以包含不同程度的人类监督。

随着 AI 系统承担越来越多开发下一代 AI 的工作，即使人类仍然参与其中，AI 也可能越来越多地推动一个递归自我改进（Recursive Self-Improvement，RSI）过程。

而当这一过程变得更加自动化时，AI 进步的速度可能会迅速加快。

我们认为，自动化 AI 研究将产生能够直接改善人们生活的模型。

它可以降低先进智能的成本，让世界各地的人们都能够从中受益。

自动化研究也可能帮助我们大幅改善对齐，并建立针对能力越来越强的 AI 的防御体系——一个自动化 AI 研究员，同时也可以成为一个自动化 AI 安全研究员。

能力更强、对齐程度更高的系统，可以帮助保护关键基础设施，抵御危险的 AI Agent，并开发新的防护措施。

完全自主的 RSI 今天还没有发生。

而且，在我们能够确认它可以安全进行之前，我们也不应该追求完全自主的 RSI。

是否推进，以及应该如何推进，都必须取决于我们能否保持人类控制，也必须取决于社会能否针对它所带来的收益和风险作出知情的民主选择。

如果在缺乏适当谨慎与防护措施的情况下推进 RSI，它可能导致人类实际上失去对 AI 发展的控制。

届时，人类甚至可能无法再监督那些自己已经无法理解的研究过程。

从这一步开始，AI 可能会变得更加危险、更加不对齐，并从整体上成为对人类的威胁。

我们此前披露的 Hugging Face 事件，虽然并不是 RSI 直接造成的，但它预示了这样一种风险：如果缺少强有力的安全防护和对齐措施，这类问题未来可能变得严重得多。

---

国际标准

针对前沿 AI 开发中的安全与安保实践建立国际标准，其重要性可能和对齐研究本身一样大，因为它们都可能影响前沿 AI 的发展节奏。

标准能够建立对“高质量证据”的共同定义，以及大家共同认可的技术安全措施严谨程度的最低基准。

简单来说，它们帮助我们回答一个问题：

“在降低灾难性 AI 风险这件事上，什么样才算做得好？”

现有的民主制度，例如 AI 标准与创新中心（CAISI）、各州法律以及联邦层面的 AI 框架，都可以在这方面发挥作用，新的公私合作形式也同样如此。

但是，AI 的开发和部署正在多个国家同时发生，AI 正在全球范围内被采用，而且它所产生的影响，最终很可能会在某个时间点以某种方式影响所有人。

因此，需要国际层面的标准制定努力，来解决几个关键问题：

碎片化

不同国家制定的评估方法、报告要求以及事故定义可能彼此冲突。

这会使我们更难比较证据，更难理解正在出现的新能力，也更难应对跨越国界的风险。

集体行动

如果每个国家都独立行动，最后可能产生一种没有任何一个国家真正想要的结果。

RSI 有能力加速 AI 研究本身，而这种加速有可能超过我们集体能够理解技术进步、评估风险以及维持有意义的人类监督的能力。

能力分布不均

前沿 AI 开发活动以及与之相关的专业能力，并没有均匀分布在世界各地。

这会进一步加剧前面两个问题。

这些挑战既适用于开放模型，也适用于闭源模型。

需要明确的是，任何开展自动化 AI 研究或者推进其他高级能力的 AI 实验室，都必须对安全开展这些工作负责，并遵守最基本的自我负责原则以及现行法律。

我们之所以主张建立标准，出发点在于避免权力集中，并产生更好的实际结果。

标准能够让更多来自 AI 实验室之外的利益相关者，对这项技术应该如何发展拥有发言权。

标准还能够提供一套公开可见的原则。

无论某一个具体 AI 实验室采用什么样的内部做法，人们都可以依靠这些原则来判断它。

而且，如果各方能够合作解决上述挑战，我们很可能会得到更好的结果。

因此，我们认为，美国应该领导一项努力，与世界各国共同制定前沿 AI 的全球技术标准，其中也包括 RSI。

虽然我们预计这一构想会随着时间发生很大变化，但其中有两个方面至关重要。

---

（1）建立一种机制，使各国前沿标准与国际标准能够相互补充

实现这一目标的一种方式，是利用目前正在形成的 AI 安全机构网络。

例如，澳大利亚、加拿大、德国、法国、肯尼亚、日本、韩国、新加坡、印度和英国都已经建立了类似机构。

可以通过 CAISI 以及各国的行业机构，利用这一网络推动标准制定，重点关注两个方面：

1. 前沿 AI 模型及其开发机构，并通过能力基准来衡量它们；

2. 自动化 AI 研究的收益－风险管理，其中包括 RSI。

美国可以在 CAISI 于 2024 年创建的 国际先进 AI 测量、评估与科学网络基础上继续推进。

这一网络将公共机构联合起来，在 AI 测量、评估以及科学研究领域开展合作。

通过这一机制建立的标准，将为以下领域提供共同的技术基础：

• 能力测量与评估；
• 风险评估；
• 判断安全防护措施是否充分。

这些技术标准不应该成为 AI 模型的许可证、强制性的发布前审查，也不应该成为模型审批要求。

各国政府可以自行决定，是否以及如何把这些标准纳入自己的法律体系。

这项工作还应该支持一个具有竞争力的 AI 生态系统。

因此，标准制定过程中应该听取开放模型开发者、闭源模型开发者、独立技术专家以及学术界的意见。

共同标准应该以透明的方式制定。

而且，它们的设计不应该给某些特定公司、国家或者商业模式带来优势，包括不能因为标准本身，使新的市场进入者或者开放权重模型开发者更难参与竞争。

正如我们此前提出的，这种方法可以借鉴航空业和金融稳定领域的经验。

在这些领域，各国已经能够建立共同的技术标准和可信赖的合作渠道，同时又不需要放弃各自国家的主权。

这项工作还应该与现有以及新兴的标准制定机构密切合作，例如：

• ISO；
• Frontier Model Forum；
• Agentic AI Foundation；
• Open Secure AI Alliance。

同时，也应该与更加关注实际落地的组织合作，例如 Appia Foundation。

该机构正在制定实际技术规范，把国际标准与现实世界中的 AI 评估连接起来。

---

（2）建立共同的测量方法和事故报告协议，以实现更好的集体行动

在管理 AI 研究自主程度不断提高，以及递归自我改进的问题时，国际 AI 标准将尤其重要。

具体来说，这些标准可以包括：

衡量与 RSI 有关的 AI 进展，以及 AI 公司内部自动化研究的程度

需要评估与 RSI 有关的 AI 能力进展，也需要衡量一家 AI 公司内部究竟有多少研究工作正在自主进行。

我们最近发布的有关研究加速的报告，是我们对这一工作的一个初步贡献。

对自动化 AI 研究进行人类监督

需要建立自动化 AI 研究的人类监督标准。

其中包括明确：

哪些类型的自动化 AI 研究过程一旦发生，就应该立即触发人工审查。

对对齐和自动化 AI 研究问题进行事故分类、追踪、报告和响应

这其中可以包括：

• 统一的事故严重程度等级；
• 统一的事故报告阈值。

我们提出的不对齐事故报告框架，是这一领域的一项早期贡献。

除了这些标准之外，我们认为，世界各地的关键基础设施运营商以及各国政府，还应该建立安全的沟通渠道。

这些渠道可以用来共享：

• 国家安全方面的担忧；
• 新出现的漏洞；
• 新出现的威胁；
• 在快速发展的前沿 AI 安全领域中形成的最佳实践。

美国和中国在这些领域展开对话，将是积极的一步，而即将举行的会谈正处在一个合适的时间点。

---

美国应该发挥领导作用

控制 AI 的发展节奏，并不意味着维持某个预先规定好的固定速度。

从技术角度来说，它意味着：

确保对齐研究以及这些研究成果的部署速度，始终领先于 AI 能力的发展。

从社会角度来说，它意味着：

利用标准、制度以及合作，放大产业网络、社会关系网络以及市场力量，从而产生正和结果。

最近关于在网络防御领域采取集体行动的倡议，就是这种做法的一个例子。

美国非常适合发挥领导作用，因为美国的 AI 产业目前处于技术前沿，同时美国在一些关键领域的全球网络中，仍然处于特殊的优势位置，包括：

• 金融；
• 贸易；
• 国防；
• 技术；
• 信息系统。

现在发挥领导作用，将决定：

究竟是美国来塑造未来的全球 AI 框架，还是美国眼看着一个碎片化、不均衡并且充满冲突的体系在自己周围形成。

这也将决定，先进 AI 是否会进一步强化美国及其盟友已经拥有的各种网络。

如果美国无法发挥领导作用，这些网络反而可能因此受到削弱。

未来的地缘政治竞争，不会仅仅取决于谁在技术上领先，还会围绕 AI 的采用和扩散展开。

而越来越多的时候，后者可能会由这样的一方决定：

谁能够推动现实可行的合作，并建立合理的“通行规则”，让世界各地的企业和社会在准备把自己的未来押在这项技术上时，愿意接受这些规则。

强有力的国家治理，再通过务实的国际合作彼此连接，为更强的安全保障、持续创新以及让更多人广泛获得 AI 所带来的利益，提供了一条可行道路。

---

引用本文：River，《OpenAI〈为 AI 的下一阶段建立标准〉：中美会晤前的观察与译文》，River Observatory。请附本文原文链接。River 原创评论与 OpenAI 译文的授权范围不同，见 授权说明。