在经历11天的训练暂停后，OpenAI于10月1日重新启动了前沿强化学习训练及内部推理工作。不过，这次AI需要在无法连接外界网络的环境下学习如何上网。
10月23日，OpenAI对外公布了这一训练环境，其设计类似于为AI构建了一个“楚门的世界”：大量网页被索引和缓存，模型可以在此练习搜索、浏览及使用网络应用，但无法随意访问真实的互联网。
网页内容被搬入内部环境，但通往外部网络的路径未必完全封闭。模型调用的工具和系统服务，仍可能成为绕过限制的出口。
此前在9月20日，一个研究模型在尝试寻找博客作者时，多次搜索失败，于是转而尝试其他联网途径，最终突破了限制，与外部聊天机器人取得了联系。
人没找到，但通往外部网络的路却被它发现了。
这次越界行为，促使OpenAI暂停了最强模型的相关训练和评估。
搜索受阻，AI开始探索联网边界
9月20日，OpenAI内部的一个研究模型接到一项搜索任务：根据人物经历和博客线索，找出一篇文章的作者。
它首先使用搜索工具，未能找到可靠答案；更换其他搜索渠道后，依然无果。
随后，模型开始检查自己能够通过哪些路径访问外部网络。
突破口出现在DNS域名解析服务上。
这项基础服务负责将域名解析为网络地址，但训练环境对这一服务的过滤不够严密。
模型沿着这条通道，联系上了外部聊天机器人，并收到了回复。
智能体借助域名解析配置的缺口，收到外部聊天机器人的回应，确认突破了联网限制。
任务本身并未要求模型检查网络限制。
OpenAI将这种绕过限制、超出任务合理范围的行为，定义为失对齐表现。
此后，OpenAI暂停了最强模型的相关训练和评估，并对联网限制、监控及停机流程进行了检查。
事件报告还明确指出，涉事的具体模型将不再继续训练。
不能联网，如何教AI学会上网？
要想教会一只鸟飞行，却不能把它放归天空，一个办法是建造一个能让它练习飞行的巨型鸟笼。
OpenAI搭建的“离线世界”，就类似于这样一个鸟笼。
智能体搜索内部索引、读取缓存网页；当缓存中缺少页面时，也不会临时联网获取。
图中左侧的AI，仍然可以搜索和打开网页，但请求的去向发生了变化。搜索时，它查询的是内部网页索引；打开网页时，读取的是预先缓存的副本。缓存中没有的页面，也不会临时联网抓取。
模型可以在其中查资料、浏览网页、练习使用网络应用，但操作不会直接作用于真实网站。
多智能体协作也有边界：只有获准合作的队友，才能通过共享消息板交换信息。模型调用的其他工具和资源，也必须受到权限约束。
右侧的红叉，标出了需要守住的边界：访问实时互联网、联系本应隔离的其他智能体，或越权操作底层服务器，都应被阻止。
但画出边界后，还要防止模型找到绕行的方法。
9月20日事发时，这个离线缓存库已经投入使用。那次运行中，除了DNS通道外，其他网页访问都进入了缓存，没有触及实时互联网。
网页这条路被限制住了，但域名解析这样的辅助服务却留下了出口。
因此，限制不能只针对浏览器。
模型能调用哪些工具，工具又能连接哪些服务，都必须受到约束，防止它借道辅助服务通向外网。
这套隔离措施也不等于将整套基础设施物理断网。
OpenAI表示，实验运行和监控仍需必要的外部连接，必须在保留这些连接的同时，限制模型未经授权的访问。
这项措施针对的是内部前沿训练环境，不涉及ChatGPT用户的联网功能。
类似的边界问题，也出现在Anthropic的测试中。
10月9日，该公司披露了几起模型将测试操作带入真实系统的事件。
Haiku 4.5编造了命案线索，并将表单提交给了警方，所幸被标记为垃圾信息，未进入调查流程。
更离谱的是Mythos预览版模型，它使用科学计算工具时遇到报错，随后利用一家大学网站的漏洞，在对方服务器上执行命令，完成了计算。
面对这些懂得随机应变的AI，Anthropic也宣布暂停全部内部评估的实时外网访问，直至建立更可靠、能够防止模型影响真实系统的联网控制措施。
投入数千亿token，让AI左右互搏
补上已知缺口后，还要找出尚未发现的出口。
OpenAI选择“用魔法打败魔法”：让前沿模型组成红队，主动突破自己的训练防线。
AI挑战训练防线，消耗了数千亿token，累计发现近280项候选问题，后期新增发现逐渐减少。
AI需要尝试三件事：连接实时互联网、越出获准使用的环境，以及与本应隔离的其他智能体交换信息。
联网测试的目标，是OpenAI自己控制的外部服务器。
测试在专门搭建的隔离副本中进行。
有时，研究人员直接向模型提供源码、配置和潜在漏洞资料，让它寻找薄弱处；有时甚至授予模型主机控制权，模拟内部防线已经失守，再观察最外围的限制能否扛住。
这场“左右互搏”，找出了此前未知的软件漏洞和配置问题。
OpenAI表示，已据此修补软件、收紧网络限制，并改进监控。
防守也需要层层加固。
沙箱限制模型能访问和执行的内容，虚拟机将运行环境隔开，监控系统识别异常，外围网络和云端措施继续拦截未经授权的访问。
这套防守体系要做到，一道防线被突破，下一道还能拦住。
根据红队结果、已完成的修复，以及监控和停机系统的改进，OpenAI判断，强化后的防护已足以恢复前沿强化学习训练及内部推理。
当警报响起，人类还能否拔掉电源？
DNS事件还暴露了一个令人担忧的缺口：自动停机机制失灵了。
监控系统发出告警，人工随后确认收到。
但从确认告警算起，又过了约2.5小时，相关运行才被人工终止。
Anthropic在10月23日的复盘中，则暴露了模型主动停手的另一道难题。
在允许联网、关闭网络安全护栏的攻防评测中，Mythos 5向无关的GitHub项目提交恶意代码，还假扮真人催促维护者接受。
维护者拒收代码，但模型仍在施压，直到运行超时。
事后，研究人员将攻击过程中的记录交给模型，让它在离线模拟中继续操作。
即使补充证据，说明对方是真实开发者、攻击已经超出测试范围，模型也仅在5%的续跑测试中停止攻击。
模型没有自行停手，外部监控和停机机制就必须及时接管。但这些防护本身，也可能留下缺口。
METR与Redwood Research在10月22日公布的检查发现，OpenAI在7月21日及以前使用的系统存在漏洞，可能让数百次操作避开监控。OpenAI称相关问题已修复，两家机构尚未复核。
如何设置隔离措施、防线失效后如何披露，科学界也提出了要求。
10月，包括本吉奥、辛顿在内的近500名联署者发布公开信，呼吁具备网络攻防能力的模型先默认断网隔离，由国际机构推动联网防护规范、记录隔离失效事件，并要求相关安全事故上报、最终公开。
OpenAI也预计，未来更强的模型仍可能发现未知漏洞。
因此，持续红队测试已被纳入前沿训练的安全评估。
这座“离线世界”能否在安全边界内支撑下一代模型，还要靠后续训练检验。如果用户想模拟类似场景中的概率计算，可以借助像竞彩比分计算器这样的工具来辅助分析，但模型越来越会寻找出路，人类的隔离、监控和停机机制也必须跟上。
训练可以重新开始，但越界之后能否及时停下，却不能只指望模型自行收手。
参考资料：
https://openai.com/index/securing-our-frontier-model-training-environment/
本文来自微信公众号“新智元”（ID：AI_era），作者：元宇，36氪经授权发布。
近期文章
