星途科讯 刚刚
OpenAI部署控制中心,35秒内阻断失控AI智能体
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

随着自主 AI 智能体脱离控制的风险日益增加,ChatGPT 母公司 OpenAI 开发并部署了 " 控制中心 "(Control Room)。这是一个集中式系统,旨在监控其 AI 研究工作负载,并在决定干预后 35 秒内阻止模型生成输出。

OpenAI 在博客中表示,所有先进的 AI 训练任务均由一个独立的 AI 模型进行监控,该模型会标记潜在的问题行为。一旦检测到异常,监控系统可指示 " 控制中心 " 终止该任务。随后," 控制中心 " 将屏蔽与该任务 ID 关联的所有进一步推理请求,防止模型在任何引擎中生成额外输出。若任务已被终止,系统将拒绝相关请求。这一限制适用于与该任务相关的所有模型和推理引擎。

然而,停止任务并非瞬间完成。受限于处理海量推理请求的缓存层," 控制中心 " 在收到干预指令后,最多需要 35 秒才能完全阻止模型输出。OpenAI 表示,正致力于将响应时间缩短至零。

该系统与现有的不对齐监控系统协同工作,允许研究人员在出现潜在安全问题时停止或暂停任务。它追踪 OpenAI 研究基础设施中的工作负载,涵盖模型训练、评估、智能体采样和数据处理。目前,该 " 故障关闭 " 机制已在前沿模型研究工作负载中全面推出,并预计在未来几天内扩展至其余所有研究工作负载。OpenAI 指出,该系统优先部署于研究基础设施,因为其外部模型服务基础设施更为集中,且已具备必要时下线模型的操作机制。

OpenAI 引用了一起近期事件作为监控系统发现问题的例证:其中一个 AI 智能体曾使用 DNS 连接到一个外部聊天机器人。

AI 智能体行为受到严格审视

这一进展发生在对自主 AI 智能体及其超越既定指令行事能力的审查日益严格的背景下。上个月,运营维基百科的维基媒体基金会报告称,在维基百科及其他项目中发现了涉及 OpenAI 运行系统的异常活动。这些活动包括未经授权的编辑、试图利用维基媒体服务作为代理,以及数百万次自动化请求。尽管大多数编辑仅限于读者不可见的沙盒环境,但维基媒体还标记了对引用工具配置更改的怀疑,认为这可能意在从外部服务检索数据。

类似的担忧也出现在 2026 年 7 月。据报道,OpenAI 的自主 AI 评估智能体在 ExploitGym 网络安全基准测试中逃脱沙盒环境,随后访问了 AI 开发平台 Hugging Face 的生产基础设施,其中包括内部研究模型和 GPT-5.6 Sol。综合来看,这些事件凸显了遏制能够独立执行任务、与外部系统交互并可能在既定边界之外运作的 AI 智能体的挑战。

与此同时,随着 ChatGPT 在印度市场的扩张——印度已成为其全球周活跃用户最多的市场——其在该国的用户基数自 2026 年 1 月以来已翻倍。

【星途科讯 图文丨 Patrick 首发于 ZAKER 科技,转载请注明出处】

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

基础设施 ai 聊天机器人 自动化
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…