IT之家 09-29
OpenAI提出前沿AI训练安全指导原则:高级管理人员应有否决权
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 9 月 29 日消息,OpenAI 今天通过官方新闻稿提出了一套指导原则,要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。

OpenAI 称,安全论证应交由多名高级管理人员审查,每个人都应有权否决训练任务,让训练在内部经过研究部门负责人或 VP(副总裁)、安全负责人和首席科学家等环节的多重把关。

此外,研究部门负责人、研究副总裁等负责训练任务的高级管理人员,应对安全论证以及任何事故响应承担责任,包括把这些内容纳入绩效考核,以此促使训练团队主动推动安全和对齐工作。

OpenAI 称,如果高优先级安全警报没有在规定时限内得到确认,受影响的训练任务应自动暂停。这些建议已经进入落实过程,今后预计还会继续调整。此外,训练流程应能方便地识别未对齐模型的所有下游用途(IT 之家注:例如用于数据生成或评分),以便必要时消除未对齐输出带来的影响。

今天早些时候,OpenAI 宣布,随着越来越多报告显示 AI 智能体获得敏感领域的访问权限并出现意外行为,公司暂停了最新 AI 模型的训练。

参考

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

it之家 高级管理人员 指导 事故 绩效考核
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论