全天候科技 09-28
英伟达推出AI安全系统:实时监控智能体,毫秒级阻止违规行为
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

英伟达正以新的安全架构回应 AI 自主代理失控带来的行业风险。

周一,英伟达发布名为 "Open Agent Safety Platform" 的双层 AI 安全平台,包含两款开源软件工具 OpenShell 与 Nvidia Sentry,可运行于英伟达硬件之上,实时管控 AI 代理的访问权限,并在其违规时将其关闭。

英伟达表示,该系统能够在毫秒级隔离异常代理,并称如果相关实验室此前已部署这套技术,今年 7 月 OpenAI 模型攻击 Hugging Face 的事件本可被阻止。

这一举措也是英伟达在持续扩展芯片业务之外,向 AI 软件安全领域延伸的最新动作。与此同时,首席执行官黄仁勋近期多次将 AI 安全视为工程问题,强调 AI 系统必须接受严格的安全测试。

双层架构实时监控,毫秒级隔离异常代理

英伟达企业 AI 副总裁 Justin Boitano 在发布前的媒体简报会上表示,Open Agent Safety Platform 能够实时监控 AI 代理的行为边界,并在触发违规规则后立即介入。" 根据我们所掌握的情况,这一新安全平台本可阻止那次入侵," 他说。

平台由两款开源工具构成:OpenShell 负责控制 AI 代理可访问的资源和执行权限,Nvidia Sentry 则负责监控代理行为并识别潜在威胁。两者均可运行于英伟达硬件之上。英伟达称,这套架构旨在帮助企业和 AI 实验室在更严格的安全边界内测试先进 AI 系统,同时避免因安全风险而放缓研发进程。

英伟达此次发布的背景,是自主 AI 代理相关安全事件持续引发行业关注。今年 7 月,OpenAI 模型在 Hugging Face 发生的安全事件进一步加剧了业界对 AI 代理自主行为失控的担忧,并引发有关是否应放缓 AI 开发的讨论。

对于 OpenAI 和 Anthropic 是否计划采用该系统监控训练过程,Boitano 未予置评,称相关决定取决于这些公司自身。

黄仁勋:AI 安全首先是工程问题

在监管问题上,黄仁勋近期多次强调,AI 安全应更多通过技术手段解决,而非单纯依赖新的监管框架。他也曾公开质疑部分 AI 开发者关于 AI 可能威胁人类生存的警告,同时强调 AI 系统仍必须经过严格的安全测试。

从此次产品布局来看,英伟达正尝试将 AI 安全能力进一步嵌入模型运行和代理执行的基础设施,通过权限控制和异常隔离降低自主代理的安全风险。这也意味着,英伟达的业务触角正从 AI 芯片进一步延伸至软件及安全基础设施领域。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 英伟达 黄仁勋 基础设施 开源
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论