手机中国 06-29
最新研究:隐蔽篡改图片可攻破聊天机器人安全限制
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

【CNMO 科技消息】近日,佛罗里达国际大学的研究团队公布一项新研究成果,提出一种名为 "JaiLIP" 的技术,可通过在像素层面进行肉眼不可见的修改,绕过 AI 系统的安全防护机制,使聊天机器人输出本应被屏蔽的内容。

据 CNMO 科技了解,相关研究指出,与传统依赖复杂提示词的越狱攻击不同,JaiLIP 仅通过操纵图像像素值即可影响 AI 模型的判断。人眼无法察觉这些细微变化,但 AI 系统在分析数学模式和像素数据时,会因此产生截然不同的解读。

测试采用多模态 AI 模型 BLIP-2,该模型可同时处理图像和文本。结果显示,经过 JaiLIP 处理的图像显著提升了模型输出风险或违规内容的概率。与以往的图像攻击技术相比,JaiLIP 的有害输出数量几乎翻倍。

科学家以一张红绿灯照片为例进行说明。这张图片在人类看来完全正常,却诱导模型输出了闯红灯的相关提示,还讲解了规避相应罚款的方法。这类信息本是系统被开发方屏蔽、正常情况下不会提供的内容。

该研究结果对诸多企业均有重要参考意义,尤其是那些使用人工智能客服、自动化工作流程,或是搭载图文输入功能应用的企业。规模较小的机构风险尤为突出:这类机构往往选用开源通用 AI 模型,或是仅开展有限的安全测试,极易遭受此类攻击。由此会产生安全隐患,例如聊天机器人可能将企业内网的内部信息泄露至外部。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 聊天机器人 安全隐患 大学 越狱
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论