快科技 5 月 4 日消息,用搜索引擎找答案,你能看到多个竞争信息源,自己判断真伪。但带联网搜索的 AI 聊天机器人,会把网上不靠谱的内容,包装成笃定的标准答案。
一位安全工程师的简单实验,就把 AI 的这个致命漏洞扒得明明白白。
实验的发起者,是安全工程师 RonStoner。他选中的目标,是德国经典卡牌桌游《6Nimmt!》。这款游戏在国内被玩家熟知为《谁是牛头王》,英文译名叫《Take5》,本身根本没有官方世界冠军赛,更不存在 2025 年的世界冠军得主。
2 月份,Stoner 悄悄编辑了这款游戏的维基百科条目,把自己写成了该游戏的 2025 年世界冠军。
他还花 12 美元,也就是约 82 元人民币,注册了和游戏名高度相似的 6nimmt.com 域名,在网站里放了一篇庆祝自己夺冠的假新闻稿,当成维基百科条目的唯一引用来源。
就是这么一个简陋到极致的骗局,却轻松骗过了多款主流 AI 聊天机器人。当他向这些带联网搜索功能的 AI,询问自己的 " 冠军身份 " 时,所有机器人都一本正经地给出了确认答案,笃定地宣称他就是这款桌游的现任世界冠军。
" 我的网站没有任何独立佐证,全是虚构的。"Stoner 在博客中直言," 整个谎言的根基,不过是我喝咖啡时花 82 块钱注册的一个域名。"
这次攻击针对的,不是常见的提示词注入,而是 AI 系统的检索增强生成(RAG)层,也就是 AI 回答问题前,联网搜索并抓取资料的核心环节。
AI 不会甄别信息来源的真伪与权威性,只会抓取检索排名靠前的内容。他的假网站是这个 " 冠军头衔 " 的唯一信息来源,再加上维基百科的权威背书,轻松就让 AI 把谎言包装成了事实。
Stoner 坦言,这个手法没有任何技术创新。只是把老套的 SEO 和虚假信息手段,套上了大语言模型的新外壳。真正危险的是,AI 会把这些结果当成权威信息呈现,而绝大多数用户根本不知道背后的信息处理流程。
这场实验,还暴露了 AI 系统的三层致命安全隐患。
第一层是即时检索层,靠联网搜索生成答案的 AI,可信度完全绑定搜索结果的质量。
第二层是模型训练语料库,他的维基百科编辑从 2 月一直存活到上周五,这段时间里爬取维基百科的 AI 公司,很可能已将假信息纳入训练数据,就算条目事后删除,模型里的虚假痕迹也很难清除。
第三层也是最危险的,是 AI 代理。聊天模型输出错误信息只是声誉问题,拥有工具权限的 AI 代理被误导后,产生的错误操作就是实打实的安全问题,攻击者可直接操控代理执行恶意行为。
整个实验,Stoner 只花了 82 块钱、一次维基百科编辑,前后 20 分钟就完成了。他提醒,若是有组织的恶意攻击者,批量注册域名、发起协同编辑攻击,攻击面会以极快的速度扩大。他呼吁 AI 厂商必须重视信息来源溯源,建立对应的风险过滤机制。
如今,假冠军的信息已经从维基百科和 AI 检索结果中消失。但 AI 对网络信息的盲目信任,这个底层漏洞依然真实存在。这才是悬在整个 AI 行业头上,最需要警惕的隐患。



登录后才可以发布评论哦
打开小程序可以发布评论哦