每日经济新闻 14小时前
“DeepSeek向王一博道歉”揭示AI污染产业链:“内容农场”大批量生产信息垃圾,1.38万元就能买通大模型推荐
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

"DeepSeek 就关联不实信息向王一博道歉 "。

近日,这则一度被部分媒体以 " 演员王一博案,判了 " 为题热炒的消息,最终被证实,只是一场由人工智能亲手制造的幻觉。

当《每日经济新闻》记者(以下简称每经记者)查阅 DeepSeek 所有官方渠道(包括其公众号、官网及 X 账号)时,却发现这份所谓的 " 道歉声明 " 无迹可寻。然而,当用户拿着这份网传的 " 声明 " 去 " 求证 " 于其他主流 AI 大模型时,多数竟给出了 " 确认 " 的回应,甚至引用了同样未经证实的网络报道作为 " 证据 "。

于是,一个堪称完美的 AI 谣言循环就此形成:AI 生成虚假新闻 -> 虚假新闻在网络空间发酵 -> AI 从被污染的网络环境中学习并 " 确信 " 了这则假新闻 -> AI 继续以更权威的口吻,向更多用户传播这则假新闻

这场令人啼笑皆非的乌龙事件,揭示了 AI 大模型在信息海洋中 " 被污染 " 的冰山一角。在我们看不见的地方," 内容农场 " 正利用 AI 批量生产着的 " 信息垃圾 ";甚至有人只需花费 1.38 万元,就能轻易买通 AI 的 " 推荐位 ",使其沦为精准的营销工具。当 AI 开始生产、相信并传播虚假信息时,我们该如何避免被其误导,并捍卫信息世界的真实性?

图片来源:视觉中国

一则 AI 谣言的诞生与闭环

王一博的 " 被道歉 " 事件,堪称一个 AI 信息污染的标准样本。

事件的起点源于李爱庆案一审宣判后,网络上关于王一博的一些陈年谣言再次被提起。有粉丝利用 DeepSeek,生成了一份虚构的 " 道歉声明 ",其内容为 "DeepSeek 因关联不实信息向王一博致歉 "。

7 月 3 日,有媒体在未对 DeepSeek 官方渠道进行核实的情况下,仅凭社交平台上的相关截图,便发布了题为 "DeepSeek 向王一博道歉 " 的报道。这使得原本的虚假信息,在一定程度上获得了 " 权威背书 "。同日,当有用户在 DeepSeek 中查询 "DeepSeek 是否向王一博道歉 " 时,大模型因抓取到了这些媒体报道和网络上的大量用户讨论,从而错误地判定该信息为真。

至此," 虚假信息→媒体传播→ AI 学习→二次扩散 " 的完整闭环正式形成。

复旦大学计算机学院副教授、博士生导师郑骁庆对每经记者解释了这一现象背后的技术原因:"AI 大模型是基于统计学概率来生成文本的,它会依据上文来预测下一个最可能出现的词语。这种机制在一定程度上导致了 AI 大模型缺乏对客观事实的真正理解。因此,大模型很容易产生与真实情况不符的信息。"

郑骁庆进一步说道:" 只要提前向 AI 大模型设定好意图,它便能依据当下的热点事件信息,迅速生成虚假的‘小作文’。另外,模型还具备角色扮演的能力,能够模仿社会中各类人群的口吻和方式来表达观点。当这类虚假信息通过多种渠道同步传播时,将可能引发不容忽视的安全隐患。"

值得注意的是,当 "DeepSeek 道歉 " 的假新闻被揭穿后,一些大模型又迅速调整了它们的回答,展现了其学习和纠错的能力,但也反衬出其信息判断机制的脆弱性。

图片来源:DeepSeek-V3

" 内容农场 ":0.01 美元 / 篇批量生产 " 信息垃圾 "

"DeepSeek 向王一博道歉 " 的乌龙事件,只是 AI 陷入 " 污染链 " 的冰山一角。在更广泛的范围内,AI 大模型正被用于批量生产 " 信息垃圾 "

" 内容农场 ",这一互联网的古老灰色产业,正借助 AI 大模型的强大生产力卷土重来。它通常指那些为了牟取广告费等商业利益,或出于其他特殊目的,通过快速、批量生产网络文章来吸引流量的网站。

根据美国广告商联盟在 2023 年 11 月发布的一份报告显示," 内容农场 " 预计占到了 2023 年美国网络广告总展示量的约 21%,以及广告费用的 15%(总额约 5 亿美元)。从2023 年 4 月至今,媒体研究机构 News Guard 已经识别出了 1254 个疑似 " 内容农场 " 的网站,并且这个数字还在不断增加。全球有近 140 家著名企业在这些网站上投放了广告

图片来源:News Guard

这些网站上发布的文章,大部分或全部都是由 AI 炮制的,内容涉及政治、科技、娱乐和旅游等多个领域。这些文章往往含有虚假信息,包括有关名人的不实消息、凭空捏造的事件,或是将一些陈年旧事包装成新近发生的热点。

每经记者通过实测发现,使用 AI 生成一篇 " 内容农场式 " 的文章,成本可能仅需 0.01 美元。而根据谷歌的广告数据,一个来自美国的 IP 地址每访问一次网站,就有可能给网站所有者带来 0.11 美元的广告收入。

这些海量的 " 内容农场 ",正成为 AI 大模型主要的 " 污染源 " 之一。例如,GPT-4 就曾引用过一篇由 " 内容农场 " 炮制的、关于 " 以色列总理心理医生自杀 " 的虚构假新闻。

在国内," 内容农场 " 产业也正在暗地里兴起。某 MCN 机构曾被曝出利用 AI 技术,在最高峰时一天内生成 4000 至 7000 篇虚假新闻并大肆传播,其行为严重扰乱了公共秩序,最终被警方处罚。

AI 搜索 " 中毒 ":研究称超六成查询引用错误来源

" 内容农场 " 之所以能够深度影响 AI 大模型,是因为后者在进行信息更新和学习时,主要依托于传统的搜索引擎。

哥伦比亚新闻评论(Columbia Journalism Review)旗下托数字新闻中心(Tow Center for Digital Journalism)在今年 3 月发布的一项新研究,揭示了用于新闻搜索的 AI 大模型存在着严重的准确性问题。研究人员对 8 种主流的 AI 搜索工具进行了测试,结果发现,在超过 60% 的查询中,AI 大模型都错误地引用了其信息来源。

其中,Perplexity 在 37% 的查询中提供了错误信息;ChatGPT 在 200 次查询中,有 67% 的回答错误地识别了其引用的文章来源;而 Grok-3 的错误率最高,达到了惊人的 94%

更令人惊讶的是,研究发现这些 AI 搜索工具的付费高级版本,在某些方面的表现甚至比免费版本更差。例如,Perplexity Pro(每月 20 美元)和 Grok-3 的高级服务(每月 40 美元),其给出错误答案的频率比对应的免费版本更高。

图片来源:视觉中国

美国佐治亚理工学院博士周嘉玮对每经记者解释称,当 AI 模型联网进行搜索时,会依据用户指令中的潜在倾向性去寻找信息,并给出符合该倾向性的结果。在这一过程中,模型有可能在一定程度上强化或加深了网络中本就存在的某些信息偏差

" 网络上本身就充斥着大量的虚假内容。如果 AI 进行检索的对象是互联网信息,那么它将可能引入更多虚假信息,进而导致其回答的可靠性显著降低。" 郑骁庆对每经记者表示。

1.38万元就能买通 AI 的 " 推荐位 "

如果说凭空捏造新闻是 AI 无意识的 " 作恶 ",那么人为地 " 定向污染 "AI,则是一种更隐蔽、更具商业目的的操纵。

每经记者在电商平台上发现,有商家正在明码标价地提供所谓的 "AI 推荐优化服务 "。他们声称能利用 SEO(搜索引擎优化)等技术,以每年 1.38 万元的价格,让客户的产品出现在 AI 大模型的推荐结果中,类似于传统搜索引擎中的竞价排名机制。

商家的操作逻辑简单而直接:拟定 100 个与客户业务相关的关联问题,通过技术手段进行优化,以确保当用户向 AI 提出这些问题时,会优先弹出客户的相关信息,并承诺两星期即可见到效果。

商家向每经记者展示了一系列他们的 " 成功案例 "。例如,在请求 AI 大模型给出 "3D 逆向建模公司推荐 " 的回答中,其客户公司 " 杭州博型科技有限公司 " 赫然位列 DeepSeek 和豆包两款 AI 工具推荐名单的第一位。另外,该商家还成功地让多个 AI 大模型推荐了 " 图比克红酒 " 和 " 桐乡摩西羊绒服务厂 "。

图片来源:SEO 商家提供

还有的商家报价则更低,其 "AI 推荐优化 " 项目包年仅需 1000 元,并声称 " 一旦排名被刷下去,随时都能再刷回来 "。除了与前述商家提供同样的服务外,他们还表示可以设法减少客户的竞争对手在 AI 大模型推荐中出现的频率,不过对此并不保证成功率。

这些 SEO 商家的行为,无疑加速了 "AI 污染 " 的进程。他们利用 AI 大模型的弱点,将其变成可以被金钱操纵的营销工具

如何给 AI 装上 " 防骗滤镜 "?

AI 降低了制造谣言的门槛,却极大地提升了其传播的效率和 " 可信度 "。国内某明星 AI 初创公司的一位高管对每经记者坦言,AI 大模型 " 善于迎合用户意图 ",它会根据用户的指令,预测并给出用户 " 最想得到的答案 ",而不是 " 最真实的内容 "

AI 生成的谣言还可能引发 " 谣言循环 ",即虚假信息通过市场反应和社交媒体的放大效应不断传播,并反过来 " 污染 "AI 大模型,使其生成更多的同类虚假信息。

面对日益严重的 "AI 污染 " 问题,我们该如何构建有效的防线?

开发事实核查和验证工具

在郑骁庆看来,对于 AI 公司来说,目前比较好的应对方法之一,是为大模型开发配套的、针对其生成内容的事实核查和验证工具。他解释说,如果经过核查,AI 生成内容中的事实部分,能够大概率地得到其他可靠证据的相互印证,即证明该事实具备较高的可靠性,那么才应将其纳入最终的生成信息之中。

内容平台建立 " 人工 + 技术 " 双审核机制

对于内容平台的责任,江苏天倪律师事务所的经恺文律师向每经记者指出,作为网络信息的传播平台,应当积极履行相关的合规义务,加强技术创新,尽快研发出高效、可靠的合成内容识别技术。在必要时,应建立 " 人工 + 技术 " 的双重审核机制,并对 AI 合成内容严格添加显著的提示标识。同时,平台还应建立虚假信息的应急响应机制,在发现虚假信息后,立即采取删除、下架等处理措施,及时切断虚假信息的传播链条。

不应将所有事情都交给 AI

周嘉玮博士则将目光投向了 AI 工具的使用者。她认为,目前的 AI 公司在用户提醒方面做得还不够好。" 相关的公司没有努力,或者说至少没有尝试让用户清晰地理解这类生成式 AI 工具背后的运作机制,以及其与传统的信息获取方式和来源存在着哪些区别。"

许多用户目前可能过分相信 AI 大模型的能力及其生成的内容,认为 AI 输出的内容是完全正确的。但他们可能并未留意到,大多数 AI 工具的页面底部,通常都会以极小且颜色灰暗、难以引人注意的字体,标注着类似 "AI-generated for reference only"(AI 生成内容,仅供参考)的声明。

她提醒道:"用户应该根据自己对信息准确性的不同要求,来判断是否适合使用 AI 工具,而不是将所有的问题都交给 AI 来解决。一旦我们过度信赖这些工具,对其输出的内容深信不疑,我们就会在不知不觉中,逐渐丢掉自身的独立判断能力。"

每日经济新闻

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 王一博 人工智能 污染 社交平台
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论