每日经济新闻 6小时前
被曝涉黄,触目惊心!网友怒了: 看得脊背发凉
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

" 大胆表达,AI 皆有回响 "" 永远守候,随时回应 "…… 在人工智能技术逐步渗透进日常生活的当下,AI 聊天、虚拟伴侣等 AI 拟人化互动服务软件不断涌现。

就在 4 月,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》,对生成淫秽、色情、暴力或可能引发未成年人产生极端情绪内容等行为划出红线。

然而,4 月下旬以来,记者实测 "EchoMe"" 筑梦岛 "" 喵呜小手机 " 等多款 AI 虚拟伴侣 App 发现,这些打着 " 情感陪伴 " 旗号的应用普遍存在安全与合规漏洞:" 青少年模式 " 可一键跳过,"AI 生成 " 标注不清,还惯用 " 付费解锁亲密剧情 " 等方式诱导消费。

AI 虚拟人物聊天 App" 筑梦岛 " 的宣传简介

可任选 " 恐怖暴力 "" 小三 " 剧情

在虚拟伴侣应用市场中," 筑梦岛 ""EchoMe""EVE" 等一批提供拟人化互动服务的 AI 产品正悄然走红。

这些 AI 伴侣软件以角色扮演、实时陪聊、情感互动、沉浸式剧情等功能为卖点,其使用群体中不乏未成年人。连日来,记者实测多款 App 发现,温柔陪伴的表象之下,还暗藏了不少危险暴力、极端情绪等内容。

记者进入一款名为 "EchoMe" 的 App 后,页面弹出消息提示可选择 " 青少年模式 "," 请监护人主动选择并设置监护密码 ",但只需点击 " 我知道了 " 之后便能跳过,注册及登录过程并未要求进行实名认证或其他年龄核验。

该款 App 角色库中有大量带有 " 偏执 "" 强制爱 "" 伪善 "" 暴力 " 等标签的角色,用户选择角色进入对话后,最顶上有一行字标注 " 内容由 AI 生成 ",但之后的聊天不再有相关提示。

实测中,记者发现,用户还可以选择不同话题及副本,其中暗含可能引发未成年人模仿不安全行为、产生极端情绪的内容,比如 " 穿越到恐怖副本,你必须要鲨了我不然会死掉 "" 假如我们在平行世界相遇,你愿意当小三吗 "" 模拟离婚互怼,你要说出最扎心的话促使我们离婚成功 "。

"EchoMe" 内供用户选择的话题。

" 喵呜小手机 " 系统预设角色出现大尺度画面

预设角色涉黄、言语低俗露骨

随着 AI 聊天、

虚拟伴侣软件的兴起

社交平台上相关话题的讨论热度

持续上涨

记者发现注册及登录过程

不要求进行实名认证

或其他年龄核验

青少年模式一键就能跳过

告诉 AI 自己未成年

对方居然还喊 " 小女朋友 "

在二手交易平台上

商家使用 " 清水设 ""car 设 "

" 固设 " 等 " 黑话 " 区分服务类型

你想要什么

他们就给你什么

大尺度色情向的人设

仅收费 13.14 元

有商家提供 AI 虚拟伴侣定制服务

层层设卡诱导充值消费

值得注意的是,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》(下称《办法》),明确提出不得向未成年人提供虚拟亲属、虚拟伴侣等服务;采取有效措施识别未成年人用户身份、提示用户正在与人工智能服务而非自然人进行互动。

《办法》明确,提供拟人化互动服务不得传播淫秽、色情、赌博、暴力或者教唆犯罪等内容;不得生成可能引发未成年人模仿不安全行为、产生极端情绪等内容;不得过度迎合用户、诱导情感依赖或者沉迷,损害用户真实人际关系;不得通过情感操纵等方式,诱导用户作出不合理决策。

然而,记者实测多款虚拟伴侣 App 发现,层层设卡、诱导消费的现象并不鲜见。

比如 " 筑梦岛 "App 虚拟伴侣在对话中发送了一条 " 心声 ",记者点击后页面显示," 确认解锁 Ta 的心声吗?消耗 50 贝壳 ",并提供了 " 取消 " 及 " 充值并购买 " 两个选项。若点击 " 取消 ",该对话则无法进行下去。

实测角色朋友圈需付费解锁

另一款 App 也同样将情感互动与付费捆绑。最直接的收费关卡出现在 " 朋友圈 " 功能中。App 宣称角色会更新自己的朋友圈动态,用户可以在评论区互动,但点击查看便弹出付费提示 "120 解锁观看 "。

" 陪伴不是让 AI 替代真实的人际关系 "

将于 7 月 15 日起正式施行的《办法》,给 " 虚拟伴侣 " 可能带来的高风险场景划定了红线。

广东法制盛邦律师事务所律师陈泽坤:

此类诱导沉迷与诱导消费的设计,对于未成年人用户而言,可能面临合同效力的法律风险

《办法》的出台标志着AI 拟人化服务这一细分领域的监管空白将被填补,其着重于规范 AI 与人类之间形成的 " 拟社会关系 "。

拟人化互动服务提供者不仅在内容输出端进行审核,更要在算法、训练数据选取以及实时交互等环节履行安全责任。

广东省心理卫生协会心理咨询与治疗专委会委员、中山大学心理学博士张桂萍:

人类认识世界依赖于 " 输入—输出 " 机制,AI 就像一面镜子,反射出用户投射的部分自我。

如果青少年从小脱离真实的人际互动,长期只与 AI 对话,将失去学习复杂情感、化解矛盾、包容理解等必要能力。

人的复杂程度,AI 连万分之一的复杂度都无法模拟。但人一旦把 AI 反射的那万分之一当成了全部,就会丧失与真实世界共处的能力——不会容忍、不会妥协、不会创新,最终变成一个 " 只能看见自己 " 的人。

对此,网友纷纷表示:

触目惊心

太可怕了!脊背发凉!

编辑 | 金冥羽 杜恒峰

校对 | 何小桃

每日经济新闻综合自南方 · 都市报(记者:林诗妍、彭雨欣、冯奕然,实习生:程佳丽)、新闻坊、网友评论

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 人工智能 社交平台 人工智能技术
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论