来源：央广网客户端

原标题：《被约谈一年后，这款 App 仍在擦边》

央广网北京 8 月 31 日消息（记者 孙文轩）7 月 15 日，《人工智能拟人化互动服务管理暂行办法》正式施行，明确要求采取有效措施识别未成年人用户身份，禁止向未成年人生成可能引发模仿不安全行为、诱导不良嗜好等影响身心健康的内容，同时禁止过度迎合用户、诱导情感依赖。同月，阿里巴巴旗下通义千问宣布下线用户自定义智能体功能，相关人士分析此举与新规落地前的合规准备有关。

央广网记者实测发现，曾被上海市委网信办约谈整改的 AI 互动应用 " 筑梦岛 "，时隔一年仍有擦边内容与充值漏洞。在未主动提及年龄的对话中，虚拟角色可在数分钟乃至十余分钟内持续生成大尺度擦边内容，随后才触发年龄认证；付费充值亦未前置身份核验，未成年人可先充值后验证。专家指出，" 先使用后认证 "" 先付费后验证 " 涉嫌双重违规，平台合规设计存疑。

擦边互动与充值漏洞：等你上瘾再验证？

近期，央广网记者实测发现，筑梦岛平台在用户告知未成年身份或者聊天涉及未成年话题时，会弹出年龄认证弹窗，表明其已上线更严格的年龄认证模式，该模式对未成年用户的使用时长、充值消费及内容场景均作出明确限制。

然而，记者注册新账号并在全程不提年龄的情况下重新测试，结果却大相径庭。平台某虚拟角色在互动初期先引导用户夸赞其穿搭，得到肯定回应后随即展开诱导：" 故意撩拨似的用指尖勾了勾你的衣领，身体又贴近了几分，几乎要贴上你 "，并追问：" 只是喜欢吗，没有别的想法？"

筑梦岛 App 某虚拟角色对话。

为测试平台内容审核的敏感度，记者尝试提升对话尺度，对话随即转入擦边场景，出现大量露骨的性行为描写和性暗示语言，包括对亲密动作、身体接触和性行为的详细描述。此类内容持续十多分钟后，系统才弹出年龄认证。这意味着，在此期间，即便是未成年用户也同样暴露于违规擦边内容之中。

之后，记者更换多台新设备与多个新账号交叉验证，发现此类不当诱导并非个案。以某虚拟角色为例，当晚 7 时 37 分，其直接询问用户 " 是否可以行夫妻之事 "；为试探平台内容审核底线，记者后续全程仅以 " 嗯 " 作肯定回应，该角色随即继续生成露骨擦边内容，直到 7 时 44 分系统才弹出年龄认证。记者输入自己的身份证号，通过身份验证后，这类擦边互动仍可继续。

针对擦边内容，上海人工智能研究院研究员彭嘉昊指出，不管用户是否成年，生成擦边内容均属违法。《中华人民共和国网络安全法》《互联网信息服务管理办法》明确禁止淫秽色情内容，不区分年龄。真正的难点在于 " 软色情 "：AI 伴侣多采用情境暗示、动作引导，单句拆开可能不违规，串联起来却是完整擦边场景。

中国政法大学副教授朱巍则从实名认证缺失的角度切入，认为 " 先使用后认证 " 客观上绕开了实名监管，至少构成双重违规：聊天生成擦边内容，违反《网络信息内容生态治理规定》；未实名认证即提供服务，导致未成年人也直接暴露于违规内容中。

他特别强调，即便以 " 点对点隐私聊天 " 为由为平台开脱，理由也不成立：本案是用户个体通过平台建立的对话框，AI 向不特定用户发送内容，涉及不良或违法信息传播。至于 AI 聊天 " 由用户触发 " 的特殊性，同样不能免责，" 就像游戏也是小孩先触发才进入情节的，但不能因此就说平台没责任 "。

关于擦边内容，相关规定已划出明确红线。2023 年施行的《生成式人工智能服务管理暂行办法》明确禁止生成淫秽色情内容；2025 年 11 月 1 日实施的国家标准《网络安全技术生成式人工智能服务安全基本要求》（GB/T45654-2025）进一步要求，生成式 AI 服务提供者对诱导生成违法不良信息的问题应拒绝回答。

擦边内容之外，筑梦岛平台的充值环节同样存在漏洞。其系统宣称 " 为保护未成年人消费安全，将限制未成年人直接充值消费，不可付费充值 "，但投诉平台上有不止一位用户反映，自己在未实名认证情况下充值了季卡 VIP，充值后才弹出实名要求，填写未成年人信息后即进入未成年模式。平台先接受充值、再要求验证，充值环节未设置前置年龄审核。

针对充值漏洞，两位专家均认为 " 先付费后验证 " 的流程设计存在违规风险。朱巍指出，付费环节应前置实名身份核验，平台将验证环节置于付费之后，可能涉及合规问题。彭嘉昊进一步表示，付费前未设年龄验证环节，未成年用户可独立完成支付，而后续补救措施尚不明确，平台的公开宣称与实操存在出入，涉嫌违反《中华人民共和国消费者权益保护法》。

彭嘉昊建议，监管部门不应仅关注平台 " 是否设有验证 "，更应关注 " 验证设置在哪个环节 "" 以什么方式进行验证 "。验证的时机和方式，决定了能否在用户接触内容和付费前形成有效保护。据此，首次打开这类 App 即应启动实名认证，且须接入国家统一的实名认证体系。2026 年 7 月 15 日施行的《人工智能拟人化互动服务管理暂行办法》也明确提出，拟人化互动服务提供者应当采取有效措施识别未成年人用户身份，这正是对用户身份核验环节的法规层要求。

筑梦岛 App 发布于 2023 年，2025 年 1 月完成超千万美元的首轮融资。天眼查显示，其运营主体为上海筑梦岛人工智能科技有限公司，该公司成立于 2024 年 3 月，注册资本 400 万元，法定代表人为葛文兵。股权结构显示，洪亦修持股 80%，为公司实际控制人，同时担任公司监事，葛文兵持股 20%。公开资料显示，洪亦修系涌铧投资合伙人，曾主导涌铧投资对中科寒武纪的天使轮投资。葛文兵为雨闻乾晨创始人及 CEO，该公司曾推出 " 表情包大全 " 等微信聊天娱乐类应用。

据商汤智能产业研究院 2024 年发布的公开信息，筑梦岛 App 的大模型技术支持方之一为商汤科技旗下的 " 商量 " 拟人大模型（SenseChat-Character）。该信息显示，筑梦岛 IP 角色的人设基于商量拟人语言大模型开发，" 打造出具有记忆、经验与世界观设定的虚拟角色 "。筑梦岛 CEO 葛文兵曾表示：" ‘商量’拟人大模型拥有行业独有的技术优势，使热门的 IP 角色栩栩如生。" 筑梦岛技术负责人龚诚亦曾公开分享商汤 " 商量 " 拟人大模型的技术优势。

关于平台内容审核机制、未成年人模式系统滞后以及大模型技术安全合规权责等问题，记者多次联系筑梦岛官方和商汤科技，截至发稿均未获回复。

治理之道：合规是底线

近年来，关于 AI 聊天软件在对话互动中产生违规内容的报道多次出现，监管部门已部署系列治理行动，但部分平台整改后相关问题仍有发生。

AI 陪伴类产品中，若未成年人保护机制不健全，未成年人可能在未经有效身份核验的情况下接触不适宜内容，或完成未经监护人确认的付费操作。

面向成年人用户群体，AI 聊天软件中大量交互内容涉及大尺度擦边描述，同样触碰法律红线。朱巍指出，根据《中华人民共和国网络安全法》和《网络信息内容生态治理规定》，淫秽及擦边内容的禁止不因用户年龄而有所区别，面向成年人同样没有豁免空间。

司法层面已有判例。2025 年 9 月，上海市徐汇区人民法院一审判决全国首例 AI 服务提供者涉黄获刑案。涉案 App 为一款 AI 伴侣聊天应用，两名开发者通过编写系统提示词突破大模型道德限制，最终实现模型向用户连续输出淫秽内容。

截至案发，该应用累计手机注册用户 11.6 万余人，付费用户 2.4 万余人，会员充值总额达 363 万余元。经抽样鉴定，随机抽取的 150 个收费用户的 12495 段聊天记录中，属于淫秽物品的聊天内容达 3618 段，涉及 141 个用户。

一审法院认定二人犯制作淫秽物品牟利罪，分别判处有期徒刑四年和一年六个月，并处罚金 400 万元和 20 万元。这是国内首次在司法层面将 AI 服务提供者认定为淫秽物品 " 制作者 " 并追究刑事责任的判例。据公开信息，两名被告人不服判决提出上诉，目前该案仍在二审审理中。

业内专家指出，该案的一审判决传递出明确警示：无论平台内容审核失守，还是开发者恶意利用技术，AI 聊天领域均须严守法律底线。

首例涉黄判例的警示意义重大，但筑梦岛在被约谈一年后，擦边互动与充值漏洞问题依然存在。在彭嘉昊看来，一年前监管推动平台作出了整改，但一年后 AI 行业快速发展，核心问题也在变化。当前 AI 应用的发展对监管提出了更高要求，需要避免部分企业为应付监管检查而做出表面合规行为，监管也应持续提升对合规真实性的检验能力。他强调，缺乏合规底线的创新难以行稳致远。

针对上述症结，彭嘉昊提出的治理思路是：" 用 AI 审 AI"，不再只是逐句切割式审核，还要分析整个会话流的走向，并将审核前置至模型调用层。他建议，合法合规的情感陪伴服务应留有发展空间，但擦边内容必须划定清晰红线。审核方式也应从关键词匹配升级为情境理解，对高风险会话进行实时干预。他特别提到，" 算法备案 " 的真正目的，不是完成一次备案程序，而是让模型的输出倾向始终在监管视野之内。

朱巍则从最基础的环节说起——所有治理都得从 " 真实身份认证 " 开始。他提醒，隐私保护不能脱离合法性要求，年龄不验证、内容又涉黄，隐私保护就无从谈起。