Photo by Bermix Studio on Unsplash  

© 产业象限原创

对话丨钱江

编辑｜山茶

" 我在群里看到你，是你吗？"

在韩国，如果有朋友给你发来这句问候，不要误会，他大概率不是要和你叙旧，因为接下来他给你发的，很可能就是你的裸照。

看着屏幕，你如遭雷击，脑子一片空白。虽然你百分百确认自己从来没有拍摄这样的照片，可手机屏幕里的那个人眉目清楚，却又分明就是你。

你不明白发生了什么，心脏被攥紧，恐惧开始在全身蔓延。

照片当然和女孩儿无关，它是由一种名叫深度伪造（DeepFake）的技术生成，这种技术在国内更被人熟知的称呼是 "AI 换脸 "。在如今的韩国，这种技术正在变成一团巨大的阴影，笼罩在所有女性的头顶，带来恐慌和迫害。

在韩国，犯罪者通过 DeepFake 将普通人的形象替换到色情图片或视频中，然后通过社交媒体上进行传播，对当事人进行羞辱。

据《朝鲜日报》的报道，最近一周在警方发现的相关 Telegram 社群里，参与制作和传播 DeepFake 的加害者已多达 23 万人。这些人不局限在韩国，也来自世界各地。

另据一位韩国网友在 X 上发布的帖子表示，受到 DeepFake 影响的受害者已经遍及韩国数百所国中、高中和大学。这些受害者中，80% 是女性，她们有的还在念初高中，属于未成年人、有的是大学生或者教师，其中甚至包括女性军人，她们的照片被称为 " 军需品 "。

▲ X 上披露受 Deepfake 技术影响的校园名单

回顾这场风暴，DeepFake 无疑是其中的关键。但它却并不是一项新技术，最早出现在 2016 年的 DeepFake 到如今已有将近十年的历史。

这十年间，DeepFake 一直游走在罪恶和法律的边缘，不断挑战着人性和道德的底线。从美国到中国，从韩国到印度，DeepFake 每隔一两年就会有一次技术突破，然后又给这个世界带来一场更大的恐慌。

技术有罪吗？DeepFake 好像确实如此。但技术真的有罪吗？却似乎又与 DeepFake 无关。

被害人，从明星到百姓

追溯起来，DeepFake 最早出现在 2016 年。

当时，机器视觉还是全球 AI 研究最热门的方向之一，一些研究人员在研究机器视觉的过程中使用 DCNN（深度卷积神经网络）实现了人脸识别、表情转换以及其他与图像处理相关的任务，这是 DeepFake 最早的雏形。

差不多一年之后，以这些技术为基础，科研人员进一步采用 GAN（生成对抗网络）实现了生成逼真的人脸图像。之后，" 换脸 " 很快以极具破坏性的首秀向大众展示它的威力。

2017 年，一位 Reddit 用户在 Reddit 新建了一个名为 "DeepFake" 的社区，开始用名人的肖像来制作色情内容进行传播。知名女星斯嘉丽 · 约翰逊（Scarlett Johansson）、加尔 · 加朵（Gal Gadot）都成为了受害者，其带来的恶劣影响，也曾喧嚣一时。

后来，这个社区虽然被很快删除了，但 "DeepFake" 这个名字却被保留了下来，并成为 AI 合成内容的代名词。

在这个阶段，DeepFake 还掌握在以学术研究为主的少数群体手中，导致它的使用仍然存在一些门槛。直到 2019 年，开源工具 FaceSwap 将 DeepFake 的应用从学术研究普及到大众，然后第一个广泛流行的 DeepFake 应用 FakeApp 就随之出现，它让非技术人员也能轻松创建 DeepFake 视频。

DeepFake 从此开始越来越普遍，从 2019 年到 2020 年，DeepFake 频繁引发各类公共事件，其影响范围也从娱乐色情扩展到经济社会的各个方面，甚至包括总统选举。

而韩国新 N 号事件最大的一个变化在于，它说明 DeepFake 的受害者正在加速平民化，未来 DeepFake 的受害者，不再局限于明星政要，包括你我在内，每一个人都有可能成为新的受害者。

▲ DeepFake 相关代表事件

如今，随着 AI 大模型技术的发展，制作一张 DeepFake 图片的成本几乎已经可以忽略不计。

这次韩国新 N 号房之所以波及范围如此之广，一个重要的原因是，在 Telegram 上随便加入一个 DeepFake 的社群，就会获得两次免费的图片生成机会。

" 将你喜欢的女生照片发给我。" 这是很多人加入在 Telegram 上加入 DeepFake 社群的第一步。

两次免费的生成机会之后，新的内容生成虽然需要付费，但价格也并不高，每一次只需要支付一颗钻石（Telegram 的一种加密货币，约合 0.49 美元，3.49 元人民币）。而且和所有充值办卡的逻辑一样，充得越多，价格还会越便宜。

当然，你也可以选择不付费，那么你只需要再邀请一位新朋友加入，就可以再获得一次免费生成的机会。由一个人拉来另一个人，罪恶通过熟人关系进行裂变，然后如病毒般扩散 [ 1 ] 。

这也导致另一个问题，那些所有通过 DeepFake 生成的淫秽内容，都由熟人进行制作，并在熟人圈子里进行传播。

比如在韩国学校里，许多人就将身边朋友的照片用来生成淫秽色情内容。很多照片，可能就来自你刚刚生日，或者旅游之后在社交媒体发布的美照。

由于熟人的关系，这些 " 脸 " 属于谁也通常被标记得一清二楚。你可能会莫名收到来自陌生人的短信或者邮件，对方能够明确指出你学校和班级，或者你的工作单位和家庭住址，然后在末尾放上一段由 " 你 " 出演的性爱视频。

▲韩国媒体报道中的 Telegram 截图   图源微博

对于身处其中的受害者而言，这件事情最可怕之处在于，你不知道平日里衣冠楚楚的朋友们，会不会就是这 23 万人中的一员；你不知道之前发布在社交媒体的照片会不会已经被他们保存下来，然后替换到那些淫秽不堪的场景当中。

你不知道他们会把这些照片发给谁，如何对着这些东西对你品头论足，身边又有多少人看过这些内容。

你只知道，这个世界有一双无形的眼睛，在不为人知处默默的注视着、觊觎着你。

8 月份以来，韩国女性开始在国内外互联网平台上进行抗议，要求将 " 加害者 " 绳之以法。但当韩国女性四处求告之时，加害者们却颇有一种漫不经心，不以为然的态度。

有韩国女孩儿截图犯罪者的言论，他们将受害者的抗议当做是一种女权主义，并表示 " 女人们对这件事情过分夸张 "。

韩国媒体的报道中也提到许多有关犯罪者的言论，他们说用熟人的形象制作深伪色情内容" 只是觉得有趣 "、" 只是在开玩笑 "、以及 " 用熟人的照片 P 图更真实 "，而当有人说这样做犯法时，他们甚至发出" 只有傻瓜才会被被警察逮住 "的言论。

▲在微博求助的韩国网友

是的，这件让许多受害者深感痛苦的事情，在许多在许多加害者眼中只是一场 " 游戏 "。

韩国媒体 Pressian 报道，截至今年 6 月，Telegram 上一个名叫 " 朋友 COCKHERO（Cock Hero）chat" 的群聊中 [ 2 ] ，已有数百名参与者上传自己女性朋友的照片或视频，然后利用 DeepFake 将它们制作成淫秽内容。

他们群聊里分享素材和自己制作的内容，甚至有人在群里表示，" 请用我的朋友制作的 Cock Hero 并分享一些感想 "，并将其视为一种荣誉。当然，他们也会对受害女性的外貌，以及被性剥削的可能品头论足。

在这个过程中，参与者被要求提供更多的素材，并表示 " 提供女性朋友的照片和视频越多，生成的深伪内容质量就越好 "。

当然，这也只是数千甚至上万个 Telegram 群聊中的一个，没有人知道 Telegram 上这样的群聊有多少。

而随着参与者的逐渐增多，这场由所谓 " 玩笑 " 引发的深伪色情内容制作正在变得越来越有组织，有预谋，并逐渐有脱离网络犯罪范畴的迹象。

韩国媒体报道，现在已经有越来越多的受害者收到恐吓内容。施暴者通过制造深伪色情内容对受害者进行威胁，并索要钱财。许多加害者甚至开始讨论，如何将受害者绑架并将其变成性奴隶。

正如同潘多拉魔盒里的罪恶，DeepFake 也正在冲破其 " 虚拟 " 的属性，变得一发不可收拾。

答案是管，但管的不多，且不同国家和地区法律能够干预的程度也有所不同。

比如今天 DeepFake 内容泛滥最严重的韩国，虽然在 2019 年的 "N 号房 " 事件和 2020 年 " 传播虚假视频 " 事件后，韩国当局在《性暴力处罚法》中增加了 " 数字性犯罪 " 的概念和相应的处罚条款，但约束能力实在有限。

与非法拍摄的视频不同，在韩国，单纯拥有和观看深度伪造视频是不会受到处罚的。而即使你利用 DeepFake 制作了破坏受害人人格的非法深度伪造图像或者视频，但只要你说你没有 " 以传播为目的 "，你依然可以避免受到惩罚 [ 3 ] 。

这也是韩国在处理新 N 号房事件时出现非常多非常戏剧性案例的原因。

比如在今年一场针对 Telegram 上制作 DeepFake 内容的社群进行调查时，虽然警方知道社群的参与人数达到 1200 人，但却仅有一人被捕。而他被捕的原因，是因为他将群里的 DeepFake 内容传播到了其他地方。除了他之外，这个社群包括运营方在内，没有一个人受到惩罚。

除了韩国之外，美国、英国、欧盟针对 DeepFake 的内容也都有相应的法律，但各个国家的侧重点和保护力度有所不同。

其中，美国的相关法律更倾向于保护政治选举的可靠性。

加利福利亚州明确提出禁止 DeepFake 在政治和性侵害方面的施暴，并且条款具体，比如提出 " 禁止在选举前 60 天内传播可能影响选举结果的虚假视频 "。

但在联邦层面上，美国缺乏统一的 DeepFake 法规。各州的法律执行在跨州和跨国案件中面临困难，尤其是在涉及跨境的 DeepFake 内容传播时，这些法律可能面临执行力不足的情况。

英国的《诽谤法》可以用于打击涉及 DeepFake 的诽谤行为，但这种法律通常需要受害者主动提起诉讼，成本高、时间长，普通人可能难以负担。

虽然英国明确对传播渠道做了规定，但 DeepFake 内容的跨国性传播使得法律的执行复杂化，可能削弱其实际效果。

欧盟的法律相对比较严格，《一般数据保护条例》（GDPR）和《数字服务法》（DSA）通过严格的隐私保护和数字内容管理要求，对 DeepFake 技术的滥用进行限制，并对违反规定的公司施加了高额罚款。这些法律要求平台对 DeepFake 内容负有更高的责任，必须主动监测和移除虚假信息。

▲世界各国 DeepFake 法律法规一览

而与大多数国家不同，中国针对 DeepFake 的内容，特别是涉及淫秽色情内容的部分，管理要更加严格。

今年 3 月份，杭州互联网法院就曾审结一起关于利用 AI 换脸传播淫秽色情内容的案件。

这个案子发生在 2020 年，和韩国人在 Telegram 上的玩法一样，案犯通过 AI 工具制作换脸视频，然后在社交软件上创建社群进行分发。

案犯创建的社群名叫 " 浏览群 " 和 " 私人订制群 "。浏览群主要用来传播 DeepFake 视频，招揽观众和客户；定制群则支持付费定制，按照 5 分钟 300 元，10 分钟 500 元的标准收费。案犯在审理中表示，" 只要能看到脸的都能换，有人甚至要定制暗恋女生的换脸视频。"

经过审理，该案犯最终因侵犯公民个人信息，以及制作、传播淫秽物品牟利罪被判有期徒刑七年三个月。

通过这个案件我们也能看到，在中国通过 DeepFake 制作色情内容进行传播，其犯罪成本要比国外高很多。

这样的好处自然是中国没有出现 DeepFake 内容大规模泛滥的问题，但另一面，也有更多人开始不满足于高风险低回报的情色内容制作，而开始铤而走险，通过 AI 换脸技术进行电信诈骗。

可以看到，在中国犯罪成本比在韩国要高很多。所以很多人利用 AI 换脸技术，并不是制造淫秽色情内容，而是电信诈骗，而这种 DeepFake 也不止局限于面目，甚至包括声音和个人身份信息。

2022 年以来，随着生成式 AI 技术的发展，国内电信诈骗案件持续高涨。

20 多年前的 2000 年，中国刑事案件中盗窃案件占比最多，达到总量的 60%，反扒小组曾一度成为一个专门的警察编队。20 多年后的今天，网络电信诈骗取而代之，成为新的 " 时代罪恶 " [ 4 ] 。

据中国警察协会最新数据，2024 年上半年，诈骗占刑案的比例上升至 60%，其中绝大部分是网络电信诈骗。这是一个时代的变迁。

技术的发展，似乎在给这个社会带来更多的疼痛。

在历史的传统叙事中，人们喜欢将 DeepFake 这样的事物归结为原罪，比如魔丸转世的哪吒，或者希腊神话中的阿多尼斯。但现代社会，我们并不这么思考问题。

2014 年，因 P2P（peer to peer）分享传输技术而成为 " 宅男神器 " 的快播轰然倒塌，创始人王欣被逮捕。两年之后，王欣在案件庭审中为自己和快播做出了一番经典的辩护——技术无罪。

在王欣的理论中，自己和快播只是创造了一项技术，至于用户拿他做什么，与他无关。

但这件事情并没有回答，为什么技术带来的罪恶仍然频频出现。直到两年后，在距离王欣受审的法院不到 20 公里的地方，腾讯研究院举办了一场活动，它的主题是" 科技向善 "。

食，色，性也。

技术发展的难点，除了技术本身之外，更本质的难点在于，如何限制撬动人性 " 恶 " 的杠杆。而在腾讯的理念中，使用技术的人本身应该承担起这样的责任，人类应该善用科技，避免滥用，杜绝恶用。

如今，科技向善已经被越来越多企业接受，成为中国技术发展的一项底层理念，但科技向善，却是一个更长久的课题。

*  文中配图来源于网络

参考资料：

[ 1 ] 韩民族日报《딥페이크 텔레방에 22 만명…입장하니 " 좋아하는 여자 사진 보내라 "》记者 박고은

[ 2 ] ZUM《 [ 단독 ] ' 딥페이크→리듬게임→챌린지 ' …게임으로 진화한 ' 지인능욕 '》作者 첫 댓글을 작성해보세요

[ 3 ] 韩民族日报《서울대 이어 또 대학 ‘딥페이크 성범죄물’ 공유방…참가자 1200 명》记者 이지혜

[ 4 ] 凤凰网《诈骗已占刑事案件 60%：上海反诈中心探访实录》作者   燕青

  - END -  

如果你想加入读者群，和更多人一起

↓ 欢迎添加小秘书 ↓