万联证券表示，2024年是人形机器人(300024)发展的加速之年，特斯拉等科技巨头在人形机器人行业的持续投入有望驱动行业迭代加速并不断突破，人形机器人量产并实现大规模应用迎来曙光，商业化落地可期。

近日，韩国出现多起利用AI换脸伪造女性色情露骨图像的犯罪案，在这背后，犯罪者用深度伪造技术（Deepfake）合成色情照片和视频，并在通信软件Telegram的群聊中传播，参与者多达22万人，引发韩国民众恐慌。

韩国女性在包括微博在内的全球各大社交平台上发帖求助，这一话题也在近两日登上多个微博热搜，有人将其称之为韩国又一“N号房”丑闻。

深度伪造的核心原理是利用深度学习算法将目标对象的面部“嫁接”到被模仿对象上，随着AI技术的进步，这一技术工具越来越普遍，门槛变低，容易被有心者利用进行数字犯罪。不仅在韩国，在国内以及全球都有发生，涉及性犯罪以及金融诈骗等领域。

深度伪造犯罪频发

今年5月，韩国当地媒体报道，首尔大学毕业生朴某和姜某，从2021年7月至2024年4月的3年多里，盗用女性同学、熟人的照片，用深度伪造技术换脸合成色情制品，在Telegram上建立了近200个网络聊天室进行传播，警方称，朴某共参与制作、传播约1700份非法照片和视频，受害女性多达61人。

朴某和姜某先后于今年4月和5月被逮捕，但这件事只是深度伪造性犯罪在韩国泛滥的冰山一角。

最近一周，韩国警方发现了大量与学校、医院、军队有关的疑似分享淫秽影像的社交媒体群组，这些群组里的淫秽影像经深度伪造换脸而制成。涉及的群组参与人数不等，少的几百上千人，多的有十万人以上，总计参与用户多达22万人（包含可能重复的情况）。受害女性包括学生、教师、军人等，甚至有不少未成年人。

韩国妇女人权研究所公布了一组数据：从今年1月1日到上周日，共有781名深度伪造受害者在线求助，其中288名（36.9%）是未成年人。据韩国教师联盟估计，目前已有超过200所学校受到影响。

随着舆论在各大社交媒体上发酵，韩国政府也出面作出表态。韩国总统尹锡悦表示，恶意利用深度伪造技术是犯罪行为，希望有关部门通过掌握实际情况和调查，彻底根除此类数字技术犯罪。

据了解，韩国警方已成立特别工作组，8月28日起，会专门对深度伪造性犯罪等虚假视频案件展开为期7个月的专项行动。警方统计显示，韩国今年前7个月共有297宗深伪色情罪案，较去年全年的180宗更高。

实际上，深度伪造这一技术犯罪，不仅仅出现在韩国，这两年在全球都有出现。

在国内，今年6月，“男子用AI伪造学生同事近7000张裸照”冲上微博热搜。据央视新闻消息，犯罪嫌疑人白某某是一家互联网公司的技术员，他用AI“一键去衣”技术，深度伪造淫秽图片近7000张，再每张1.5元卖出，赚了将近一万元。图片涉及女性人数多，包括学生、教师、同事。目前白某某已被提起公诉。

北京市海淀区人民检察院检察官助理郭树正表示，白某某用的这款人工智能软件，能很快对被害人的图片“一键去衣”，基本上几秒钟、几分钟就能批量生成相应的图片。

针对这一案件，检察机关认为，被告人白某某以牟利为目的，制作、贩卖淫秽物品，情节严重，其行为触犯了《中华人民共和国刑法》的相关规定，应当以制作、贩卖淫秽物品牟利罪追究其刑事责任。

今年1月，美国著名歌手泰勒·斯威夫特（Taylor Swift）也成为了AI深度伪造的受害者，大量由AI生成的泰勒不雅照在各大社交平台疯转，浏览量过千万，引发公众关注。

此外，在8月份，埃隆·马斯克（Elon Musk）也因AI伪造技术卷入了一场诈骗事件。82岁的退休老人史蒂夫·比彻姆（Steve Beauchamp）在网上看到了一段声称由马斯克亲自承诺收益的投资视频，随后他联系了视频背后的推销公司，并投资了超过69万美元。随后，这些钱就落入了诈骗犯之手。

据悉，这些诈骗者篡改了一段马斯克的真实采访，利用AI技术替换了他的声音，并微调了他的口型，以匹配他们为这个数字人编写的新剧本。对于一般观众来说，这种操作几乎察觉不出。

监管跟进

Sensity是监测和检测深度伪造视频的公司，根据该机构发布的数据显示，在2000多起深度伪造案件中，马斯克的形象出现了近四分之一的案件，成为AI诈骗案中最常见的代言人之一。深度造假广告还常常使用沃伦·巴菲特（Warren Buffett）这样的著名投资者和亚马逊创始人杰夫·贝索斯（Jeff Bezos）等商界大佬这样的形象。

近几个月来，互联网上充斥着数以千计的这种由AI驱动的视频，据德勤估计，这类由AI支持的深度造假每年可能导致数十亿美元的欺诈损失。这些视频制作成本极低，几分钟内即可完成，并通过社交媒体进行推广。

深度伪造最初源自英语中新兴的组合词Deepfake，是计算机的深度学习（Deeplearning）与伪造（fake）的融合，通俗来说，深度伪造将图片和声音输入机器学习的算法，进而能进行面部操作，即把一个人的脸部轮廓与表情放在其他任何人的脸上，同时凭借对声音的逼真处理，缔造出实际上为合成但看起来极其真实的视频。

多数的深度伪造均依赖于深度学习技术生成式对抗网络（GAN），这种技术通过两个相互竞争的神经网络——生成器和判别器来训练数据，最终生成难以区分真伪的数据内容。GAN生成器负责创建虚假数据，而判别器则对其进行鉴别。两者不断迭代优化，直至生成器能够制造出足以欺骗判别器的高仿真数据。

从应用工具角度来看，市面上已经有若干成熟的深度伪造应用工具。例如，换脸应用可以将一个人的脸部置换到另一个人的身体上；重新投射技术允许面部的运动和表情映射到目标用户上；口型同步工具可以复制口部动作并结合音频生成，创造出看似真实的说话视频。这些工具的普及降低了技术使用门槛，使得普通个体也能创作出深度伪造内容。

鉴于深度伪造技术的潜在风险，各国政府和研究机构已经开始采取应对措施。如美国和欧盟已经出台了相关政策和法规，旨在加强对深度伪造内容的监管和处罚。同时，研究人员正在开发检测深度伪造内容的新技术，以期在复杂多变的虚假信息环境中保护公众免受欺骗。

我国已有相应法律手段应对这一问题。根据2023年1月10日起施行的《互联网信息服务深度合成管理规定》，任何组织和个人不得利用深度合成服务制作、发布或传播法律、行政法规禁止的信息。

2024年7月23日，美国参议院通过了《2024年打击精准伪造图像和未经同意编辑法案》（Disrupt Explicit Forged Images and Non-Consensual Edits Act of 2024，DEFIANCE Act），允许私密数字伪造内容的受害人向恶意制作或传播的人寻求民事赔偿。

根据这一法案，一般情形的损害原告可获得的赔偿额为15万美元，如果被告对原告实施或企图实施性侵犯、跟踪或骚扰等行为；或者涉案私密数字伪造内容成为任何人对原告实施或企图实施性侵犯、跟踪或骚扰的直接和近因，赔偿则为25万美元。

监管之外，大型平台也已经开始重视这一问题。今年8月，谷歌宣布，将采取措施避免色情深度伪造内容出现在搜索结果中。谷歌表示，将简化受害者请求移除非自愿色情图像的流程，并且会过滤掉相关搜索的所有色情结果，还会删除重复的图像。

举报 第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。 如需获得授权请联系第一财经版权部：021-22002972或021-22002335；banquan@yicai.com。 文章作者

刘晓洁

相关阅读 盘古智库理事长易鹏：AI在机器人场景的应用能为中国带来机会

这个时代AI是一个底座，可以把所有的生意，所有的功能，所有的东西重塑一遍。

08-28 15:24 OpenAI表态支持加州法案AB 3211，认同对AI生成内容建立标识标准

OpenAI表态支持加州AB 3211法案，该法案旨在要求对AI生成内容进行标记，以提高透明度和来源可追溯性，特别是在选举年这一举措显得尤为重要。

08-27 08:35 “两高”发布司法解释：明确洗钱相关犯罪的认定标准

“两高”发布司法解释：明确洗钱相关犯罪的认定标准

08-19 10:49 中国移动通信集团上海有限公司原资深经理（总经理级）张维华被开除党籍

中国移动通信集团上海有限公司原资深经理（总经理级）张维华被开除党籍

08-16 14:36 蚂蚁成立新公司“数字蚂力”，发力AI to B

下一个十年国内正规最好的配资公司，蚂蚁集团的科技战略聚焦在人工智能和数据要素两大领域。

08-14 20:30 一财最热 点击关闭

• 技术
• 深度
• 伪造
• 滥用