本文转载自:定焦,作者:王璐,编辑:魏佳。猎云网已获授权。
眼见≠为实,AI换脸欺骗了不少人。
前两天,湖北公安破获了一起用AI换脸技术解锁社交账号并倒卖获利的案件。不法分子通过AI换脸专门帮人解锁被平台冻结的交友账号,每解锁一个,收费15元-30元不等。该团伙共解冻了2107个账号,从中获利40万元。
有数据显示,2023年基于AI的深度伪造欺诈暴增了3000%,深度伪造也就是deepfake,是learning和fake的组合,主要指用AI深度学习的技术,合成某个人的图片或视频、甚至声音,最常见的便是AI换脸。工信部更是在近期表示,将推出AI换脸诈骗风险提醒功能。
一边是AI换脸诈骗案件屡屡发生,另一边则是AI换脸技术不断迭代。
AI圈最近被一款AI换脸项目——Deep-Live-Cam,炸开了锅。用户只需上传一张照片,便可实时换脸成扎克伯格、董宇辉等任何想成为的人。
这一项目免费面向所有用户开放,发布在GitHub(代码托管平台)上,支持个人电脑安装。项目开发者公布了安装方法,没有技术经验的普通人可以边学边安装。
由于操作简单方便且换脸真实度高,Deep-Live-Cam出场便登上GitHub热榜第一,24小时狂揽1600+星(星星代表项目点赞和关注指标,几千颗星星是相当不错的级别)。不少网友将自己换脸成马斯克,体验了一把全球亿万富豪的感觉。
但大家在感慨AI换脸技术取得突破的同时,也在担忧“诈骗更变得容易了”。AI换脸,该抵制吗?
普通人都能用的AI换脸,成本低至十几块
目前国内外出现的AI换脸工具不少,Deep-Live-Cam被热议的原因主要在于,用户只用上传一张图但替换效果非常逼真,还支持实时换脸。
其实,“实时换脸”功能的技术门槛算不上高。
瑞莱智慧联合创始人、算法科学家萧子豪介绍,想达到实时视频换脸效果有两种方式:一种是播放事先做好的换脸视频,一种是接入实时换脸视频。Deep-Live-Cam属于后者。
无论哪种,AI换脸视频都需兼顾前后帧的连贯性,而基于连续人脸视频的处理,可根据前一帧的很多检测资源做微小的调整,“这也让基于连续帧的视频/直播换脸,相比独立帧的单张换脸,效率更高”,一位从事AI技术的研究员表示。
AI换脸依托的底层技术是Deepfake,从业者推测,Deep-Live-Cam采用的也是这一技术,所以仅从制作合成花费的素材和算力看,成本不会很高。
萧子豪表示,如果不考虑其他硬件采购成本,大多数AI换脸成本,一次大概只要十几块,主要包含照片和算力,Deep-Live-Cam可能更低。和其他AI换脸工具相比,Deep-Live-Cam用的照片数量更少,该工具还支持普通电脑使用,照片和算力成本更低。
相比之下,Deep-Live-Cam支持仅用一张图片换脸,更让从业者们震惊。因为过往的AI换脸产品需要用户提供多张不同角度的至少十几张照片。
照片难度的降低让用户玩嗨了。AI追随者小C表示,自己之前没接触过任何AI换脸工具,他觉得Deep-Live-Cam操作门槛不高,按照发布者的说明便可完成,寻找换脸素材的难度也不是很高。
他将自己换脸成了郭德纲、吴京、雷佳音等一众名人,且都只用了他们各自的一张图片。他表示,只要提供的是正脸、额头无遮挡、自然光,接近自己肤色、证件照比例的照片,一张便可成功,脸换效果也很自然。
不止一位从业者认为,部分影视剧采用的AI换脸技术,不仅门槛高、成本高昂,换脸效果也不够自然,说话过程中经常出现变形、失真。“像不像是AI换脸工具最大的难题,Deep-Live-Cam能支持一张图在直播过程中达到,脸边缘没有明显贴图痕迹,肤色和原人物差别不大的效果,逼真度领先很多AI换脸工具,”萧子豪分析,其开发者应该是在图片渲染模型上实现了过往AI换脸工具没有的突破。
不过,目前Deep-Live-Cam还存在一些Bug,比如支持换脸但不涉及换声。但萧子豪表示,想要实现此举不难,接入实时换声工具即可,稍有编程基础的人就能完成。
AI换脸,躲不掉的诈骗和侵权
Deep-Live-Cam等工具降低了用户的使用门槛,但大家也开始恐惧,不法分子只用一张图就可以换脸行骗,对普通人而言,风险将会剧增。
瑞莱智慧数据指出,国内AI诈骗案件的涉案金额从2020年的0.2万增长至2023年的1670万,年复合增长率高达1928.8%。2024年上半年,AI诈骗案超过1.85亿。奇安信发布的《2024人工智能安全报告》显示,2023年基于AI的深度伪造欺诈暴增了3000%。
AI换声、AI换脸、AI生成是AI诈骗常用的三种手段,其中AI生成内容,秒数有限,画质和人物瑕疵明显,因此不法分子最常用的是AI换声、AI换脸。而大多人相信“眼见为实”,又让AI换脸的欺骗性高于AI换声。
AI换脸不仅骗到了老年人,很多从事科技领域的年轻人也一夜失掉几百万。
据媒体公开报道,去年某科技公司CEO收到朋友转账求助,不到10分钟被骗430万元,骗子主要便是利用了AI变脸技术。还有香港某跨国公司员工被骗入不法分子设计的高管视频会议后,将2亿港元打到对方账户。
AI换脸达到了“能以假乱真”的程度,是从业者的共识。
李旭反传防骗团队负责人李旭对AI换脸技术的关注,便来源于各种诈骗案件。他表示,近两年AI换脸诈骗案件频发,市面上大概有三种AI换脸诈骗手段非常成熟。
第一种,利用AI换脸伪造色情视频,对受害人进行敲诈。
比如犯罪团伙会从网上等各种渠道收集被害人图片、视频信息,然后进行一键去衣、AI换脸等合成处理,将伪造的不雅视频或者艳照发给受害者,用来敲诈勒索。
第二种,利用AI换脸冒充熟人诈骗。
比如诈骗团伙会用市面上的一些换脸工具伪装成受害人的亲人、朋友、同事、领导等,先虚构一个紧急事由,利用被骗目标的急迫心理实施诈骗行为,受害人在情急之下往往容易放松警惕将钱转出。
现在使用Deep-Live-Cam更只需要采集受害者一两张照片即可深度仿造技出一段视频,李旭觉得,AI换脸诈骗的程度超出了大多数普通人的认知,也直接改变了电信诈骗的剧本,防不胜防,愈演愈烈。
第三,利用AI换脸冒充名人进行直播带货,骗取用户下单。
比如主播在直播间利用“AI换脸”给自己“换”了一张名人脸,从而增加直播视频流量,助力直播带货。
此外,未经他人允许,通过AI换脸对名人/普通人进行长短视频二创、制作表情包等侵权问题也十分常见。
AI换脸诈骗案件频发且手段多样,与这一技术的成熟度和广泛度密切相关。
瀚皓科技CEO吴杰茜告诉「定焦」,“目前,AI视频生成、数字人和AI换脸技术都很成熟,而AI换脸是其中发展最早的领域。”
2014年Deepfake(深度伪造)技术的出现,标准着AI换脸诞生,但一直在小范围传播,直到2017年,有用户利用该技术发布不实色情图片后,AI换脸才走入大众视野,但同时也因为其带来的大量造假内容,该技术一直备受争议。
不止一位从业者表示,这些年,虽然大众对AI换脸的讨论多集中在拯救影视剧上,但由于不好监管,利用AI换脸进行造假诈骗的事情也一直没断过。且AI换脸技术一直在迭代,入局者也不少,目前除了一些大厂涉及这一业务外,国内很多数字人、AI生成视频初创公司都有开发AI换脸业务,技术普及度比较高,该类工具也越来越多。
技术成熟、普及度高,监管也有一定的难度,导致让AI换脸技术这些年一直被滥用。
如何辨别越来越逼真的AI换脸?
近两年AI换脸导致的各种违法犯罪行为不少,不可控性让部分人觉得应该抵制AI换脸技术。
但也有很多从业者觉得,科技本身是中性的,其带来的好坏影响主要取决于使用者。AI换脸技术的出现和迭代不应该被制止。
吴杰茜表示,目前国内外均没有对AI换脸技术采取一刀切,更多是进行立法管理。
比如美国针对深度伪造进行了专门立法,欧盟将深度伪造纳入《通用数据保护条例》等现有法律框架规制度,德国、新加坡、英国等国家也将深度伪造相关犯罪纳入刑法体系。中国也在《互联网信息服务深度合成管理规定》中明确了对这一技术的规范。
多位从业者认为,对AI创作的内容进行标明等管理办法,以及传授给大众一些防AI诈骗方法,是十分必要的。
比如,曾有技术人员提出,可以在视频通话时,要求对方将手指放在脸部,仔细观察人脸是否变形,或者让对方张嘴,看牙齿和舌头是否清晰完整,从而判断图像是真人还是AI合成。
去年这一方法还比较奏效,但今年随着AI换脸技术的升级,已经让其失灵。
萧子豪表示,当下AI换脸技术可以实现有障碍物出现时人脸和动作不变形,且画质清晰度很高。李旭也发现,近期发生的AI换脸诈骗案件都使用了很强的技术手段,单纯靠动作几乎辨别不出。
鉴于AI换脸技术的快速发展,李旭认为,提高警惕是目前相对有效的方法。比如接到熟人借钱的视频来电时,可以问对方一些只有彼此才知道的隐私问题,并多向身边人询问核实。
部分从业者觉得,用AI辨别AI或许是个不错的办法。
比如先看画面有没有一些明显违背常识的元素,重点看脸部边缘是否有瑕疵,然后再借助一些AI工具。萧子豪觉得用AI甄别AI,可识别出绝大多数骗局,目前很多公司和政府部门都找他们来合作AI换脸防御系统。
但此举在国内外也引发了一定争议。
首先,这种方式具有一定的使用门槛,用户需要在手机/电脑端下载相关应用。其次,从本质上看,这类防御工具存在一定的滞后性,主要对当下AI换脸工具见招拆招,但AI换脸技术和合成方法在时刻变化。
很多人寄希望于相关法律法规完善,比如提高对AI换脸诈骗、销售AI换脸淫秽视频、换脸名人进行带货等违法行为的惩罚力度。
去年,杭州萧山区人民法院判决了一起用AI换脸制作淫秽视频的案例,被告人因提供AI换脸定制服务,通过AI换脸制作了大量淫秽视频,还用建群的方式吸引观看者付费进群,涉案金额共6万余元,最终被判处有期徒刑七年三个月,并处罚金6万元。
不过也提醒大家一点,并不是所有的AI换脸都会侵犯肖像权。
今年6月北京互联网法院宣判了两起AI换脸侵权案件,两位国风短视频模特在社交平台上发现了自己视频出现在某一换脸APP中,于是将该APP背后的科技公司告上法庭,认为其损害了自己的肖像权和个人权益。
法院的宣判是,认定被告使用了原告出镜的视频,但由于涉案视频中的原告面部已被替换,并未侵害原告的肖像权,因此仅认定此举构成对原告个人信息权益的侵犯。
此刻,AI换脸技术还在不断升级,也尚未被禁止,AI换脸工具还大量在市场上流传。
「定焦」近期在某电商平台上直接搜索“AI换脸”时,已经搜不到任何信息,但只要把关键词稍加改变,还是能找到相关换脸工具售卖,并且路径更为隐秘,会跳转到某二手网站进行交易。在技术和骗术都在不断升级的当下,大家能做的是提高警惕,防止被AI换脸侵害。