顶象学院首页>文章详情

业务安全情报专刊:《“AI换脸”威胁研究与安全策略》

2024-03-12|小象 3078

顶象防御云业务安全情报中心最新发布情报专刊《“AI换脸”威胁研究与安全策略》,对当前备受关注的“AI换脸 ”风险进行了深入研究(点此免费下载)。 

undefined

《“AI换脸”威胁研究与安全策略》共分为8章32节,系统介绍了“AI换脸”威胁的构成、“AI换脸”的危害、“AI换脸”欺诈的过程、典型的威胁模式、背后的产业链、目前主流的识别检测策略、各国针对“AI换脸”的监管规定、“AI换脸”欺诈案件中各方需要承担责任等。

undefined

AI换脸,也称为“深度伪造”(Deepfake),是一种利用人工智能技术将人脸替换到另一个人的脸部上的技术。“深度伪造”技术涉及多种技术和算法,这些技术和算法相互配合,可以生成非常逼真的图像或视频。将“深度伪造”的虚假内容与真实信息的元素拼凑在一起,就可以用于可以伪造身份、传播错误信息、制作虚假数字内容,进行各类欺诈。

“AI换脸”常见的诈骗套路

1、伪造账号造谣传谣

利用“深度伪造”技术,诈骗分子能够创建和分发高度定制和令人信服的内容,这些内容可以根据个人的在线行为、偏好和社交网 络来定位个人,并可以无缝地融入用户的提要中,从而促进快速和广泛的传播。这使得网络犯罪对用户和平台来说更加高效和具有挑战性。

undefined

2、冒充熟人进行诈骗

2024年1月,香港跨国公司员工被骗2亿港元,以及2023年11月内 蒙古包头市警方通报的诈骗案件 均属冒充熟人诈骗。

undefined

“深度伪造”技术让诈骗分子能轻易模仿目标人的视频、声音等。这些虚假的视频音频不仅模仿声音,还能模仿语调、口音和说话风格。为了进一步增加诈骗的可信度,诈骗分子还会在社交媒体、公开渠道等上获取的被模仿者的敏感信息(如工作风格、生活习惯、旅游动态等),用于佐证自己的冒名顶替身份的真实性,使受害者难以分辨真伪。在取得受害人信赖后,进而对受害人进行财务资金、商业机密等诈骗。

3、伪造身份申请银行贷款

对于金融机构来说,“深度伪造”欺诈更令人担忧。诈骗分子利用“深度伪造”技术,伪造信息、声音、视频、图片,然后将真实和虚假的身份信息结合起来,创建全新的虚假身份,用于开设银行账户或进行欺诈性的购买。而且,诈骗分子可以使用“深度伪造”技术来学习不同的银行业务和流程,然后迅速对不同银行同时展开欺诈。

以后,银行针对用户的信贷申请吗,也许不再需要评估“他/她适合授信10万?还是20万?”,还需要辨别“这个贷款申请人是人类?还是人工智能?”,预计92% 银行将遭遇“深度伪造”的欺诈威胁。

4、“网络钓鱼”更加难以识别

随着技术的发展,网络钓鱼者也在改变策略,尤其在AI的帮助下,诈骗分子使用“深度伪造”技术欺骗受害者,让钓鱼攻击更加复杂,攻击极难检测。2023 年,深度伪造网络钓鱼欺诈事件激增了3,000%。 

5、冒充他人远程面试入职

2022年7月,美国联邦调查局(FBI)发出警告称,越来越多的诈骗分子正在使用“深度伪造”技术在远程职位面试中冒充求职者,骗取企业薪资、盗取企业的商业机密。

undefined

诈骗分子利用“深度伪造”制作出虚假的面试人,在摄像头,人的动作和嘴唇动作与说话者的音频基本一致。甚至,咳嗽、打喷嚏或其他听觉动作等动作与视觉呈现的内容不一致。

联邦调查局在公告中没有说明骗子的最终目标。但该机构指出,这些虚假的面试人,一旦面试成功且入职,将被允许成功访问“客户 PII(个人身份信息)、财务数据、公司 IT 数据库和/或专有信息”等敏感数据。

联邦调查局还称,该骗局的一些受害者被盗的 个人信息已被用于进行远程面试工作,并且还曾被用于与其他申请人的个人资料进行就业前背景调查。

6、仿冒登录盗走银行余额

2024年2月15日,国外安全公司Group-IB宣布,发现一个名为“GoldPickaxe”的恶意软件 。该恶意软件的iOS版本,诱骗用户进行人脸识别、提交身份证件,然后基于用户的人脸信息进行深度伪造。

通过深度伪造的虚假的人脸视频,欺诈分子就可以登录用户的银行账号,拦截银行发送的手机验证短信,就能够进行转账、消费、修改账号密码等。

“AI换脸”的产业链

以顶象防御云业务安全情报中心拦截的某个“深度伪造”金融诈骗案件为例,诈骗分子的诈骗过程主要有四个阶段,“深度伪造”技术只是诈骗过程中的一个关键因素环节,其他环节中,受害人如果无法甄别和判断,很容易在诈骗分子的指示下一步步步入陷阱。

第一阶段,骗取受害人信任。诈骗分子通过短信、社交工具、社交媒体、电话等方式,联系到受害者(例如,能够直接讲出受害人的姓名、家庭、电话、单位、住址、身份证号码、同事或伙伴,甚至部分经历),并获取信任。

第二阶段,盗录受害人脸。诈骗分子通过社交工具、视频会议、视频电话等方式,与受害者进行视频通话,在视频通话过程中获取受害人的人脸信息(人脸、低头、扭头、张嘴、眨眼等等关键信息)进行“深度伪造”虚假视频和人像的制作。期间,还会诱导受害者设置电话呼叫转移或诱导受害人下载恶意App软件,可以呼叫转移或拦截银行的客服电话或电话。

第三阶段,登录受害人银行账户。诈骗分子通过银行App登录受害人的银行账户,提交“深度伪造”制作的虚假视频和虚假人像后,通过银行的人脸识别认证,并拦截受害人手机上,银行发送的手机短信验证码和风险提示等。

第四阶段,转走受害人银行余额。将银行打来人工访问电话呼叫转移至诈骗分子预先设置的虚拟号码,冒充受害者,通过银行客服人员的人工核实,最后顺利转走受害人银行卡内的余额。

undefined

“AI换脸”使用到的技术

人脸识别和关键点检测

人脸识别和关键点检测用于识别和定位人脸,是“深度伪造”技术的基础,主要用于识别图像或视频中的人脸,并定位人脸的关键点,例如眼睛、鼻子、嘴巴等。这些信息可以用于将人脸从图像或视频中提取出来,并将其与其他图像或视频进行合成。

其中,人脸识别算法包含基于特征的人脸识别的Eigenfaces、Fisherfaces、Local Binary Patterns (LBP),基于子空间的人脸识别的Principal Component Analysis (PCA)、Linear Discriminant Analysis (LDA),以及基于深度学习的人脸识别的DeepFace、FaceNet、Dlib等;关键点检测算法包含基于形状的人脸关键点检测的Active Shape Model (ASM)、Constrained Local Model (CLM), 基于外观的人脸关键点检测的Cascaded Shape Regression (CSR)、DeepPose等。

图像/视频合成技术

图像/视频合成技术将不同的人脸、表情、动作等合成到目标图像或视频中,是“深度伪造”技术的核心,主要用于将不同的人脸、表情、动作等合成到目标图像或视频中。

常用的图像/视频合成技术包括,含基于像素的图像/视频合成的Poisson Blending、Seamless Cloning,基于特征的图像/视频合成的FaceSwap、DeepFaceLab。

生成对抗网络(GAN)

生成对抗网络 (GAN) 是一种深度学习技术,可以生成非常逼真的图像或视频。GAN由两个神经网络组成:生成器和判别器,其中生成器的目标是生成高度逼真的虚假图像、视频与声音,是“深度伪造”技术的重要工具,其包含DCGAN、ProGAN、StyleGAN。

增强效果技术

可以“增强深度”伪造的效果技术,包含用于合成伪造的WaveNet、 Tacotron,用于创建逼真的3D模型Shape from Shading和ructure from Motion等。

“深度伪造”的危险不仅在于生成虚假视频和图片,还在于其所促成的整个诈骗生态系统:一个由机器人、虚假账户和匿名服务组成的错综复杂的网络运作,所有这些都旨在制作、放大和分发捏造的信息和内容,具有识别难、检测难和追溯难的问题。

这是数字时代的一种威胁形式,在这个欺诈体系中,攻击者看不见且难以捉摸,他们不仅制作信息,还操纵每个参与者感知的现实结构。所以,要打击“深度伪造”欺诈,一方面需要识别检测伪造的视频、图片和信息(有效甄别出虚假伪造的内容);另一方面需要对实行“深度伪造”欺诈的渠道和平台网络进行识别与检测(多方面提升数字账号的安全性)。这不仅需要技术对策,更需要复杂的心理战和公众安全意识的提升。

加入社群

扫码进群领
【业务安全】资料礼包

在线咨询
400-878-6123