近期,中国香港警方披露了一起AI(人工智能)“多人换脸”诈骗案,涉案金额高达2亿港元。一家跨国公司香港分部的职员,受邀参加总部首席财务官发起的多人视频会议,并按照要求转账多次,将2亿港元转账到5个银行账户内,其后向总部查询方知受骗。警方调查得知,这起案件所谓的视频会议中,只有受害者一人为“真人”,其余全部是经过AI换脸后的诈骗人员。
文生视频模型Sora的横空出世进一步推动人工智能技术快速发展,其是否会让AI换脸诈骗的门槛变得越来越低?
《证券日报》记者就此采访中国网络空间安全协会人工智能安全治理专委会专家、天融信科技集团副总裁薛智慧,他表示:“随着Sora生成视频的质量和逼真度提高,确实可能进一步催生AI换脸等诈骗行为。社会各界需要提高警觉,采取有效措施来识别和防范这类诈骗行为,包括发展更先进的检测工具和技术、加强对公众的网络安全教育以及通过法律和伦理规范来限制和监管这类技术的使用。”
记者了解到,天融信、深信服、佳缘科技、启明星辰、安恒信息、三六零、绿盟科技、奇安信等多家A股上市公司,均在网络安全方面加码布局。
据了解,AI换脸技术能够将一个人的面部替换成另一个人的面部,堪称现代网络“易容术”。这一技术可能被不法分子利用,进行诈骗、诽谤或其他恶意活动。
薛智慧向《证券日报》记者拆解了AI换脸诈骗的原理,他表示:“AI换脸诈骗可概括为两大部分。第一部分是画面处理,先利用深度学习算法精准地识别视频中的人脸图像,提取出如眼睛、鼻子、嘴巴等关键面部特征,再基于这些特征,实现视频中人脸与目标人脸的对齐,随后将目标人脸覆盖、融合到视频中的人脸上,达到换脸效果,最后借助原始输入视频的背景或者利用其他技术虚构的渲染背景,得到最终的输出画面;第二部分是声音处理,借助AI换声,来模拟目标人物的声音,用于诈骗的视频、直播等。”
“面对肉眼越来越难以分辨真假的伪造视频,在技术层面,可以运用人工智能对抗技术、数字水印技术、身份认证等技术来应对。”薛智慧表示,“具体来看,可以通过不断改进和提升的人工智能对抗技术来检测和识别虚假的、构造的图像、音视频、文本等内容,也可以应用数字水印技术,将数字水印嵌入到采集的图像、音视频数据中,这样系统在播放时就能通过水印技术来验证数据的真实性。在一些需要身份验证、转账汇款等特殊场景,可以采用多因子认证,比如生物特征、二次密码等技术,用以检测和识别虚假伪造的信息。”
记者了解到,针对AI换脸等,天融信等多家上市公司深入研究其原理,以推动自身技术、产品及服务的升级,更好地应对新技术可能带来的网络安全隐患。
Sora对于网络安全行业的发展是把“双刃剑”。科方得智库研究负责人张新原向《证券日报》记者表示:“一方面,Sora的诞生可能催生新的安全漏洞和攻击手段,给网络安全行业带来新的挑战。同时,视频生成技术处理的数据往往涉及个人隐私,如果处理不当或遭受攻击,可能导致严重的隐私泄露事件。这些都将令网络安全防护成本增加。另一方面,Sora带来网络安全需求,将推动行业的发展和创新。”
与此同时,人工智能技术在网络安全领域的应用也越来越广泛。记者了解到,深信服、奇安信、安恒信息、天融信等10余家公司已经发布“人工智能+网络安全”产品,今年这些产品有望进一步铺开。其中,天融信推出了融入AI技术的防火墙、天问大模型等多款创新型产品。深信服则发布国内首个企业级安全GPT云端大模型技术应用——深信服安全GPT,这款自主开发的大模型可以自动分析用户安全现状,生成处置建议,同时可以实现对话式智能交互,提高用户体验,降低对运营人员的专业要求。
北京社科院副研究员王鹏在接受《证券日报》记者采访时表示:“根据相关数据显示,我国网络安全市场规模已连续多年保持高速增长。产业链方面,我国已形成了包括硬件设备、软件产品、安全服务、安全集成等在内的完整产业链。技术方面,我国网络安全产业在防火墙、入侵检测、病毒防护等传统安全领域已具备较强实力,同时在云计算、大数据、物联网等新兴技术领域的安全防护能力也在不断提升。未来要继续推动网络安全产业的创新发展。”