AI驱动的网络安全威胁：新兴风险与防御策略综述

大家读完觉得有帮助记得关注和点赞！！！

摘要

人工智能的双重使用性质正在彻底改变网络安全格局，在四个主要类别中引入新的威胁：深度伪造和合成媒体、对抗性AI攻击、自动化恶意软件和AI驱动的社会工程。本文旨在分析与网络安全中AI相关的新兴风险、攻击机制和防御缺陷。我们引入了一个比较分类法，将AI能力与威胁形态和防御措施联系起来，回顾了70多个学术和行业参考文献，并确定了有影响力的研究机会，例如混合检测管道和基准测试框架。本文按威胁类型进行主题结构安排，每个部分涉及技术背景、真实事件、法律框架和对策。我们的研究结果强调了可解释、跨学科和符合法规的AI防御系统的紧迫性，以维护数字生态系统中的信任和安全。

关键词：AI驱动的网络安全、网络安全威胁、AI增强的诈骗、立法响应

1. 引言

AI允许网络安全出现新的漏洞。犯罪分子、对手和恶意行为者利用AI和其他技术来规避检测系统，并以最少的人力干预自动化攻击。AI的双重使用性质在网络安全、隐私和公共信任领域带来了重大风险，来自那些利用AI作为技术进步进行恶意使用的人。

本研究将讨论AI正在创造的日益增长的网络安全风险，包括深度伪造、对机器学习模型的对抗性攻击以及自动化恶意软件生成。我们将展示AI促进的社会工程攻击日益涌现，包括网络钓鱼和欺诈，以及我们称之为数据投毒的风险，即对手可以操纵训练数据以危害AI系统。通过案例研究以及关于防御策略和法规的讨论，我们希望说明未来响应缺乏保证以及法律和技术响应中执行的必要性，以防御未来的漏洞和风险。

1.1 调查方法

该调查评估了2017年至2025年期间的70多篇学术、工业和法规出版物，包括同行评审期刊、预印本库、网络安全咨询和白皮书，并经过验证的媒体渠道。主要选择标准包括：与AI系统威胁的相关性，如深度伪造、对抗性攻击、自动化恶意软件和AI支持的诈骗；真实世界的解决方案包括案例研究、工具包和框架（2019-2025年）；来源的权威性和可信度，包括政府机构。

1.2 威胁与解决方案的比较分类法

表1总结了主要的AI驱动威胁，映射到攻击形态和防御策略，并构成了后续部分的主干。

表1：AI驱动的网络安全威胁及相应防御策略的分类法

表1：AI驱动的网络安全威胁及相应防御策略分类

2. 深度伪造和合成媒体

2.1 深度伪造激增的兴起

AI生成内容的快速增长给行业带来了障碍，全球深度伪造事件数量比上年增长了十倍[1]。北美、亚太和欧洲的事件分别增加了1740%、1530%和780%，其中近75%的案件涉及身份欺诈（主要是身份证）。20%的美国人曾上当受骗，使用AI生成的名人代言骗局，在18-34岁人群中这一比例上升到33%[2]。在2025年4月选举前的准备阶段，四分之一的加拿大人遇到了虚假政治内容，包括错误显示总理Mark Carney支持诈骗的深度伪造视频[3]。此类攻击的发生频率估计为每五分钟一次。

2.2 检测挑战与观察

尽管深度伪造检测取得了进展，但当前系统在鲁棒性和泛化性方面存在严重限制。诸如"Deepfake-Eval-2024"之类的基准测试显示，在不受控制的真实世界条件下，视频、音频和图像的AUC分数显著下降（分别为50%、48%和45%）[4]。许多深度学习模型依赖于表面伪影或背景线索，因此在面对复杂的伪造内容时变得无效。小波变换特征提取[5, 6]显示出提高可解释性和准确性的前景，但仍然容易受到上下文、光照或语言变化的影响。大多数深度伪造检测系统是黑盒模型，容易受到对抗性欺骗。人在环方法提高了当前的检测能力，但缺乏多模态方法和系统的法律执行使得检测系统容易受到零日操纵和社会危害。

图1：深度伪造的不同类别

2.3 法律与伦理维度

在美国，只有14个州通过了反未经同意的性深度伪造内容法律，只有10个州对与政治竞选相关的深度伪造有一些限制。2024年1月提出的一项两党法案旨在允许受害者起诉未经同意的性深度伪造内容的创建者或分发者，但由于模糊性， jurisdictional nuance 阻止了立法执行。印度没有具体的深度伪造法律，但可以根据《印度刑法典》和《信息技术法》采取一些行动，据国务部长称，AI相关法规即将在新的《数字印度法案》下出台。韩国根据《刑法》第245条的前提，将损害公共利益的所谓有害深度伪造的分发定为犯罪，最高可判处五年徒刑和/或5000万韩元（约43,000美元）的罚款。随着法规制度的演变和拟议的法律，加速公众对深度伪造AI工具的理解并追求变革以对抗深度伪造欺诈和操纵的威胁至关重要。

3. 对抗性AI攻击

3.1 理解对抗性AI攻击

对抗性AI攻击指的是输入数据的扰动和针对AI模型弱点的方法，以产生不正确或不想要的输出。在本研究中，我们认为对抗性机器学习是研究对抗性示例（故意制作的输入数据）如何成功操纵机器学习分类器的学科。当对手在推理时对数据施加一些扰动以欺骗训练模型时，该攻击称为规避攻击。相比之下，数据投毒是一种对抗性攻击，其中恶意样本被引入训练数据以"毒化"模型并降低其性能。这种机制可应用于任何AI系统，并引发关于AI系统在安全关键应用中的可靠性的怀疑[8]。

3.2 攻击方法与工具

对手有多种创建对抗性实例的方法。例如，两种常见的基于梯度的方法为神经网络提供不可察觉的扰动，分别是快速梯度符号法（FGSM）[9]和投影梯度下降（PGD）[10]。更先进的方法如Carlini & Wagner（C&W）攻击可以产生微妙有效的输入，可能未被检测到[11]。还有多个开源框架，研究人员和黑客已开发出来协助这些攻击。例如，IBM的对抗性鲁棒性工具箱（ART）、CleverHans [12]和Foolbox [13]在图像、文本和音频领域拥有数十种攻击算法。

3.3 防御策略

研究人员将防御对抗性攻击称为攻击者和防御者之间的"军备竞赛"。一些关键的防御策略包括：

• 对抗性训练：用对抗性示例重新训练模型似乎是最发达和最成功的防御策略。

• 防御性蒸馏：在软化输出上训练辅助模型以创建更平滑的决策边界，增加对对抗性攻击的抵抗力，尽管自适应威胁可能仍会绕过它[16]。

• 对抗性输入检测：识别和阻止对抗性输入或将其升级为人工审查[16]。

图2：对抗性攻击扰动

3.4 法律视角：印度与国际

印度尚未制定专门针对AI系统网络安全风险的立法。《2000年信息技术法案》未包含数据投毒等新兴威胁，对抗性攻击将被作为一般网络犯罪进行起诉。欧盟在其拟议的立法中处于领先地位；其《人工智能法案》草案指出，高风险AI系统必须证明其能够抵御对抗性操纵。美国则继续发布指南多于可执行的法律法规，但美国国家标准与技术研究院（NIST）预计将在2024年发布其对抗性威胁防御建议。中国预计将提出对深度伪造等AI系统滥用的限制。然而，必须注意的是，目前尚无管辖对抗性AI的全球性法律。

3.5 关键性综合与观察

该领域缺乏标准化的攻击防御方法。对抗性训练成本高昂且难以扩展。防御性蒸馏或梯度掩蔽已被提出作为低成本、轻量级的安全措施，但它们在自适应攻击中也存在已知的漏洞。研究界已形成一个共识，即不存在"银弹"解决方案，需要分层的、特定于上下文的安全模型。在准确性、可解释性和鲁棒性之间的权衡问题上，分歧点仍然显而易见。

4. 恶意软件生成与自动化

现代恶意软件通常具有多态或变形代码，意味着它可以在不改变其底层功能的情况下改变其结构，从而使代码能够逃避签名检测。恶意软件的新方面，如混淆，以及恶意软件即服务等服务，使得传播恶意软件更容易，检测更困难。生成式AI进一步扩展了这一点，使攻击者能够自动生成或混淆恶意代码。

4.1 犯罪分子可用于创建和传递恶意软件的工具

犯罪软件框架：诸如Blackhole和Nuclear Pack [18]之类的工具包自动化了恶意软件的创建和传递，并且都具有反检测和漏洞利用工具包[19]。恶意软件即服务网站通过为恶意代码和服务创建基于订阅的模式，使犯罪更容易。

僵尸网络和自动化传递：僵尸网络通过利用连接设备网络大规模传递恶意软件和垃圾邮件。例如，Mirai恶意软件感染使用默认凭据的IoT设备，并创建僵尸网络来传播恶意软件。其他垃圾邮件僵尸网络如Emotet和TrickBot通过发送网络钓鱼邮件感染用户。

混淆工具和多态引擎：多态恶意软件每30-60秒改变其外观，产生一个独特实例，从而绕过基于签名的检测[18, 20]。

AI和ML驱动工具：诸如FraudGPT和WormGPT之类的工具使即使缺乏技术技能的人也能使用AI发起网络钓鱼活动和不可检测的恶意软件攻击。

图3：2010年至2024年全球恶意软件样本增长

表2：各种软件混淆工具的描述与常见用途

4.2 近期自动化或生成的恶意软件案例

• WannaCry 勒索软件 (2017年)：WannaCry 是首批包含自动化传播的大规模恶意软件爆发之一，其利用基于蠕虫的传播过程，无需人工干预即可扩散。它感染了超过 150 个国家的超过 300,000 个系统，仅印度就有 48,000 个，估计造成了数十亿美元的损失。WannaCry 利用 EternalBlue 漏洞实现快速、自动化的传播，击穿了各种防御，使得及时有效的响应和遏制几乎不可能[21]。

• AIIMS 医院勒索软件攻击 (2022年)：德里全印医学研究所在 2022 年 11 月遭受勒索软件攻击，加密了 1.3 TB 的数据，并导致业务中断数周。由于网络隔离措施无效，恶意软件在网络中自动传播。2022 年 10 月的这次攻击很可能属于勒索软件即服务模式，突显了医疗机构网络安全态势中的关键漏洞[22]。

4.3 针对自动化恶意软件的防御技术

组织正越来越多地采用多维度的、AI增强的防御措施来应对快速演变的威胁：

• 防病毒软件与启发式技术：防病毒软件已引入机器学习和行为启发式方法，用于签名检测以及识别未映射的恶意软件[20]。

• 端点检测与响应 (EDR)：EDR工具持续观察系统行为并识别异常行为[23]。

• 扩展检测与响应 (XDR)：XDR检查跨终端和网络的数据，以识别复杂的、多阶段的攻击。

• 基于AI的威胁检测：机器学习可以处理海量的遥测数据，实时检测异常和零日威胁。

• 行为分析 (UEBA)：用户实体行为分析可以观察用户和系统的行为，并识别可能指示恶意软件活动的异常，即使事先对该恶意软件一无所知[24]。

• 自动化事件响应：实施响应手册，用于隔离受感染的终端、禁用账户或快速遏制威胁。

现代恶意软件检测的分析流程，包括特征提取、AI模型和数据集利用，总结于图4。

图4：基于目标、特征、预处理、AI和数据集的恶意软件检测。

4.4 法律与执法应对措施

印度的网络安全法律主要由《2000年信息技术法》、《印度刑法典》和《2023年数字个人数据保护法》构成[25]。《数字个人数据保护法》规定了数据保护和违规处罚。印度计算机应急响应小组（CERT-In）2022年的指南要求关键行业在6小时内报告安全事件[26]。然而，这些框架并未涉及AI生成的恶意软件（如WormGPT、FraudGPT）或双重用途AI系统的伦理挑战。解决这些差距可能包括扩展《信息技术法》的定义以涵盖AI滥用、追究开发者责任。印度还可以从设立专门的网络犯罪法庭、为执法人员提供数字取证培训，以及对关键系统进行强制性的AI风险评估中受益。

4.5 关键性综合与观察

总体而言，研究正在朝着将AI作为异常检测的有效选择迈进；然而，在可解释AI和信任方面仍存在分歧。此外，在混淆（对抗性）方法和脱离（启发式）系统之间已经开始了一场"渐近舞蹈"。与此同时，像印度《数字个人数据保护法》这样关于管理复兴AI模型风险以及CERT-In的法规框架，提到了避免前文所述的风险，但并未提供如何处理自主或自我修改恶意软件的答案。

5. AI驱动的网络钓鱼和诈骗自动化

5.1 网络钓鱼攻击

随着文本到语音扩散模型的进步，攻击者可以在不到30秒的源音频中克隆目标声音。合成语音然后通过VoIP或会议服务传递，利用"权威偏见"，同时绕过传统的以电子邮件为中心的网络钓鱼过滤器。

表3：具代表性语音克隆支持的社会工程事件（2019–2025）

5.2 个性化社会工程攻击

AI正在通过允许不良行为者以惊人的特异性部署个性化欺诈攻击来改变社会工程。在香港最近的一个案例中，犯罪分子利用AI进行欺诈，涉及深度伪造视频通话以冒充高管甚至浪漫伴侣[27]。

5.3 杀猪盘诈骗

杀猪盘诈骗是长期欺诈，诈骗分子在说服受害者存款（通常存入加密货币交易所）之前建立信任层次，通常假装是浪漫伴侣或财务顾问。杀猪盘一词指的是在财务上"屠宰"受害者之前情感上"养肥"他们。2024年，诈骗分子使用AI聊天机器人同时与多个受害者互动，确保情感语气和语言流畅性保持一致[28]。

6. 未来工作

从这项调查中出现了几个有前途的未来研究方向，需要与AI研究人员、网络安全从业者和政府官员合作，为我们的数字系统创建适应性环境。

• 多模态可解释检测管道：开发能够分类视频、音频、文本和图像数据并平衡鲁棒性和可解释性的架构。

• 自适应威胁模拟和基准测试平台：创建跨公共数据的标准化测试配置，以评估不同模态的安全模型并模拟零日威胁。

• 跨管辖区的AI风险治理：支持技术和法律社区推进跨管辖区的法规框架，以弥合快速AI创新与政策格局之间的脱节。

7. 结论

AI通过将威胁转化为分层、智能和可扩展的攻击向量，引入了一个网络安全挑战的新时代。本文考察了四种类型的AI驱动威胁：深度伪造、对抗性攻击、自动化恶意软件、AI网络钓鱼和AI社会工程。总的来说，我们观察到对手利用生成性、个性化和自主能力来利用传统安全基础设施的演变潜力。

表4：威胁、空白及建议干预措施总结