Gartner发布网络安全领域应对生成式AI指南：生成式AI将以 4 种方式影响 CISO 及其团队

ChatGPT 和大型语言模型是生成式 AI 将如何塑造许多业务流程的早期迹象。安全和风险管理领导者（特别是 CISO）及其团队需要确保其组织如何构建和使用生成式 AI，并应对其对网络安全的影响。

影响

安全和风险管理市场中过度乐观的生成式人工智能(GenAI)公告的激增，仍可能为安全团队的生产力和准确性带来可喜的提升，但也会导致浪费和失望。
通过商业实验以及非管理的、临时的员工采用来使用大型语言模型（LLM ）等新一代人工智能应用程序，会给个人隐私、敏感数据和组织知识产权（IP）带来新的攻击面和风险。
众多企业纷纷利用自有知识产权，开发自己的GenAI应用，对AI应用安全提出了新的要求。
攻击者正在尝试 GenAI。他们开始创建更看似真实的内容、网络钓鱼诱饵并大规模模仿人类。他们能否成功利用 GenAI 进行更复杂的攻击尚不确定，因此需要更灵活的网络安全路线图。

建议

为了解决生成式人工智能对组织安全计划的各种影响，首席信息安全官 (CISO)及其团队必须：

启动“生成网络安全人工智能”实验，从安全运营中心（SOC）和应用程序安全的聊天助手开始。
与对 GenAI 有浓厚兴趣的组织同行（例如法律和合规部门以及业务部门）合作，制定用户政策、培训和指导。这将有助于最大限度地减少 GenAI 的未经批准的使用，并降低隐私和版权侵权风险。
在利用 LLM 和 GenAI开发新的第一方或使用新的第三方应用程序时，应用 AI 信任、风险和安全管理 (AI TRiSM) 框架。
加强评估不可预测威胁暴露的方法，并衡量其控制有效性的变化，因为无法猜测恶意行为者是否以及如何使用 GenAI 。

战略规划假设

到 2027 年，生成式人工智能将通过改进其他技术的结果来区分良性事件和恶意事件，从而将应用程序安全测试和威胁检测的误报率降低 30%。
到 2025 年，利用生成式人工智能的攻击将迫使具有安全意识的组织降低检测可疑活动的门槛，产生更多的错误告警，从而需要更多（而不是更少）的人为响应。

介绍

ChatGPT的炒作程度、规模和采用速度提高了最终用户对 LLM 的认识，导致LLM 应用程序的使用不受控制。它还为商业实验和一波基于人工智能的初创公司打开了大门，这些初创公司承诺通过新的 LLM 和 GenAI 应用程序提供独特的价值主张。许多业务和 IT 项目团队已经启动了GenAI计划，或即将启动。

首席信息安全官和安全团队需要在四个不同领域为生成式人工智能的影响做好准备（另见图 1）：

1. 利用生成式网络安全人工智能“防御” ：获得利用 GenAI 机会来提高安全和风险管理、优化资源、防御新兴攻击技术甚至降低成本的授权。

2. “遭受” GenAI 的攻击：由于 GenAI 工具和技术的发展，可以适应恶意行为者不断改进其技术甚至利用新的攻击媒介。

3. 确保企业计划“构建”新一代人工智能应用程序：人工智能应用程序的攻击面扩大，并带来新的潜在风险，需要对现有的应用程序安全实践进行调整。

4. 管理和监控组织如何“使用” GenAI：ChatGPT 是第一个例子；现有应用程序中嵌入的 GenAI 助手紧随其后。这些应用程序都有独特的安全要求，而传统的安全控制无法满足这些要求。

无论安全性如何，企业都会拥抱生成式人工智能。

这项研究通过炒作提供了清晰度，并为这四个影响领域中的每一个提供了可行的建议，使 CISO 及其团队能够快速适应这种快速变化的步伐。

图 1：生成式人工智能对 CISO 的关键影响

影响和建议

过于乐观的 GenAI 公告的起起落落

Gartner 将生成式网络安全 AI 定义为 GenAI 技术，它从现有（网络安全）数据或通过模拟代理学习工件的表示，然后使用它来生成新的工件。

顾名思义，生成式网络安全 AI 的主要用例源自 GenAI（见注释 1）。Gartner审查了来自安全提供商的30多个公告。最常见的两个生成式网络安全 AI 用例是安全应用程序开发助手和安全运营聊天机器人。

虽然用例很容易识别，但评估网络安全助手需要运营、定性和定量的方法（有关评估的更多详细信息。

安全应用程序开发助手

代码生成工具（例如GitHub Copilot 、Amazon Q Developer ）正在嵌入安全功能，而应用程序安全工具已经在利用LLM 应用程序。

这些安全代码助手的示例用例包括：

主要针对应用程序安全团队：

o 漏洞检测：突出显示在提示中输入的代码片段中的问题或通过执行源代码扫描。

o 减少误报：作为其他代码分析技术的确认层，该功能会分析告警和相关代码，并以对话语言指出为什么它可能是误报。

o 补救助手：作为生成的发现摘要的一部分，建议更新代码以修复已发现的漏洞。

主要针对开发团队，而不是安全人员：

o 代码生成：根据开发人员的输入（包括自然语言注释或说明）创建脚本/代码，或充当高级代码完成工具。某些工具还可以指示生成的代码是否类似于开源项目，或者可以帮助验证代码（生成的或人工编写的）是否符合行业标准安全实践。

o 单元测试创建：建议对提交的函数进行一系列测试，以确保其行为符合预期并且能够抵御恶意输入。

o 代码文档：生成关于一段代码的作用或代码更改的影响的解释。

安全运营工具集成

GenAI 实用程序已进入微软、谷歌、SentinelOne 、CrowdStrike和思科等供应商的众多安全运营工具中。这些实用程序有可能提高普通管理员的生产力和技能，并改善安全结果和沟通。

GenAI 在 SOC 工具中的首次实施包括对话提示，它取代了现有的基于查询的搜索功能，并作为用户的前端。这个新界面降低了使用该工具的技能要求，缩短了学习曲线的长度，并使更多用户能够从该工具中受益。

安全运营聊天机器人使从 SOC 工具中获取见解变得更加容易。但仍需要经验丰富的分析师来评估输出的质量，检测潜在的幻觉并根据组织的要求采取适当的行动。

这些Gen AI功能将越来越多地嵌入现有的安全工具中，以提高运营人员的熟练程度和生产力。这些提示的首次实现支持威胁分析和威胁狩猎工作流程：

交互式威胁情报：访问技术文档、来自安全提供商的威胁情报或众包（单独或组合使用各种方法，包括提示工程、检索增强生成和使用 API 查询 LLM 模型）。
告警富化：自动向告警添加上下文信息，包括威胁情报或已知框架中的分类。
告警/风险评分解释：改进现有的评分机制以识别误报，或为现有的风险评分引擎做出贡献。
攻击面/威胁总结：聚合多个告警和可用的遥测信息，根据目标读者用例总结内容。
缓解助手：建议改变安全控制；新的或改进的检测规则。
安全工程自动化：利用对话提示，按需生成安全自动化代码和剧本。
文档：制定、管理和维护有凝聚力的安全政策文档和最佳实践政策和程序。

对于不熟悉添加了 GenAI 功能的安全工具的现有功能的人来说，这些功能可能看起来比实际更令人印象深刻。新颖性可能主要在于交互性，这很有价值，但搜索和分析功能已经可用。

安全团队的短期后果

生成式网络安全AI 将应用于许多其他计划。内容摘要和分类可能会对合规性和审计产生重大影响。从我们在应用程序安全测试 ( AST ) 中看到的情况来看，漏洞评估和优先级排序也可以通过利用 GenAI 来减少误报、告警富化和缓解建议而得到改进。

红队自动化也存在概念验证，主要是建议执行渗透测试的“方案”的工具，例如PentestGPT软件，或用于漏洞评估自动化。

但 Gen AI不只是生成新内容。它可以用作洞察管道的一部分，或用于分析和分类数据，从而改善恶意软件和威胁检测。针对实时内容（例如传输中的数据、网络流量）的生成网络安全 AI 可能需要更多时间才能实现，因为它可能需要针对此类数据进行专门（可能更小）的模型训练。

准备好迎接大量拥有现有结构化数据集（例如分类电子邮件或恶意软件）的供应商发布用于威胁和异常检测的新型 GenAI 功能。

全自动防御的前景

Gartner 已经看到安全提供商发布了一些功能，尝试复合 AI 的潜力——集成多个AI模型并将其与其他技术相结合。例如，GenAI 模块可以创建补救逻辑以响应检测到的新恶意软件，多个自主代理将执行配方中的操作，其中可能包括隔离主机、删除未打开的电子邮件或与其他组织共享入侵指标(IOC) 。自动化操作可以防止攻击、遏制横向移动或实时调整策略，如果有效的话，这对企业来说是一个非常好的差异化因素，对技术提供商来说也是不容错过的。

自动响应的主要挑战是利益相关者的责任，而不是缺乏技术能力。GenAI 机制和数据源缺乏透明度将使安全领导者更加犹豫是否直接从生成式网络安全 AI 应用程序的输出中自动采取行动。

无法解释和记录生成的响应将限制（但不会完全停止）响应自动化，尤其是在关键操作或一线操作人员中。在组织对引擎获得足够的信任以逐步提高自动化水平之前，强制性批准工作流程和详细文档将是必要的。良好的可解释性也可能成为安全提供商的差异化因素或某些地区的法律要求。

采用生成式网络安全 AI 时面临的关键挑战和建议

生成式网络安全 AI 产品和功能的示例和首次演示吸引了许多安全专业人员。然而，对 Gartner 的 CISO 客户的询问表明，这些好处伴随着一些已确定的问题和挑战：

1. 短期员工生产力：告警富化是否会减少诊断疲劳，还是会通过添加生成的内容使情况变得更糟？初级员工可能只会因数据量而感到疲劳，因为他们无法真正确定数据是否有意义。

2. 隐私和第三方依赖性：随着提供商急于发布功能，许多提供商利用第三方 LLM，使用 API 与 GenAI提供商交互，或直接使用第三方库或模型。这种新的依赖性可能会带来隐私问题和第三方风险管理挑战。

3. 成本：许多新的生成式网络安全 AI 功能和产品目前处于私人测试版或预览版。关于这些功能对安全解决方案价格的影响的信息很少。商业模型通常根据使用的代币数量定价，安全提供商可能会让客户为此付费。训练和开发模型也很昂贵。使用 GenAI 的成本可能比解决相同用例的其他技术的成本高得多。

4. 总体质量：对于大多数早期实施的生成式网络安全 AI 应用，组织将以“足够好”和基本技能增强为目标。尽管如此，对安全代码助手输出质量的首次评估结果好坏参半。同样，威胁情报和告警评分功能可能会受到模型训练集的影响或受到幻觉（虚构的不准确输出）的影响。

5. 回归平均值与最先进水平：对于特殊用例，例如针对高级攻击的事件响应，GenAI 发出的输出质量可能达不到最有经验的团队的标准。这是因为其输出部分来自成熟度较低的实践发出的众包训练数据集。

生成式网络安全人工智能将影响安全和风险管理团队，但安全领导者也应该为 GenAI 对安全计划的“外部/间接”影响做好准备，例如辅助 RFP 分析、代码注释以及影响合规性、人力资源和许多其他团队的各种其他内容生成和自动化。

建议：

对现有安全提供商的新功能进行实验，从安全运营和应用程序安全领域的有针对性的狭窄用例开始。
建立或扩展现有指标，以对生成网络安全人工智能与其他方法进行基准测试，并衡量预期的生产力改进。
确定贵公司对应用程序提供反馈的立场，并从长远来看提高其有效性。
识别数据处理和供应链依赖性的变化，并要求安全提供商对数据使用情况保持透明。
调整文档和可追溯性流程以确保内部知识增强，避免仅仅向工具提供您的见解。
选择与相关安全用例或更高级团队相符的微调或专门的模型。
“按原样”使用 GenAI 基础模型可能无法满足高级安全用例。
准备并培训您的团队处理企业中生成性 AI 使用带来的直接影响（隐私、IP、AI 应用程序安全）和间接影响（使用 GenAI 的其他团队，例如人力资源、财务或采购）。

GenAI 应用程序的大量使用扩大了企业攻击面

自 2022 年底推出ChatGPT以来，Gartner 已处理了多起 CISO 的咨询，他们希望更好地了解聊天机器人或其他企业应用程序的风险以及他们应该采取的措施。未经批准使用 LLM 应用程序会带来几个直接风险，例如：

1. 敏感数据泄露：供应商对提示中发送的数据的处理规则因供应商而异。据供应商声称，企业无法验证其提示数据是否保密。他们必须依靠供应商许可协议来执行数据保密。

2. 潜在的版权侵权：生成的输出（基于组织无法识别的训练数据）产生的版权侵权责任落在使用它的用户和企业身上。生成的输出也可能有使用规则。

3. 有偏见、不完整或错误的回答： “人工智能幻觉”（捏造的答案）的风险是真实存在的，但由于依赖有偏见、碎片化或过时的训练数据集，答案也可能是错误的。

4. LLM 内容输入和输出策略违规：企业可以使用旧式安全控制来控制提示输入，但他们需要另一层控制来确保精心设计的提示符合其政策准则，例如，围绕违反预设道德准则的问题传输。还必须监控和控制 LLM 输出，以使其也符合公司政策，例如，围绕特定领域的有害内容。旧式安全控制不提供这种特定于领域政策的内容监控。

5. 品牌损害：除了面向客户的内容中出现的“再生响应”或“作为 AI 语言模型”的笨拙之外，贵组织的客户可能还期望一定程度的透明度。

这些调查的共识是，员工和组织希望利用 GenAI 的优势来完成日常任务，而不愿意等待安全团队做好准备。

89% 的业务技术人员会绕过网络安全指导来实现业务目标。组织应该预料到影子生成 AI 的出现，尤其是那些主要任务是生成内容或代码的业务团队。

GenAI 应用程序的使用主要有四种形式：

第三方应用程序或代理，例如 ChatGPT 的基于 Web 或移动应用程序版本（开箱即用）。
嵌入企业应用程序中的生成式 AI：组织可以直接使用嵌入了 GenAI 功能的商业应用程序。例如，使用已建立的软件应用程序，该应用程序现在包含 LLM（如 Microsoft 365 Copilot 或 Adobe Firefly 等图像生成功能）。
将模型 API 嵌入到自定义应用程序中：企业可以构建自己的应用程序，通过基础模型 API 集成 GenAI。大多数闭源 GenAI 模型（例如 GPT-3、GPT-4 和 PaLM）都可以通过云 API 进行部署。这种方法可以通过提示工程（可能包括模板、示例或组织自己的数据）进一步完善，以更好地为LLM输出提供信息。例如，搜索私有文档数据库以查找相关数据以添加到基础模型的提示中，并用这些额外的相关类似信息增强其响应。
通过微调扩展 GenAI：微调采用 LLM，并在特定用例的较小数据集上进一步训练它。（请注意，并非所有 LLM 都可以进行微调。）例如，保险公司可以使用自己的保单文件微调基础模型，将这些知识纳入模型并提高其在特定用例上的性能。快速工程方法受到模型上下文窗口的限制，而微调可以整合更大的数据语料库。

第三方模型的集成和微调模糊了消费和构建自己的 GenAI 应用程序之间的界限。

用于集成或私下托管第三方模型的自定义代码需要安全团队通过添加基础设施和内部应用程序生命周期攻击面来扩展他们的控制，而不仅仅是使用第三方 AI 服务、应用程序或代理所需的控制。

防止未经批准使用的能力有限，尤其是因为员工可以从非托管设备访问 GenAI 应用程序和商业或开源 LLM。不过，组织可以利用五种策略来更好地控制 GenAI 的使用（另见图 2）：

1. 定义治理实体和工作流程：当前目标是为所有业务和项目建立清单，并定义可接受的用例和策略要求。GenAI 应用程序可能需要特定的审批工作流程和持续的使用监控（如果可能），但也需要定期用户证明实际使用符合预设意图。

2. 监控和阻止：当ChatGPT公开时，许多组织决定阻止对 OpenAI 域的访问或应用某种程度的数据泄漏预防，利用他们现有的安全控制，例如可以拦截已知应用程序的网络流量的安全服务边缘 (SSE)提供商。

3. 快速传达简短的可接受使用政策：通常，一到两页的政策文档可用于共享内部联系人以供批准、突出显示应用程序的风险、禁止使用客户数据以及请求这些应用程序生成的输出的文档和可追溯性。

4. 调查提示工程和 API集成：使用定制提示拦截输入和输出可能会改善结果，但也会启用更多安全控制。大型组织可能会调查提示增强技术，例如检索增强生成 (RAG)。

5. 在可用时优先选择私人托管选项，这可以提供额外的安全和隐私控制。

图 2：快速适应不受控制的 LLM 应用程序消费的五种策略

安全主管必须承认，封锁已知域名和应用程序并非可持续或全面的选择。它还会触发“用户绕过”，即员工会与不受监控的个人设备共享公司数据，以获取工具访问权限。许多组织已经从封锁转向“批准”页面，其中包含指向组织政策的链接和提交访问请求的表格。

生成式人工智能消费是新的攻击面

与任何创新一样（以社交媒体和加密货币的兴起作为两个最近的例子），恶意行为者将寻求创造性的方法，以新颖的方式利用 GenAI 安全实践和意识的不成熟。

生成式人工智能的最大风险或许在于，它有可能快速创建可信的虚假内容来影响舆论，并提供看似合法的内容来为骗局增加一层真实性（请参阅本文档后面有关攻击者如何利用生成式人工智能的部分）。在确保 GenAI 的使用时，CISO 及其团队应预见到攻击面的以下变化：

生成式人工智能作为诱饵： GenAI 的流行将导致大量使用这一主题作为吸引受害者的诱饵，并成为一种新的潜在欺诈形式。预计会出现假冒的 GenAI 应用程序、浏览器插件、应用程序和网站。
数字供应链：攻击者将利用 GenAI 组件中的任何弱点，这些组件将作为微服务广泛部署在流行的商业应用程序中。这些子程序可能会受到多种机器学习 (ML) 攻击技术的影响，例如训练数据操纵和其他操纵响应的攻击。预测这些嵌入式组件（即 Log4j）的关键漏洞和补丁管理。
对抗性提示：应用程序的直接和间接提示是突出的攻击面。在使用第三方 GenAI 应用程序或构建自己的应用程序时，“提示注入”和“对抗性提示”的概念会成为威胁。

“提示注入”是一种对抗性提示技术。它描述了在应用程序的对话或系统提示界面或生成的输出中插入隐藏指令或上下文的能力。

早期研究工作展示了如何利用应用程序提示。安全团队需要将这个新界面视为潜在的攻击面。Gartner预计，现有的安全工具将嵌入提示安全功能，新的提供商将提供提示安全服务，但攻击者和安全控制之间的差距至少还会持续几个月。

审计和监管将影响生成式人工智能的消费

即将出台的法规对使用（和构建）AI 应用程序的组织也构成了潜在挑战。由于法律可能会改变对提供商的要求，来自监管严格的行业或隐私法更为严格的地区且也在积极寻求颁布 AI 法规的组织可能需要暂停或恢复LLM应用程序的使用。

详细程度可能因内容的敏感度而异。应用程序和服务可能包括日志记录，但组织可能需要针对最敏感的内容（例如部署在生产中的代码、规则和脚本）实施自己的流程。

建议：

治理：

除了前面强调的五种策略之外，CISO 及其团队还应与相关利益相关者和组织对应方合作，以：

制定一项公司政策，明确列出治理规则，包括所有必要的工作流程，并利用现有的数据分类来限制提示和第三方应用程序中敏感数据的使用。
制定用户政策、培训和指导，以最大限度地减少未经批准的 GenAI 使用、侵犯隐私和版权的风险。
要求完成隐私和人工智能法规所要求的必要影响评估，例如欧盟的《通用数据保护条例》（GDPR）和即将出台的《人工智能法案》。
定义工作流程以盘点、批准和管理GenAI 的使用。在现有产品的软件更新过程中加入“生成式 AI 作为一项功能”。
对具有最高潜在业务影响的用例进行分类，并确定更有可能快速启动项目的团队。
为利用 GenAI 的供应商定义新的供应商风险管理要求。
获取并验证托管供应商的数据治理和保护保证，确保传输到其大型语言模型 (LLM) 的机密企业信息（例如以存储提示的形式）不会受到损害。这些保证是通过合同许可协议获得的，因为在托管环境中运行的机密性验证工具尚不可用。

安全举措：

优先考虑对财务和品牌有直接影响的用例的安全资源参与，例如代码自动化、面向客户的内容生成和面向客户的团队（例如支持中心）。
评估第三方安全产品：

o 非人工智能相关控制（如 IAM、数据治理、SSE 功能）

o 人工智能特定的安全性（例如监控、控制和管理 LLM 输入）

准备评估能够实现提示零代码定制的新兴产品。
测试新兴产品，检查和审查输出结果是否存在潜在的错误信息、幻觉、事实错误、偏见、版权侵权以及技术可能产生的其他非法或不必要的信息，这些信息可能会导致意外或有害的后果。或者，实施临时的人工审查流程。
逐步部署自动化操作，并仅使用预先设定的准确度跟踪指标。确保任何自动化操作都可以快速轻松地恢复。
在评估第三方应用程序时，应包括 LLM 模型透明度要求。第一批工具不包含对用户操作的必要可见性。
考虑较小或特定领域 LLM 的私人托管的安全优势，但与基础设施和应用程序团队合作评估基础设施和运营挑战。

企业推动 GenAI 正在创造新的 AI 应用安全需求

除了使用第三方应用程序和服务外，许多组织还会构建自己的 GenAI 应用程序，这将带来新的风险，例如对 ML 模型的攻击和数据中毒（见图 3）。

图 3：人工智能为现有应用程序增加了新的攻击面

在《AI 信任、风险和安全管理市场指南》中，Gartner 确定了四类特定于 AI 应用程序安全的要求：可解释性和模型监控、模型运营、AI 应用程序安全性和隐私。这些要求紧跟最先进的 AI 和 GenAI 实现的进展，并将继续发展。

实施 GenAI 应用程序的控制将在很大程度上取决于 AI 模型的实施。安全控制的范围将取决于应用程序是否包括：

自己的模型——内部训练和构建
利用内部数据训练的第三方模型
微调第三方模型
开箱即用的私人托管模式

在构建和训练自己的模型时，安全和开发团队共同承担保护整个 AI 攻击面的责任。在微调模型时，组织可以使用合成数据。这可能会提高安全性，但也会对应用程序的准确性产生负面影响。在托管已经预先训练好的开箱即用模型时，这些技术不可用。

但是，当包含第三方模型时，仍然必须解决一些攻击面，例如对抗性的直接和间接的提示注入，以及与模型本身相关的数字供应链管理挑战。

然后，即使在托管开箱即用的第三方应用程序或模型时，CISO 及其团队也将负责基础设施和数据安全，但也必须参与管理第三方 AI 应用程序、代理或模型的风险和漏洞。

2023 年 3 月，OpenAI 分享了有关如何使用“红队”使 GPT-4 更能抵抗对抗性和其他恶意输入的详细信息。红队 LLM 应用程序通过结合手动和自动对抗提示成为一种必要的做法，即使对于较小的团队来说，这可能过于复杂。

Gartner 已经看到专门的 AI 安全供应商增加了帮助保护 GenAI应用程序的功能，尤其是“快速安全”服务。

建议：

适应混合开发模式，例如前端包装（例如，快速工程）、第三方模型的私有托管以及具有内部模型设计和微调的定制 GenAI 应用程序。
在训练和微调模型时，请考虑数据安全选项，尤其是对准确性或额外成本的潜在影响。这必须与现代隐私法的要求相权衡，这些要求通常包括个人要求组织删除其数据的能力。
一旦有 GenAI 安全编码培训可用，就立即提升安全冠军的技能。
应用 AI TRiSM 原则并更新安全最佳实践以包含 AI 应用程序要求（参见使用 TRiSM 管理 AI 治理、信任、风险和安全）。
添加针对对抗提示和提示注入的测试要求。
监测模型操作工具的改进。

攻击者将使用生成式人工智能

CISO 及其团队必须在没有强有力的事实基础或直接证据证明对抗性使用 GenAI 的全部影响的情况下应对这一威胁。在《如何应对动荡、复杂和模糊世界中的威胁形势》一书中，Gartner 将“使用 AI 的攻击者”归类为不确定威胁。不确定威胁往往是真实存在的，但缺乏目标企业的直接和明显的即时响应。

攻击者已经在探索GenAI的创造性用途，就像任何新技术一样，攻击者也会利用它。Gartner 预计攻击者将从 GenAI 中获得大多数行业所期望的相同好处：生产力和技能增强。GenAI 工具将使攻击者能够以低成本提高攻击的数量和质量。然后，他们将利用该技术在扫描和利用活动等领域实现更多工作流程的自动化。

图 4：进攻性生成式人工智能的主要用例

对于恶意行为者来说，使用 LLM 和生成式 AI 的主要好处包括：

攻击者生产力：GenAI 可以通过以下方式帮助攻击者发起更多攻击：

o 技能提升：GenAI 降低了编写可信诱饵以及语法正确的代码和脚本所需的培训。

o 自动化：链接任务、提供配方并与外部资源集成以实现更高级别的任务。

o 可扩展性：由于内容生成的自动化程度更高，攻击者可以为杀伤链的大多数阶段快速开发有用的内容，或者发现更多漏洞。

合理性：GenAI 应用程序可以帮助发现和管理来自多个来源的内容，以增加诱饵和其他欺诈性内容（例如品牌冒充）的可信度。
模仿：GenAI 可以创建更逼真的人类声音/视频（深度伪造），使其看起来像来自可信来源，并可能破坏身份验证和语音生物识别。
多态性：GenAI 可用于开发多种攻击，这比重新包装多态性更难检测。
自主性：使用 LLM 作为控制器来实现更高级别的自主本地行动决策或更多自动化的命令和控制交互（因为服务器组件将利用GenAI ）。
新型攻击类型：GenAI 可能带来的最严重安全威胁是大规模发现全新的攻击类型。尽管安全行业会利用这种情况来制造恐慌，但没有证据表明这种情况比人类威胁行为者发现的可能性更大。

攻击者已经开始利用该技术的生成内容功能，大规模低成本地制作更好的恶意和欺诈内容。已经有很多威胁研究案例表明，ChatGPT 制作了更可信的网络钓鱼诱饵，并根据公共领域知识进行了定制。

很明显，使用 GenAI 将使攻击者能够更快地生成更好的诱饵，但目前尚不清楚攻击目标是否会多样化。因此，专注于“号召行动”的防御解决方案将保留价值。反垃圾邮件解决方案多年来一直在使用 ML。贝叶斯垃圾邮件过滤于 1990 年代后期部署在商业垃圾邮件过滤器中。最近，来自 Abnormal Security、Proofpoint 和 Tessian 等供应商的社交图谱 AI 解决方案已经发展到可以检测冒充企图。

虽然预测更先进的 GenAI 功能将对恶意软件产生什么影响的智力活动很有趣，但Gen AI 生成代码的能力主要是一种技能增强功能，使技能较低的攻击者能够创建恶意软件。虽然更多的恶意软件和恶意软件作者不受欢迎，但现有技术（即 ML 防病毒检测和行为检测）与解决 GenAI 的这一方面有关。

多态恶意软件（针对同一攻击快速迭代新代码）已经存在多年。现有的驻留技术（例如 ML 和“云查找”）能够管理多态性和增加的数量。当高级网络犯罪团伙开始构建可能依赖自定义模型的更复杂的恶意软件时，他们可能会以“服务”的形式提供这些恶意软件，例如用于多因素身份验证绕过的 EvilProxy 和用于勒索软件的 REvil。

这些更高级的恶意软件虽然数量有限，但恶意软件创建者可能会针对现有检测技术进行更具规避性和预先测试。生成式人工智能已经用于发现代码中的新漏洞。如果 GenAI 比当前方法更擅长完成这项任务，那么零日攻击（即利用未公开漏洞的攻击）将变得更加普遍。Gartner 预计，这将加速针对广泛部署和特权应用程序的更多供应链攻击的发展。这很可能是一个需要快速反应的领域。因此，最终用户组织应该制定应对供应链泄露的剧本，并评估工具和服务以监控其软件依赖关系。

对于攻击者和防御者来说，最大的挑战在于查明 GenAI 是否能够反复找到能够持续绕过现有防御的新攻击类型。

更大的风险是 GenAI 是否能够反复找到绕过现有行为防御的新型攻击技术。这种情况不太可能发生，至少在短期内不太可能。创建全新的攻击技术需要一群积极主动且资金充足的聪明人来有效地提示系统，可能是一个具有适当训练数据的私人模型，并且输出足够独特，不会被现有的 ML 或行为系统检测到。然而，如果有足够的时间和资源，GenAI 可能会偶然发现一种全新的对抗技术。虽然受过教育的攻击者的创造性提示输入最初可能会使用意想不到的新技术逃避基于行为的检测，但持续生成新的行为技术将很困难。

同时，如前文所述，防御者已经在探索对抗性 GenAI，以了解其潜力并开发新的防御措施。总体而言，Gartner 将 GenAI 主要视为一种新的生产力工具，供已经积极主动且专业的攻击者使用，但没有直接证据表明它会将力量平衡转移到攻击者身上。

安全领导者必须避免被炒作所分散注意力，专注于监控现有和新兴威胁载体的微观趋势。然后，他们需要加强对弹性的投资，并减少对威胁类别的暴露，而不是单个已知攻击。

建议：

CISO 及其团队应适应攻击者使用 GenAI 可能造成的影响：