基本信息
原文标题:AI-Driven Cyber Threat Intelligence Automation
原文作者:Shrit Shah, Fatemeh Khoda Parast
作者单位:加拿大圭尔夫大学计算机科学学院
关键词:网络威胁情报,AI自动化,攻击技术和策略,持久性威胁
原文链接:https://arxiv.org/pdf/2410.20287
开源代码:暂无
论文要点
论文简介:本文提出了一种利用微软AI驱动的安全技术实现工业环境中网络威胁情报(CTI)自动化的新方法。传统CTI主要依赖手动方式来收集、分析和解释威胁情报,这不仅耗时且易出错,特别是在快速应对安全威胁的情况下效率低下。通过使用GPT-4o等大语言模型和一键微调技术,本研究构建了一种新的CTI自动化解决方案,可以在保持情报精度的同时减少人工操作。本方法不仅提升了CTI报告生成的速度和准确性,还减少了对专家的依赖,从而在当今动态的威胁环境中占据了重要优势。
研究目的:网络威胁情报(CTI)旨在收集、分析并传播有关当前和潜在网络威胁的信息,以识别威胁指标(IoC)和理解攻击者的战术、技术和程序(TTP)。尽管CTI对网络安全至关重要,但目前的情报生成方法仍主要依赖于手动分析和数据合成,这在面对庞大的数据量时极易出现瓶颈。本研究的目的在于探索现有手动CTI生成过程的局限性,提出一种基于AI的自动化方法,以提高报告的质量、速度和准确性。通过识别CTI过程中可自动化的部分,本研究旨在开发更先进的自动CTI系统,从而提升威胁应对效率。
引言
网络威胁情报(CTI)一直以来是网络安全防御的核心,依赖手动的数据收集与分析以识别潜在的威胁。然而,传统手动方法不仅费时费力,而且在快速应对复杂威胁方面存在效率低下的问题。例如,CTI分析员需要从大量的安全日志、威胁信息源等收集数据并手动提取攻击指标(IoC),这一过程往往耗费数天甚至数周的时间。此外,手动处理还增加了错过关键信息或引入错误的风险。不同分析员对威胁数据的解读可能存在差异,导致报告不一致,进而影响对威胁的快速反应。
为了解决这一问题,近年来一些学者提出了将AI和自动化技术应用于CTI的设想。尽管部分组织仍对完全依赖AI的CTI方法持怀疑态度,认为AI可能会带来误报或无法正确解读复杂威胁信息,但AI的应用确实为CTI报告生成提供了潜在的优势。本研究旨在探索这些AI驱动的自动化方案如何填补手动CTI生成的空白,并提出了一种结合微软安全工具的自动化框架,既能降低对人工的依赖,又能提升报告生成的速度与准确性。
当前趋势
近年来,AI在CTI自动化中的应用引起了学术界和工业界的广泛关注。多个研究团队提出了利用自然语言处理(NLP)、信息检索(IR)和机器学习(ML)方法自动提取CTI数据的模型。例如,Husari等人提出的TTPDrill模型通过NLP和IR技术从非结构化CTI报告中提取攻击模式,并将其映射到攻击链中。这种自动化工具显著提升了提取威胁技术的精度。而Zhao等人则提出了TIMiner框架,该框架利用卷积神经网络(CNN)从社交媒体数据中提取CTI信息并分类,用于不同领域的威胁检测。
这些AI驱动的CTI自动化技术主要关注快速、准确地从大量非结构化数据中提取有效的威胁信息,同时构建结构化威胁情报。然而,尽管这些方法在数据提取和处理上表现出色,它们仍然需要具备一定领域知识的专家来实施和调试,难以在没有专家资源的环境中推广应用。
研究方法
本研究设计了一种基于微软生态系统的全自动CTI生成方法,主要采用PowerShell脚本、Azure Logic Apps、Microsoft Copilot for Security(MCS)和Azure AI Studio等技术。整个自动化流程通过PowerShell脚本收集用户数据并启动工作流,Azure Logic Apps分段生成报告,MCS和Azure AI分别负责处理各部分内容。生成的CTI报告包括元数据、攻击概览、MITRE攻击技术摘要、数据提取、工具与恶意软件分析、防御建议和参考文献等七大部分。该框架的设计确保了报告生成的效率和可控性,每个部分内容均经过优化以适应自动化需求。
关键发现
实验评估表明,该自动化框架在生成速度和成本方面相较于手动生成有显著优势。在性能评估方面,研究选取了八种攻击活动并分别用手动和AI方法生成报告,通过BERT模型和余弦相似度等指标对比报告内容,发现AI生成的报告在一致性和精确度上与手动报告基本一致。此外,通过对攻击模式的提取准确性进行测试,结果显示AI模型的平均准确率达到了79%。
研究讨论
AI驱动的CTI自动化方案极大地加速了报告的生成过程,并显著降低了手动操作的需求,然而这一效率提升的同时也带来了成本上的增加,尤其是在计算资源的消耗方面。尽管AI生成的报告在一定程度上达到了手动生成报告的标准,但由于生成内容的不稳定性和轻微的不一致,仍需要人工干预来校正并完善报告内容。通过与工业合作伙伴的访谈发现,AI自动化使得原本需耗费8小时的手动报告编写工作减少至1-2小时,有效地提高了报告生成效率。
论文结论
本研究提出了一个基于AI的网络威胁情报自动化生成架构,成功实现了快速情报共享与提升攻击检测效率的目标。尽管AI在生成报告方面表现出色,复杂的技术报告部分仍然需要人工干预,以确保最终报告的精准度和有效性。未来工作将继续扩大数据集范围,以更全面地验证自动化效果,并探索其他威胁类型下的应用表现。同时,研究团队还计划开发一种集成多种AI方法与专有安全产品的混合模型,进一步提升CTI报告的质量和效率。