【论文速读】| 人工智能驱动的网络威胁情报自动化

ops/2024/11/30 4:07:59/

图片

基本信息

原文标题:AI-Driven Cyber Threat Intelligence Automation

原文作者:Shrit Shah, Fatemeh Khoda Parast

作者单位:加拿大圭尔夫大学计算机科学学院

关键词:网络威胁情报,AI自动化,攻击技术和策略,持久性威胁

原文链接:https://arxiv.org/pdf/2410.20287

开源代码:暂无

论文要点

论文简介:本文提出了一种利用微软AI驱动的安全技术实现工业环境中网络威胁情报(CTI)自动化的新方法。传统CTI主要依赖手动方式来收集、分析和解释威胁情报,这不仅耗时且易出错,特别是在快速应对安全威胁的情况下效率低下。通过使用GPT-4o等大语言模型和一键微调技术,本研究构建了一种新的CTI自动化解决方案,可以在保持情报精度的同时减少人工操作。本方法不仅提升了CTI报告生成的速度和准确性,还减少了对专家的依赖,从而在当今动态的威胁环境中占据了重要优势。

研究目的:网络威胁情报(CTI)旨在收集、分析并传播有关当前和潜在网络威胁的信息,以识别威胁指标(IoC)和理解攻击者的战术、技术和程序(TTP)。尽管CTI对网络安全至关重要,但目前的情报生成方法仍主要依赖于手动分析和数据合成,这在面对庞大的数据量时极易出现瓶颈。本研究的目的在于探索现有手动CTI生成过程的局限性,提出一种基于AI的自动化方法,以提高报告的质量、速度和准确性。通过识别CTI过程中可自动化的部分,本研究旨在开发更先进的自动CTI系统,从而提升威胁应对效率。

引言

网络威胁情报(CTI)一直以来是网络安全防御的核心,依赖手动的数据收集与分析以识别潜在的威胁。然而,传统手动方法不仅费时费力,而且在快速应对复杂威胁方面存在效率低下的问题。例如,CTI分析员需要从大量的安全日志、威胁信息源等收集数据并手动提取攻击指标(IoC),这一过程往往耗费数天甚至数周的时间。此外,手动处理还增加了错过关键信息或引入错误的风险。不同分析员对威胁数据的解读可能存在差异,导致报告不一致,进而影响对威胁的快速反应。

为了解决这一问题,近年来一些学者提出了将AI和自动化技术应用于CTI的设想。尽管部分组织仍对完全依赖AI的CTI方法持怀疑态度,认为AI可能会带来误报或无法正确解读复杂威胁信息,但AI的应用确实为CTI报告生成提供了潜在的优势。本研究旨在探索这些AI驱动的自动化方案如何填补手动CTI生成的空白,并提出了一种结合微软安全工具的自动化框架,既能降低对人工的依赖,又能提升报告生成的速度与准确性。

当前趋势

近年来,AI在CTI自动化中的应用引起了学术界和工业界的广泛关注。多个研究团队提出了利用自然语言处理(NLP)、信息检索(IR)和机器学习(ML)方法自动提取CTI数据的模型。例如,Husari等人提出的TTPDrill模型通过NLP和IR技术从非结构化CTI报告中提取攻击模式,并将其映射到攻击链中。这种自动化工具显著提升了提取威胁技术的精度。而Zhao等人则提出了TIMiner框架,该框架利用卷积神经网络(CNN)从社交媒体数据中提取CTI信息并分类,用于不同领域的威胁检测。

图片

这些AI驱动的CTI自动化技术主要关注快速、准确地从大量非结构化数据中提取有效的威胁信息,同时构建结构化威胁情报。然而,尽管这些方法在数据提取和处理上表现出色,它们仍然需要具备一定领域知识的专家来实施和调试,难以在没有专家资源的环境中推广应用。

研究方法

本研究设计了一种基于微软生态系统的全自动CTI生成方法,主要采用PowerShell脚本、Azure Logic Apps、Microsoft Copilot for Security(MCS)和Azure AI Studio等技术。整个自动化流程通过PowerShell脚本收集用户数据并启动工作流,Azure Logic Apps分段生成报告,MCS和Azure AI分别负责处理各部分内容。生成的CTI报告包括元数据、攻击概览、MITRE攻击技术摘要、数据提取、工具与恶意软件分析、防御建议和参考文献等七大部分。该框架的设计确保了报告生成的效率和可控性,每个部分内容均经过优化以适应自动化需求。

图片

关键发现

实验评估表明,该自动化框架在生成速度和成本方面相较于手动生成有显著优势。在性能评估方面,研究选取了八种攻击活动并分别用手动和AI方法生成报告,通过BERT模型和余弦相似度等指标对比报告内容,发现AI生成的报告在一致性和精确度上与手动报告基本一致。此外,通过对攻击模式的提取准确性进行测试,结果显示AI模型的平均准确率达到了79%。

图片

研究讨论

AI驱动的CTI自动化方案极大地加速了报告的生成过程,并显著降低了手动操作的需求,然而这一效率提升的同时也带来了成本上的增加,尤其是在计算资源的消耗方面。尽管AI生成的报告在一定程度上达到了手动生成报告的标准,但由于生成内容的不稳定性和轻微的不一致,仍需要人工干预来校正并完善报告内容。通过与工业合作伙伴的访谈发现,AI自动化使得原本需耗费8小时的手动报告编写工作减少至1-2小时,有效地提高了报告生成效率。

论文结论

本研究提出了一个基于AI的网络威胁情报自动化生成架构,成功实现了快速情报共享与提升攻击检测效率的目标。尽管AI在生成报告方面表现出色,复杂的技术报告部分仍然需要人工干预,以确保最终报告的精准度和有效性。未来工作将继续扩大数据集范围,以更全面地验证自动化效果,并探索其他威胁类型下的应用表现。同时,研究团队还计划开发一种集成多种AI方法与专有安全产品的混合模型,进一步提升CTI报告的质量和效率。


http://www.ppmy.cn/ops/137819.html

相关文章

UE5安装教程及设置

学习链接:01-安装UE5及设置_哔哩哔哩_bilibili

《C++搭建神经网络基石:开启智能编程新征程》

在人工智能的璀璨星空中,神经网络无疑是最为耀眼的星座之一。而 C以其卓越的性能和高效的执行效率,成为构建神经网络模型的有力武器。今天,就让我们一同探索如何使用 C构建一个基础的神经网络模型,踏上智能编程的奇妙旅程。 一、…

选择使用whisper.cpp进行语音转文字

需要将一些wav格式的语音文件转成文字(ASR,STT),接到这个任务后,首先上网搜索有没有现成免费的工具或服务可以使用。常用的关键字如“语音转文字 免费 在线”。 搜到的很多野鸡网站,都可以免注册免费提供短…

Vue单页面应用和多页面应用

在 Vue.js 中,“单页面”(SPA,Single Page Application)和"多页面"(MPA,Multi Page Application)是两种不同的应用结构,它们的差异主要体现在页面的加载方式、路由的使用、…

投影变换库 PinholeCamera

目录 Kornia库简介 构建内参,外参: 深度转点云: 光栅化pytorch3d 点光栅化设置: PointsRasterizer 光栅化 Kornia库简介 Kornia 是一个基于 PyTorch 的计算机视觉库,它提供了一系列可微的计算机视觉操作和算法。…

Vue 路由模式深度解析:Hash 、 History

1. Hash 模式详解 1.1 特点 1.1.1 URL 中包含符号“#” 在 Hash 模式下,URL 中始终包含一个以“#”为前缀的部分。例如:Example Domain。这个“#”号是 Hash 模式的显著标志。 1.1.2 Hash 不包括在 HTTP 请求中 与传统的服务端路由不同,…

rustdesk 自建服务

RustDesk 部署RustDesk sudo docker image pull rustdesk/rustdesk-server sudo docker run --name hbbs -p 21115:21115 -p 21116:21116 -p 21116:21116/udp -p 21118:21118 -v pwd:/root -td --nethost rustdesk/rustdesk-server hbbs sudo docker run --name hbbr -p 2111…

jQuery九宫格抽奖,php处理抽奖信息

功能介绍 jQuery九宫格抽奖是一种基于jQuery库的前端抽奖效果。通过九宫格的形式展示抽奖项,用户点击抽奖按钮后,九宫格开始旋转,最终停在一个随机位置上,此位置对应的抽奖项为用户的中奖结果。 本文实现九宫格的步骤为&#xf…