安全数据的大数据化
安全数据的大数据化主要体现在以下三个方面:
1) 数据量越来越大:网络已经从千兆迈向了万兆,网络安全设备要分析的数据包数据量急剧上升。同时,随着NGFW的出现,安全网关要进行应用层协议的分析,分析的数据量更是大增。与此同时,随着安全防御的纵深化,安全监测的内容不断细化,除了传统的攻击监测,还出现了合规监测、应用监测、用户行为监测、性能检测、事务监测,等等,这些都意味着要监测和分析比以往更多的数据。此外,随着APT等新型威胁的兴起,全包捕获技术逐步应用,海量数据处理问题也日益凸显。
2) 速度越来越快:对于网络设备而言,包处理和转发的速度需要更快;对于安管平台、事件分析平台而言,数据源的事件发送速率(EPS,Event per Second,事件数每秒)越来越快。
3) 种类越来越多:除了数据包、日志、资产数据,安全要素信息还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。
安全数据的大数据化,自然引发人们思考如何将大数据技术应用于安全领域。
传统的安全分析面临挑战
安全数据的数量、速度、种类的迅速膨胀,不仅带来了海量异构数据的融合、存储和管理的问题,甚至动摇了传统的安全分析方法。
当前绝大多数安全分析工具和方法都是针对小数据量设计的,在面对大数据量时难以为继。新的攻击手段层出不穷,需要检测的数据越来越多,现有的分析技术不堪重负。面对天量的安全要素信息,我们如何才能更加迅捷地感知网络安全态势?
传统的分析方法大都采用基于规则和特征的分析引擎,必须要有规则库和特征库才能工作,而规则和特征只能对已知的攻击和威胁进行描述,无法识别未知的攻击,或者是尚未被描述成规则的攻击和威胁。面对未知攻击和复杂攻击如APT等,需要更有效的分析方法和技术!如何做到知所未知?
面对天量安全数据,传统的集中化安全分析平台(譬如SIEM,安全管理平台等)也遭遇到了诸多瓶颈,主要表现在以下几方面:
——高速海量安全数据的采集和存储变得困难
——异构数据的存储和管理变得困难
——威胁数据源较小,导致系统判断能力有限
——对历史数据的检测能力很弱
——安全事件的调查效率太低
——安全系统相互独立,无有效手段协同工作
——分析的方法较少
——对于趋势性的东西预测较难,对早期预警的能力比较差
——系统交互能力有限,数据展示效果有待提高
从上世纪80年代入侵检测技术的诞生和确立以来,安全分析已经发展了很长的时间。当前,信息与网络安全分析存在两个基本的发展趋势:情境感知的安全分析与智能化的安全分析。
Gartner在2010年的一份报告中指出,“未来的信息安全将是情境感知的和自适应的”。所谓情境感知,就是利用更多的相关性要素信息的综合研判来提升安全决策的能力,包括资产感知、位置感知、拓扑感知、应用感知、身份感知、内容感知,等等。情境感知极大地扩展了安全分析的纵深,纳入了更多的安全要素信息,拉升了分析的空间和时间范围,也必然对传统的安全分析方法提出了挑战。
同样是在2010年,Gartner的另一份报告指出,要“为企业安全智能的兴起做好准备”。在这份报告中,Gartner提出了安全智能的概念,强调必须将过去分散的安全信息进行集成与关联,独立的分析方法和工具进行整合形成交互,从而实现智能化的安全分析与决策。而信息的集成、技术的整合必然导致安全要素信息的迅猛增长,智能的分析必然要求将机器学习、数据挖据等技术应用于安全分析,并且要更快更好地的进行安全决策。
信息与网络安全需要大数据安全分析
安全数据的大数据化,以及传统安全分析所面临的挑战和发展趋势,都指向了同一个技术——大数据分析。正如Gartner在2011年明确指出,“信息安全正在变成一个大数据分析问题”。
于是,业界出现了将大数据分析技术应用于信息安全的技术——大数据安全分析(Big Data Security Analysis,简称BDSA),也有人称做针对安全的大数据分析(Big Data Analysis for Security)。
借助大数据安全分析技术,能够更好地解决天量安全要素信息的采集、存储的问题,借助基于大数据分析技术的机器学习和数据挖据算法,能够更加智能地洞悉信息与网络安全的态势,更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。