大数据分析已经被人们视为信息安全领域的得力工具，特别是针对高级持续性威胁（APT）。大数据分析方法给安全分析、安全预警、安全管理、安全防护带来了新思路、新机遇，它可能会改变未来信息安全的技术格局。
过去的一年，整个IT领域都在谈论大数据，大数据甚至被认为是可以比肩互联网革命的整个信息产业的又一次发展高峰。现在是大数据时代，因为数据量在爆炸式增长——近两年所产生的数据量相当于2010年以前整个人类文明产生的数据量总和；而且数据来源极大丰富，语音、视频、图像等非结构化数据所占比例逐渐增大。海量的数据与我们的生活息息相关：互联网行为记录，地理位置记录，消费信息记录等等，人们的行为细节和隐私无一遗漏。同样，大数据对信息安全影响深刻，各种网络行为、日志都被记录下来，从而发现潜在的安全风险。
发觉潜在的威胁——大数据的这种能力对今天的信息安全防范意义重大。我们知道，高级持续性威胁(Advanced Persistent Threat，APT)是如今企业、政府机构信息安全面临的最大威胁。在APT攻击当中，黑客以窃取核心资料为目的，往往经过长期的经营与策划，网络攻击和入侵行为具有高度的隐蔽性。APT攻击的关键在于黑客隐匿自己，针对特定对象，长期、有计划性和组织性地窃取数据。这样的“网络间谍”行为，对网络安全系统提出更高的要求，一般的防范手段难以发现。
APT攻击缘何难防？
APT攻击行为具有以下特点：首先是目标性强，APT攻击往往针对具体的目标（企业、组织甚至是国家）进行，目的是获取某一类重要信息；其次是手段先进，APT攻击会利用多种攻击手段，包括各类零日漏洞和其他的网络入侵技术，有时候甚至用到社会工程学方法；第三是持续性强，有的APT攻击会持续数年之久，攻击者不断尝试各种攻击手段，以及在渗透到网络内部后长期蛰伏，不断收集各种信息，直到收集到重要情报；第四是危险性高，APT攻击主要针对国际巨头企业、国家重要基础设施和单位进行，包括能源、电力、金融、国防等关系国计民生以及国家核心利益的基础设施。
APT攻击缘何难防？用中国一句老话来讲叫做：“不怕贼偷，就怕贼惦记。” 攻防双方的信息不对称性，隐蔽性和持续性是APT攻击具有的最大的威胁。请看两个典型的攻击案例（来自网络）：
1、 RSA SecureID窃取攻击
攻击者给RSA的母公司EMC的4名员工发送了恶意邮件。邮件标题为“2011 Recruitment Plan”，寄件人是webmaster@Beyond.com，正文写着“I forward this file to you for review. Please open and view it.”，里面有个EXCEL附件名为“2011 Recruitment plan.xls”。
其中一位员工感兴趣并将其从垃圾邮件中取出来阅读，殊不知此电子表格其实含有当时最新的Adobe Flash的0day漏洞(CVE-2011-0609)。这个Excel打开后啥也没有，除了在一个表单的第一个格子里面有个“X”，而这个叉实际上就是内嵌的一个Flash，该主机被植入臭名昭着的Poison Ivy远端控制工具，并开始自BotNet的C&C服务器(位于 good.mincesur.com)下载指令进行任务。
首批受害的使用者并非“位高权重”人物，紧接着相关联的人士包括IT与非IT等服务器管理员相继被黑。RSA发现开发用服务器(Staging server)遭入侵，攻击方随即进行撤离，加密并压缩所有资料(都是rar格式)，并以FTP传送至远端主机，又迅速再次搬离该主机，清除任何踪迹，在拿到了SecurID的信息后，攻击者就开始对使用SecurID的公司(例如上述防务公司等)进行攻击了。
2、 震网攻击
遭受震网病毒攻击的核电站计算机系统实际上是与外界物理隔离的，理论上不会遭遇外界攻击。坚固的堡垒只有从内部才能被攻破，超级工厂病毒也正充分地利用了这一点。超级工厂病毒的攻击者并没有广泛的去传播病毒，而是针对核电站相关工作人员的家用电脑、个人电脑等能够接触到互联网的计算机发起感染攻击，以此 为第一道攻击跳板，进一步感染相关人员的U盘，病毒以U盘为桥梁进入“堡垒”内部，随即潜伏下来。病毒很有耐心地逐步扩散，利用多种漏洞，包括当时的一个 0day漏洞，一点一点的进行破坏。这是一次十分成功的APT攻击，而其最为恐怖的地方就在于极为巧妙地控制了攻击范围，攻击十分精准。
从以上两个典型的APT攻击案例中可以看出，对于APT攻击，现代安全防御手段统统失效，零日漏洞和加密通信躲过了以特征匹配为手段的主流网络安全产品，长期的持续性攻击让基于时间点的检测技术难以奏效；以内部机器为跳板，绕过边界防御，利用内部可信的安全策略。APT使用的这些方法绕过了传统安全方案，并长时间地潜伏在系统中。
大数据分析有效防御APT攻击
企业的计算机网络系统产生大量日志数据，包括上述核电站计算机系统，只是与公网物理隔离，内部依然是一个庞大的网络。大数据可以针对所有的系统运行记录进行分析，可以弥补时间点检测技术的不足，发现网络攻击的蛛丝马迹。在这个基础上，结合传统的检测技术，可以组成基于记忆的检测系统，这是由国内安全厂商启明星辰(002439,股吧)提出的思路。
RSA曾提出过三种方法应对APT攻击：一是利用虚拟化带来的预防机制；二是一旦出现任何攻击，可将对服务器进行重置；三是使用虚拟监控，利用虚拟化平台搜集数据，并进行分析。事实上，通过预防机制应对APT，只能对已知威胁有效；发现攻击对服务器重置属于补救措施，亡羊补牢只是为了降低损失；利用虚拟化平台收集数据并分析，是基于大数据技术的方法，也是应对APT攻击的关键。
应用大数据分析，需要强大的数据采集平台，以及强大的数据分析处理能力。最理想的情况是建立全球化的数据分析引擎，在全球范围内进行相关数据的关联性分析。这样就能克服信息分布孤岛带来的调查取证难的问题，更容易发现攻击。针对具体的网络、系统和应用的运行数据采集分析，捕获、挖掘、修复漏洞；对全球已经发生以及正在发生的网络攻击行为进行记录，并将这些海量的数据经过多维度的整合分析，自动生成漏洞库、黑客们行为特征等数据库。对于具体的网络系统，全球化的安全监测，运用大数据技术，可以提前发现攻击，提前阻止。
对于企业、组织机构来讲，首先要把信息收集起来进行识别，包括日志全采集，网络监控，然后把所有的信息放到统一的监控平台，建立全自动化的响应系统。因为大数据需要一个中控系统把所有内部的、外部的信息收集起来进行分析。
总结起来，大数据并不针对APT攻击中的某个步骤，而是通过全面收集重要终端和服务器上的日志信息以及采集网络设备上的原始流量，进行集中分析和数据挖掘。发现APT攻击的蛛丝马迹后，通过全面分析海量数据，从而还原整个APT攻击场景。面向全局而非局部，这是目前大多数厂商采用的思路。
