威胁情报在甲方安全运维中的应用

 

    很多企业使用 SIEM 来收集日志数据，并将安全事件与多类安全设备(入侵检测设备、Web应用防火墙等)日志相关联，指导安全人员进行风险处置。然而 SIEM 也存在局限，监控人员往往被淹没在海量的告警之中无从下手，原因之一就是对于威胁的告警没有处理的依据，例如缺乏经验的监控人员很难判定一条安全事件告警是扫描还是针对性攻击引起的(通常后者需要更多关注)。而通过借助于威胁情报，可为监控人员提供处理依据，也可为安全人员在进行日志分析和攻击溯源时提供有力帮助。

 

    在本文中，来自证通股份有限公司的安全管理团队证通白帽子，将基于 Splunk，介绍威胁情报在甲方安全运维中的应用。

 

 

    根据Gartner的定义，威胁情报是指基于一定知识的证据，已经存在或正在形成的潜在威胁，比如，上下文、机制、指标、意义以及可实施的建议，利用这些，可以帮助当事人形成应对这些危险的决策。

 

    针对攻击者的威胁情报应该包含以下要点：
 

 

 

    在我们公司，Splunk 主要被用来收集各类安全设备、操作系统、应用系统日志，从而实现安全监控、安全告警、数据分析的需求。

 

    安全设备通过 Syslog 发送，其余存放于操作系统文件系统中的日志通过在客户端操作系统安装 Splunk Forwarder 实现日志收集。

 

    初期通过日志字段提取后在 Splunk 实现了基本的报表和告警。然而正如前言所述，我们很快就被告警淹没，无论如何调整告警阈值都无法令人满意，于是开始寻找解决方案，通过一系列的选型比较，我们最终决定引入来自微步在线(ThreatBook)的第三方安全情报数据，以API形式与 Splunk 整合。

 

    需要注意的是——威胁情报数据的用量通常是有限制的(如按月计量)，因此我们部署了前置系统作为本地威胁情报库，用以缓存查询结果，还顺带实现了专供内部使用的 Web 交互查询界面，后来又顺路实现了威胁历史信息的记录，所有产生过告警的威胁都会被记录，并且可被关联搜索。如下图所示：
 

 

    (威胁情报分析界面图，威胁情报数据来自微步在线ThreatBook API)

 

    随着威胁情报数据的应用，我们逐渐信任了数据的准确度，并开始研究威胁IP自动阻断方案。由于在网络建设时并没有这个需求，因此我们的首要目标是逐个寻找网络中是否有串联设备支持通过调用 API 的方式来达到 IP 阻断的目的，最终我们在一台抗 DDoS 设备中发现了这个功能，并按照手册要求的数据格式实现了接口调用。

 

    系统架构示意图如下：
 

 

 

 

    日志字段的提取是最基础也是最重要的步骤，后续所有的工作都是基于正确的日志字段提取之上。

 

    Splunk 提供了傻瓜式的字段提取功能，只要展开任意事件，点击“事件操作”，选择“提取字段”即可进行提取，提取完成后可自动生成正则表达式。
 

 

    对于一些比较复杂的日志格式，使用 Splunk 的自动化提取可能就力不从心了(又或许你对自动生成的正则表达式嗤之以鼻)，我们可以手写正则表达式，并在“设置-字段-字段提取”中保存。
 

 

    图：Splunk 的字段提取

 

    对于临时使用的需求，也可以在搜索中使用 rex 命令对事件应用正则表达式：

 

    ... | rex field=some_field "(？<capture_name>.*)" 

 

    对于一些以键值对形式输出的日志，可通过 extract 命令进行提取，十分方便：

 

    ... | extract kvdelim="=" pairdelim="；"