使用业务和技术有关的上下文对网络威胁情报(CTI)进行排序

摘要

今天，大多数威胁feed由IOC组成，每个feed每年提供1-10M个IOC。 随着CTI平台增加越来越多的feed，威胁优先排序的能力变得很重要。 众所周知，SOC、事件响应、风险和合规性团队是CTI的主要消费者。 将CTI按照相关性和重要性进行排列优先级，有助于这些团体。 可以使用业务和技术上下文（context）来确定相关性和重要性。 业务上下文是组织的知识，即其过程、角色和职责，基础设施和控制。 技术上下文是组织网络中的恶意活动的足迹，例如网络钓鱼活动，恶意软件和内部IOC。 在本文中，我们将研究如何使用业务和技术信息对威胁进行优先级排序。

（一）介绍

大多数组织中的网络威胁情报（CTI）功能依赖于外部威胁feed，从各种来源（如执法，信息共享和分析中心（ISAC）），以及商业的付费feed。每个feed每年提供1-10M IOC。通过电子邮件和DropBox收集公告、告警和文件交换。威胁信息的数量、类型和格式将变得很多，不能支持迅速标准化、处理、分析和采取行动。根据最近的SANS调查，只有28％的受访组织有专门的CTI团队，这表明在大多数组织中，已经扩展的安全资源使CTI成为其许多职责之一。如果组织有预算用于CTI工具，那么自动化会变得容易一些，但是现在大多数团队通过手动梳理IOC，并使用电子表格和脚本在环境中发现恶意行为（Paul Poputa-Clean，2015年1月）。

长期以来，每天以高强度持续工作，将会导致倦怠（Colin Chisholm，2016年3月），使得这种手动方法长期不可行。根据同样的调查（Shackleford，2016年8月），只有52％的受访者表示使用了CTI工具，但没有与其他安全工具集成。为什么？虽然威胁有目录、存储和共享标准，但它们并没有被广泛使用。安全行业意识到这个问题，正在采取措施来规范（国土安全部的领导下的OASIS），整合和自动化。例如，SIEM从整个企业收集设备日志，因此是寻找IOC和事件链的最佳位置。许多SIEM支持威胁信息相关功能，如自动feed汇集和搜索，43％的受访者使用SIEM进行CTI活动（Shackleford，2016年8月）。不幸的是，随着检测能力的提高，技术性IOC生命周期很短，迫使CTI专业人员使用TTP关注杀戮链（kill chain），其中大部分仍然涉及本地解决方案（Shackleford，2016年8月）或手动识别，分类，分析，和行动。

 上述因素的汇合引出了需求，即确定优先次序，并加快分析和行动。业务上下文（context）包括关键业务流程、基础设施信息、敏感数据、关键人员、关键业务提供商，连接和控制措施等，有助于排序威胁情报，并支持立即采取行动。在我们的环境中分析敌人的恶意足迹产生了丰富的信息，例如我们的差距和关键漏洞，利用和隐藏的能力、有价值和被泄露的数据、攻击的目标以及如何攻击，最重要的是攻击者多快就能渗透和达到目标。这不仅告诉我们敌人信息，还能知道重点关注（方向和深度）。

 大多数CTI团队都努力从事分析，并回答上述问题，不到15％的受访者已经实现聚合，进行数据处理，将事件融入了IOC形成完整视图（Shackleford，2015年2月） ）。虽然资源紧张，但团队不想错过任何指标或潜在敌人。团队首先要做什么工作？如何以可重复和一致的方式执行优先级排序？有助于做出这一决定的要素是什么？本文将尝试回答其中的一些问题。

（二）先决条件

确保组织安全的最重要的先决条件是提供组织基础设施和资产信息的蓝图（Townsend，McAllister，2013年9月）。蓝图的自动化、准确和最新版本可能是一个配置管理系统，它提供对组织的资产、位置、与其他资产的关系以及潜在的敌人信息。成熟的IT组织将自己的业务服务从上到下映射，从用户开始到存储数据的存储设备。这些信息用于确定事件或事件对基础设施和业务运营的影响（Department of Energy，2000年4月）。

配置信息是安全架构关键基础，如应用可用性、网络和入侵监控平台，完整的数据包捕获和日志。需要在日志搜索IOC能力，如果使用工具或脚本自动化，将很有帮助。大多数安全产品供应商支持SIEM的威胁情报的自动化集成，如果符合匹配条件或符合特定条件，提供搜索和告警（2016年4月，埃里克·科尔博士）。将配置信息与安全事件相关联的好处，是能够查找过去的事件链，识别上游和下游的影响，并衡量敌人的意图，例如中断业务服务或窃取敏感数据。各种聚合器（如Splunk）提供帮助，与SIEM相比，更易于设置和使用，但是到目前为止，还没有提供设备级的详细钻取功能。

 另一个需求是访问威胁信息。这可以通过文件，电子邮件，警报，公告和Feed来实现。用于各种安全措施的威胁信息，例如检测内部网络中的恶意活动的足迹，阻止访问，以及向各种检测和预防设备传播签名信息（Shackleford，2016年8月）。可以使用一些其他资源（如VirusTotal）丰富化信息，识别相关行为，例如注入的.dll文件的名称及其位置。技术威胁信息，如文件散列和IP地址是存活周期短，因此更适合自动摄取（Paul Poputa-Clean，2015年1月）。操作威胁情报是近期即将发生的攻击或正在进行的攻击（Chismon，Ruks，MWR Security，2015）。这个信息是非常具体的，上升到更高的kill chain，例如，使用的攻击向量，如钓鱼，部署的武器，如.pdf附件和利用漏洞。战略威胁信息通常更为冗长，并且不易于自动化，例如包含其背景的威胁方档案，过去攻击的模式以及部署的武器（2015年1月，Paul Poputa-Clean）。

恶意软件是敌人的首选武器，他们拥有庞大的武器库，其中包括恶意URL，键盘记录器，bots，木马，rootkit和文件加载程序等等。使用各种感染载体，如大规模的spearfishing活动，看似无害的视频或设备上的安装的应用程序，为攻击者提供后门。在攻击受害者之后，这种做法可能是一个快速的粉碎和抓住，或者持续的解决和长期的情报收集（F-secure Labs。Dukes）。恶意软件分析可以显示关于敌人的重要信息，例如文本，可以是提供攻击活动的日期和目标，或用于指挥和控制的URL（Lenny Zeltser，2015年2月）。被利用的漏洞，用于编码的语言，以及为开发持久性而编写的模块，这些都提供了对敌方能力和方向的了解。恶意软件分析实验室访问这些信息。最好将它运行在特别环境中，例如虚拟机，工具包必须由一个反汇编器和调试器（如IDAPro和OllyDbg）组成。自动分析功能，例如BinText或PeScanner工具和Windows命令行（如Strings2）可用于快速提取某些嵌入式字符串。用于MS Office文档的OfficeMalScanner和用于PDF的JSDidier工具对分析文档非常有用。诸如Volatility Framework之类的内存分析工具也很有帮助（Lenny Zeltser，2015年3月14日）。

（三）现在方法

军事情报很成熟，指挥官依靠它来赢得战争。 网络威胁情报仍在进步中，使用各种非标准化信息源，借用其他网络安全功能的工具、脚本，并取得了显着的成果。 相应地，64％的SANS调查受访者认为CTI提高了整体安全性和CIRT功能，73％的受访者认为帮助了决策（Shackleford，2016）。 超过48％的受访者也认为CTI有助于减少违规行为，从而节省了数千万美元，在某些情况下，资本市场价值达到数亿美元。 作为参考，雅虎股价在其主要数据泄露宣布后数小时内下跌了5％（路透社，2016年12月）。

3.1 威胁信息来源

对敌人的了解，例如攻击者的活动和行为，是从同行的团队获得的，他们分享发现的指标和签名。此共享是通过威胁feed得到。历史上，情报和军事机构以及最近的网络安全公司已经分享了他们的分析报告，并提出了详细描述敌方行为模式的报告，也称为战术，技术和程序（TTP）。网络数据包捕获和分析提供了攻击者的信息（Sans Institute，2016年7月）。

 3.1.1 外部IOC（威胁feed）

大多数组织的CTI功能依赖于外部威胁情报，例如ISAC、US CERT、自动指标共享（AIS），通过DHS的CISCP计划，公开情报源，包括如MalwareDomains，Open Threat Exchange（OTX），以及商业付费feed。其他情报来源，如Zeus Tracker，CyberCrime跟踪器和SpyEye。一个好主意监控与已知Tor节点的连接并定期检查各种Pastebin站点（如Plexy，Pastie，Github，Frubar Paste和Codepad）。

 威胁Feed包含表征（observables），如恶意IP地址，域，文件哈希，对手发送的网络钓鱼电子邮件，恶意软件信息和利用漏洞。付费feed可以提供聚合的威胁信息、威胁分数，减少误报，并提供丰富化信息。定制的威胁feed可以提供额外的信息，例如受攻击信用卡信息，受攻击电子邮件帐户信息，受攻击公司（内部）服务器和IP地址信息。下一步是使用SIEM，端点检测，入侵检测，沙箱，入侵防御系统和聚合器（Ricardo Dias，2014年10月）查找和阻止observables。记住在日志设备和软件中启用文件散列功能;只有这样，日志才会包含文件散列。如果找到匹配项目，CTI团队就会转向并寻找其他攻击指标，在Kill Chain上下移动（Hutchens等人，Lockheed Martin）。

3.1.2 威胁报告

 联邦调查局（FBI）的国家网络调查联合工作组（NCIJTF）制作了一个名为“Cywatch”的“每日摘要”，这是目前在美国和国外确定的网络威胁和网络事件的集合。US-CERT经常在出版报告。最近，美国国土安全部和联邦调查局发布了一份关于由俄罗斯攻击方进行的称为“Grizzly Steppe ”的恶意活动的联合分析报告（JAR）。还提供了敌人的TTP和恶意活动指标，允许组织在其网络内搜索攻击。免费威胁报告的其他例子是Verizon的“年度数据泄露调查报告”，Mandiant的年度M-趋势，赛门铁克的互联网安全威胁报告，微软的安全情报报告和Akamai的季度安全公告。

许多威胁报告提供有关威胁攻击方的综合信息，例如历史，能力演变，工具和技术，使用的武器，首选感染载体，利用漏洞的能力，指挥和控制操作的能力，以及任何隶属于国家或犯罪行为者。这些报告通常还包含战术信息，例如攻击者表征，但在出版数小时内，信息已经过时（Mandiant APT1报告）。这些报告中的战略信息用于优先排序网络安全支出、分配资源、制定政策。例如，如果通过电子邮件不容易共享恶意附件和URL，则不需要沙箱、URL白名单以及文件和附件的防病毒扫描。如果CEO和副总裁不是被攻击的目标，员工电脑的日常备份将不会像现在那样重要。 勒索软件已经使得组织定期备份任务关键数据（Brian Krebbs，2016年9月）。 Adobe漏洞的大量利用是使组织优先考虑漏洞管理流程，在某些情况下，可以考虑限制某些产品的使用，例如Adobe Flash（Brian Krebbs，2016年12月）。

3.1.3 使用网络工具查找恶意活动

 使用网络工具查找对手的基本方法包括识别异常活动。例如，偏离“正常”是异常时间或未知目的地的网络流量。不在预期的异常时间使用IRC或http通道的出站通信需要仔细检查。 Wireshark等数据包捕获工具在这种情况下非常有用，特别是“follow the TCP stream'”功能，可以分析目标IP，端口号，识别是否有文件被交换的流量特性，并将文件下载，将其MD5与已知的IOC进行比较。

IDS和IPS系统也可用于查找与恶意域的连接。优点是使用自动化。缺点是很高的误报率。

改进检测的高级方法是在Kill Chain上使用攻击指征，以减少误报性和增加更准确的响应。例如，在DHS于2016年12月29日发布的“Grizzly
Steppe released分析报告”中，提供了不同类型的指标，例如文件哈希，.dll文件名和ipv4地址。此外，还为PHP Web工具包提供了一个Yara规则，其中包含攻击者使用的某些字符串。网络管理员被要求使用攻击指征来检查网络流量或防火墙日志，以帮助确定其网络是否经历了可疑活动。虽然该报告还有很多缺点，但是清楚的是，观察敌人的行为更为有用。

3.2。当前优先级

威胁的排序的流程在大多数CTI供应商中是分散的。许多团队根据Feed中收到的顺序来排序威胁。一些根据安全公告来确定优先级，根据公告当天的热点漏洞。一些会给出CVSS分数和相应的动作。但是，不好攻击者常常成为头条新闻，攻击网络，窃取关键任务和非公开的个人身份信息，对人们的生活造成的损害是重大的，在某些情况下会使公司失去业务。显然，需要使用不同排序标准来提供更好结果。

3.3。分析师与信息

 有许多方面可以帮助解决工作人员不足和优先排序问题。下面是一些上下文（context）。

1.团队规模

许多组织对CTI采取谨慎的态度，投资不容易（Shackleford，2015年2月）。许多领导人没有接触情报机构，因此对CTI所提供价值没有概念。由于对敌方的组织，资源和能力的深入了解，CISO和其他C-领导者（如CEO/CIO/CFO等）对其所需的响应的性质和规模几乎没有概念。

2 威胁feed的属性

正如在最近的Grizzly Steppe JAR,之后的行业评论中所看到的，所提供的指标需要更多的上下文信息，威胁feed消费者也希望评估指标，风险评分，行业，并以标准格式预先包装（Shackleford，2016年8月）。

 3.分析技能和培训

 许多CTI团队由网络安全其他部门的分析师组成，如安全工程、SOC和事件响应。虽然这些技能是基础和价值的，但批判性思维和分析TB数据的能力呢？ （Shackleford，2016年8月）。传统手法和结构化分析技术怎么样？必须对分析人员进行培训，以发现变化指标、跟踪事件、发现新趋势，并制定结果和影响的假设。在制定这些假设后，分析师必须有系统地评估所有证据，以确定假设（美国政府，2009年3月）。分析师可以使用Kill Chain或钻石模型。

4.缺乏工具集成

 CTI必须利用所有使用IT和网络安全的工具，它需要平台，将大多数工具与威胁源集成在一起，从而实现威胁信息的无缝对接，实时分析和自动修复（Shackleford，2016年8月）。虽然如今理想的平台还不可用，但是有一些级别的集成是可用的，例如防火墙和ePO签名。数据虚拟化是另一种新兴技术，可能帮助CTI分析师挖掘数据，而不必担心数据在哪里和如何存储。这种方法确实要求分析师学习如何使用和解释数据。

5.与软件开发漏洞管理协调

 软件开发团队很少进行适当的软件安全测试，在许多情况下，不会修复所有识别的编码缺陷和安全漏洞。在开发过程中，维护“已知”缺陷和漏洞的记录。通常，有缺陷的代码被允许投入生产以满足业务需求，对风险的责任很少。在大多数情况下，解决方案可以很简单，例如访问代码和测试库，使安全团队能够进行知识传输，以解决下一个敏捷scrum中的缺陷和漏洞。先进的方法是采用安全编码实践并将集成到开发IDE（Robert Schiela，2016年7月）。正确方向的一个步骤是思考“基础架构代码”，并使用具有诸如“Docker”等安全测试功能的DevOps工具（Alyssa Robinson，2016年12月）。

3.4。Coming up short

 大多数CTI团队很难对其订阅的威胁feed提供的所有指标进行研究，分析和采取行动。事实上，根据最近的SANS调查（Shackleford，2016年），这个数字限制在每周大约一百个指标。 CTI团队如何确定这百个指标是否对组织最有影响力？
 

（四）推荐方法

目前的CTI优先级别的排序过程，可能从充当过滤器的其他信息来源受益。过滤器必须可靠，并允许CTI分析人员快速识别与之相关的指标。这将有助于加快从标准化和过程到行动的循环。
 

 4.1。其他信息来源

 组织内部的两个信息来源和非常可靠的过滤器是业务上下文（context）和技术上下文（context）。业务上下文包括业务流程、依赖关系和控制，技术上下文是对手的工具和TTP。技术上下文是组织对对手的经验的结果，因此有助于筛选与类似行为相关的IOC。业务上下文有助于筛选与认为对业务至关重要的流程和资产相关联的IOC。作为业务影响分析（BIA）的一部分，组织确定其关键资产和任务关键流程。记录依赖关系和保障措施（控制）也是责任。这些信息在管理层进行审查，由其官员签名，，股东，。 BIA中的信息可用于确定CTI工作的优先级，确保网络安全保护最重要的内容。技术上下文是分析对手对组织本身或其他类似组织使用或利用的方法和工具。它包括网络钓鱼攻击，恶意软件，用户行为分析，模式和异常分析。
 

4.1.1。业务上下文

1、 业务流程，角色和责任

Impact Analysis，简称BIA）计划，确定按重要性，程序，角色和责任分组的业务流程，以确保在业务的连续性。关键过程是组织的心跳，因为它们支持任务、创收或客户服务，因此必须具有最大级别的网络保护和运营冗余。使用BIA计划作为指导，可以优先考虑有限的CTI资源来保护组织。影响任务关键流程的威胁首先得到解决，其次是关键的，紧迫的和重要的过程。如果组织有企业风险管理（ERM）流程，那么所有的配套政策和风险分类系统都将一致，例如第三方风险管理（TPRM），数据分类，管理和治理以及业务连续性（BC ）。这一点对于确保与CEO和董事会沟通没有主观性至关重要。信息流通过整个组织对于确保网络安全得到快速决策至关重要。

保持任务或业务信息的最新状态需要一定程度的自动化，以在数据收集过程中保持低开销，，可以随着各种利益相关者或通过自动化直接更改信息而更新信息。关于流程，其关键性，他们支持的产品，其收入影响，支持应用程序，依赖关系和底层基础设施的信息都是有助于优化CTI团队努力的重要信息。 CTI团队需要额外的业务信息，例如包括数据资产的资产清单，支持各种业务流程的第三方及其访问网络的性质，以及访问敏感组织资产的第三方员工，以确定链中的薄弱环节并提高关键流程的弹性。

 2.基础设施图和依赖关系

 IT应用程序和基础设施的服务依赖关系图对于减少IT资源的停机时间和战略分配至关重要。在不了解IT应用程序和基础设施依赖关系的情况下，确定优先级，分类和解决事件是非常困难和耗时的。此信息对于CTI团队也很有用。在过去几年中，恶意软件的设计具有长寿和多功能性，例如，OnionDuke工具集包括用于凭证窃取，信息收集和拒绝服务的各种模块。 CosmicDuke具有键盘记录，截图，凭据窃取，特权升级，持久性，信息泄露和用户加密证书导出功能（F-Secure Labs，The Dukes）。
 

3、控制措施

记录每个流程、应用程序和资产的控制信息至关重要。与第三方共享的数据必须记录，包括共享的数据类型和使用的加密等保护机制。一个特殊的挑战是传统的系统，对于这些系统，几乎没有可用的文档记录。由于关键的服务支持和可用性期望，IT管理层对于环境的改变犹豫不决。主机操作和SWIFT终端是这种传统系统的完美示例。

技术正在迅速使许多控制过时，例如，使用3-DES仅用于传统系统，而AES是新标准。对手正在使用云计算来破解密码，使得12个字符的密码不安全。云计算服务提供商正被用于临时域名网络钓鱼活动，感染和C＆C（Darren Pauli，2016年11月），这些域名是防火墙黑名单控件。

4.1.2。技术上下文

1、恶意软件分析

恶意软件提供大量信息，恶意软件反向工程师提取此信息，是大多数CTI商店的资源。为了使CTI商店能够产生自己的情报并为社区做出有意义的贡献，强烈建议投资此功能。为了支持这个建议，我们来看一些值得注意的事件，并强调恶意软件分析提供了一些有价值的威胁情报。

在2016年中期，。，亚太经合组织首脑会议组织者和代表有关各方的国际律师事务所（F-Secure，2016年7月）。【此处省略N个恶意软件分析的例子，详见原文】

2 网络钓鱼活动

 网络钓鱼占到了95％有关国家攻击者的的事件，超过三分之二的网络间谍活动使用网络钓鱼（Verizon 2015）。目标不是从用户那里获取凭证或信息，而只是让他们在武器附件或链接上点击“link”，以便在主机上建立一个通道，并获得网络访问权限（Verizon 2015）。23％的收件人打开网络钓鱼邮件，11％点击附件（Verizon 2015 DBIR）。这个趋势正在变得不利，30％的人打开了网络钓鱼邮件，12％点击了恶意附件（Verizon 2016 DBIR）。问题是为什么人们点击，攻击者利用五个因素 - 1）时间2）接收者的情绪状态3）电子邮件中的语言4）社交媒体上接收者的信息5）收件人的心理状态（Nettitude Perception， 2016年7月）。

如果网络钓鱼电子邮件的内容包括行业特定的术语和主题，那么它表明它们是故意设计的具体目标（FSecure，2016年7月）。这提供了威胁的动机，意图和目标的线索（FireEye APT28报告）。攻击者将注册域名或使用与收件人感兴趣的主题相关的文件名称，使用旨在在目标系统上工作的漏洞，例如APT28使用Georgian撰写的电子邮件，针对Georgian内政部，并利用Windows XP漏洞（FireEye APT28报告）。商业环境非常重要，因为美国，北约和Georgian的合作对俄方造成了极大的压力，几个月后两国也在战争中。网络钓鱼的目标也提供了对手的线索，例如，，而PII数据或POS终端的目标是指示网络犯罪分子（Nettitude Perception，2016年7月）。

3.内部IOC

在情报收集中的代表性不足的另一个领域是内部来源，据数据显示，2016年调查对象中有54％的受访者和2015年的受访者中有46％收集内部情报（Dave Shackleton，2017年3月）。内部流量是丰富的信息来源，例如，标题内容和订单中的小错误，排印和语法错误，为网络管理员提供了检测恶意软件的机会（Tobias Lewis，2013年12月）。内部IOC的另一个例子是行为检测，例如分析人工生成与自动产生事件的时间，用户活动，数据上传/下载模式以及域和URL的差异（Tobias Lewis ，2013年12月）。

可以自动化并优先处理行动的其他内部活动IOC包括异常端口的请求，异常的特权帐户活动，前雇员的登录，大量数据传输，可疑注册表或文件更改以及设置更改（Jason Mack ，2015年7月）。例如，公司首席执行官或数据库管理员在授权时间之外使用Drop Box或Twitter等未经授权的应用导出大量数据文件，CIRT团队应立即进行调查。 CEO在社交媒体网站上有关于他们的家乡，学校，宠物名称，汽车，兴趣和习惯的个人信息？这些信息被用作安全问题的答案，往往会被包含在密码中（Lewis K，2014）。使用他们的工作电脑，他们访问Linked In，或者从伪造的个人资料中点击武器化文件？（赛门铁克，2015年12月，Satnam Narang）。恶意软件正在正在学习隐藏，通过使用诸如Twitter，GitHub和Cloud Drive（FireEye 2014）等常见的基于Web的应用程序和社交媒体网站。

4.2。 推荐优先级

CTI团队应按照BIA中列出的重要性顺序开展跟踪攻击者活动，例如，关键任务资产和流程应该是重中之重。如果组织中最有价值的资产在数据中心，网络钓鱼是使用的主要策略，那么技术和资源应该集中在阻止这些电子邮件和起源，而需要定制网络钓鱼培训，提供给数据中心员工。如果企业选择在国外开展业务，POS恶意软件非常普遍，那么在该国使用的所有POS终端和用户笔记本电脑必须只能有限的功能，并放置在不同的VLAN上。机构官员，首席执行官和总顾问等其他人员是高价值的目标，他们的活动和访问应该持续性监测。

（五）结论

 使用推荐的方法使得CTI团队直接与组织的使命和优先事项相一致。这种方法不会改变CTI的功能，但很有作用。它首先确定支持任务关键活动的过程，应用程序和资源，以及蓄意破坏它们的威胁。例如，如果威胁feed标识了一个漏洞，其支持关键任务流程的应用程序，则可以立即对其进行修补。如果零售组织的CTI显示，通过采用在终端上应用域名和应用的白名单政策，可以减小90％的攻击，公司领导将支持这一点。这种以影响为导向的方法使得与组织领导层进行网络安全对话更容易，例如请求预算，重组流程或需要对基于Web的应用进行渗透测试。使用业务和技术上下文过滤器筛选威胁feed并进行优先级别的排序可以使CTI团队缩小焦点，并变得更有效。