三、Palantir情报收集分析技术特点分析
Palantir公司的早期产品理念完全来自于Peter Thiel,公司产品专注于大数据挖掘、处理和可视化分析显示,通过海量数据的整合处理,将特定的人、位置、实体和活动进行关联分析,最终使关系可视化,方便决策判断。Palantir情报收集分析具有以下几个特点:
(一)一体化完整解决方案(“全栈”式分析)
Palantir极具吸引力的特点在于,它不是单一的数据解决方案,其强大的灵活性和兼容性,足以适应任何组织机构对海量数据的处理需求。
2011年,一份关于GCHQ网络防御情报与安全小组的文件,把Palantir系统形容为具备恶意入侵功能并进行数据收集的工具:通过破坏防病毒和其它安全防护软件以追踪用户和渗透网络,同时Palantir软件被形容为“汇聚零散信息并提供独特可视化显示的数据分析平台”,文件同时透露,Palantir与XKEYSCORE系统和其它情报软件被高度整合使用。Palantir系统在网络间谍工作中的应用程度相当广泛,甚至极具前瞻性和想像力。Palantir致力于为情报机构提供一个可以定位到基础设施的的“全栈”式分析平台。
(二)可视化强大到增强现实(AR)程度
GCHQ把“可视化”定义为:通过多种勾勒和描绘方式提高对现有数据集的了解,而这也是Palantir对情报价值的主张:Palantir分析平台可以很好地整合结构化和非结构化数据,具备信息搜集和发现能力,同时支持知识管理和多方协作功能。
Palantir主力工具之一的Gotham通过对结构化数据(如电子数据)和非结构化数据(如图像)的高度集中化分析,得到可视化的关联线索信息,如2010年的一个视频显示,利用Palantir Gotham平台,导入武器装备批号、制造商信息、训练营地等分散数据,就能快速地绘制出中东地区武器流向图。
2010年GCHQ和NSA关于“掌控互联网”的监控项目文件提到,在Andriod设备监控中运用Palantir软件,可以实现基于“增强现实(AR)”的信号情报收集,然而,具体到了什么程度,现在还不得而知。
(三)超强的数据导入与处理能力
Palantir在其构建的新型平台下,各种数据从四面八方汇聚而来,又通过智能关联和可视化分析方式得到了升华应用。从曝光的文件中可见,在与XKS、Spay等“五眼同盟”的10余套分析软件高度整合应用下,Palantir对数据的高效和多方位分析能力非常突出,甚至广受NSA内部数据分析师的欢迎。
在一章标题为“Unexpected Benefits”看似营销手册的幻灯片中,宣称Palantir可以和包括谷歌地球在内的任何联网应用建立交互联系,甚至还可以在iPhone和笔记本电脑上安装使用,就连在另外一章名为Potential Downsides(潜在影响)的幻灯片中,也还如此隐晦地对Palantir大加赞赏:“Palantir虽然很贵,但不是想像中那样离谱的贵;Palantir可以做的,就是我们所想的”。所有的这些,也意味着合作仍将继续深入,而为满足情报机构客户的特殊需求,Palantir自身也非常乐意做出适应或改变。
在GCHQ的一个内部维基网页中,分析师上传了一份对Palantir系统的日常例行使用规范,包括各方面内容:“如何从Palantir获取XKS数据….?”、“如何用Palantir进行批量搜索…?”、“如何用Palantir进行批量数据操作….?”等等。技术支撑方面,Palantir提供1对1指导培训,经常向目标客户机构派驻“前沿部署工程师”(forward-deployed engineers),直接与客户工作互动,确保客户对产品的使用得心应手。另外,如果分析师有任何使用疑问,都可以通过一个定制的即时聊天软件进行反馈。
据Theintercept网曝光文档中还提及GCHQ使用一个内置名为“Kite”插件的Palantir程序,在所有相关出处文档中都作了隐匿编辑处理,而另外一份对Kite的源码分析文档中显示出Palantir对“五眼同盟”的灵活技术支持程度,前端开发人员和后台数据分析师可以就地通过Palantir平台应用或Kite程序获取相关数据。当所有获取数据被处理分析之后,会被上传到Palantir系统的数据仓库中,而平台其它工作人员可以通过类似于谷歌电子表格的方式来访问这些数据信息。Palantir平台分析师可以利用当前使用程序导入一些需要分析的静态数据,但是如果需要导入数据库或设置自动导入功能,就必须得借助插件Kite。
Kite用于导入一些情报数据并把其转换为统一可存储于数据仓库的XML文件格式,比较独特的是,Kite可以处理多种信息类型,如日期型、图像型、位置型等等。
在这种以Palantir产品为中心的数据分析环境中,还产生了另外一个工具“XKEYSCORE Helper”,该工具可以向Palantir系统内导入来自NSA管道的数据,经过进一步的调查和可视化分析之后,再分发给“五眼情报同盟”的各位分析师。
四、启示与建议
(一)政府应像NSA一样制定大数据战略并推动实施
棱镜门事件以来,NSA的全球监控行为遭到各国政府和人民的谴责,但美国情报部门所展现的大数据和信息安全技术实力也成为各国政府甚至一流IT企业为之“艳羡”的对象。
,而且在大数据采集、处理和分析技术上也让大数据技术厂商们“惊艳”。事实上,NSA大数据项目的规模、可扩展性、安全性在很多方面甚至超过了Google、亚马逊和苹果这样的大型互联网企业。
NSA旗下的风险投资公司In-Q-Tel迄今已经投资了200多个云计算、大数据、搜索与分析创业项目,是美国大数据创业热潮的最强力推手,因为获得In-Q-Tel的投资本身还意味着来自政府部门的订单。
毫不夸张地说,NSA才是美国大数据创业热潮背后的真正推手。从技术角度看,NSA已经能够识别网络上的各种可疑行为和个人,NSA还有一个称之为“生命分析的模式”的“更大的想法”:异常分析。如何建立一种模式来识别异常和正常?这需要基于对大量应用案例的分析基础来进行综合判断。你可以不喜欢NSA,但NSA已经无可争议地在科技公司中确立了信息安全和大数据技术领导者的地位。
2017年3月29日,“大数据分析系统国家工程实验室”在中国科学院计算技术研究所正式揭牌成立,表明我国国家层面已经开始高度重视开展大数据分析领域的科学研究与技术开发。
(二)开发自主的“Kite”工具插件
Kite程序获取相关数据的能力之强大甚至到了匪夷所思的程度,泄露出的文章提到:“其强大的全网海量个人元数据高效获取能力,这也导致了其唯一的缺点--产生的提取信息出现超负荷现象”。
我们看到,NSA没有自己投巨资构建庞大的IT基础设施去收集、存储各种海量元数据实在是明智之举,通过Kite这样一个插件工具,其强大的接入能力直接将整个互联网、数据库/数据仓库瞬间变成了自己的专属数据采集设备,这得益于Kite强大的分析处理多类型、多格式数据的能力,是兼顾数据管理功能、成本和可扩展性的典范。
NSA这种思路和做法,特别适合我国这种互联网由下自上、元数据多样性的现状。
此外,大数据分析工具不能简单局限于对被动获得的、推送过来的海量数据的分析,还应该具有强大的网络渗透并主动抓取关键有效信息的能力,此项功能也可以通过插件方式来实施,通过利用各种漏洞“有效渗透进入”各种网络环境、操作系统与应用场景,从而主动提取有用数据。
(三)加强大数据安全防护
从Palantir帮助NSA和他的伙伴们监控全球可见,没有足够安全防护的“大数据”=“大曝光”。
由于使用人员安全意识薄弱,这也使得很多“大数据”相关的应用服务直接部署在互联网之中,并且没有任何安全防护措施,一旦被攻击者发现或利用,就可能造成大量数据的“大曝光”。
暴露在互联网中的“大数据”普遍存在访问控制不足的问题,普通人通过浏览器就能访问到某些应用的web界面,获取配置信息、操作日志和存储数据等敏感信息;或者利用某些应用的客户端程序直接连接对应的服务端,通过提供的控制命令对服务端数据进行添加、删除、读取等操作等等,更别说NSA这样的专业机构。
大数据时代下的信息面临着新的安全威胁,如云平台下的个人隐私保护,如全方位立体的信息系统增加了受威胁攻击的承受面积等。每一个新的数据源加入信息网络,便会成为新的潜在受攻击点。
为此,加强全社会的隐私数据保护教育,提升大众的数据保护意识,部署功能强大的防护手段,是我国当务之急。否则,我们全社会将完全处于NSA这样的机构的无孔不入的监控环境下。