香港腕表价格交流群

从Palantir帮助NSA和他的伙伴们监控全球看大数据分析技术

2020-08-31 10:27:02

一、Palantir基本情况

Palantir公司是由Facebook早期投资人、PayPal联合创始人Peter Thiel和其他四人联合创立,现任CEO是鬼才哲学博士Alex Karp,公司早期投资来自CIA旗下的In-Q-Tel风投基金。


Palantir最为人称道的两个案例是:一、在美国追捕本.拉登行动中Palantir扮演了重要的大数据情报分析角色;二、Palantir协助多家银行追回了纳斯达克前主席麦道夫Bernie Madoff所隐藏起来的数十亿美元巨款。


本届美国总统大选期间,,Peter Thiel却与众不同,不但出资支持特朗普,还在后期加入了特朗普的政府过渡团队。作为硅谷唯一支持并出资协助川普竞选的投资界人士,Peter Thiel和他创建的公司Palantir特别符合特朗普喜好。Palantir长期为政府提供各类大数据分析挖掘服务,近期,据Theintercept网秘密获取的一批文档显示,。


二、Palantir与政府、情报机构合作详情


(一)Palantir与美国政府

CIA旗下风投公司In-Q-Tel曾是Palantir的早期投资方。据报道,Palantir2009年与联邦政府签署了高达12亿美元的合同,而Palantir却一直拒绝公开其政府客户信息。在市值高达200亿美金的现在,Palantir还在继续寻求新一轮IPO。2012年的TechCrunch采访中,在谈及与情报界的特殊关系时,Palantir董事Alex Karp以保密协议为由拒绝谈论政府业务。


Palantir这个名字是Thiel取的,来源于《指环王》剧中能穿越时空、看到一切的水晶球Palantiri(Palantir的复数形式),它可以帮助魔王索伦监视、跟踪和威胁对手,而这也代表Palantir产品的初衷:从海量数据中找到事物之间的关联信息。Palantir公司现有两大主打产品——Palantir Gotham和Palantir Metropolis,Gotham主要用于情报、执法和国防安全领域,Metropolis用于金融领域相关的银行诈骗和对冲基金定量数据分析。


手握利润丰富而又阴暗的政府合同,Peter Thiel指出,。斯诺登泄密事件爆发后,,而被好多人混为一谈,之后,Palantir 在一份官方文件中作出了否认回应。


(二)Palantir与XKEYSCORE

从斯诺登处获取的文件显示,Palantir公司一直在帮助NSA和其合作伙伴构建基于全球的间谍网络,而这很难与其声称的注重隐私保护所相称。众所周知,NSA的项目XKEYSCORE(关键得分)可以收集获取用户在互联网上的所有痕迹,不仅包括邮件、聊天视频、网页浏览记录、图片、文档、音频、摄像头照片、搜索记录,还包括社交媒体流量、僵尸网络流量、键盘记录、漏洞可利用情况、用户名密码、上传文件、Skype会话等等。XKEYSCORE把收集数据最终形成一个检索库,方便NSA和其全球合作伙伴进行查询。但是如何处理和归类这些复杂数据呢?Palantir公司的软件派上了用场。在Palantir海量数据分析和可视化分类服务的帮助下,XKEYSCORE变得愈发强大。


(三)Palantir与GCHQ

Palantir引起各国政府情报机构的注意可以追溯到2008年。当时一年一度由IEEE举办的数据可视化分析年会(VisWeek)在美国召开,英国信号情报局和政府通信总部(GCHQ)的代表慕名而来,会上,来自全球政府和学术部门以及相关私营企业部门组队参加可视化分析(VAST)竞赛设计。据GCHQ文件描述,当时Palantir团队用其数据分析软件在现场展示了一个完美的设计方案,吸引了很多潜在买家。


会上,Palantir声称利用其软件可以“让多方数据分析专家真正展现集体智慧的发挥”,在Demo展示环节,,并把这些结果应用在虚拟恐怖组织“帕莱索运动”的追踪定位中,由于实验中所有虚构人物和场景都未有明显语境说明和倾向标记,,最终确定了该恐怖组织人员。


从VisWeek返回的英国政府通信总部(GCHQ)代表大受震撼,在一份机密的参会总结报告中可以看出他们对于与Palantir的合作充满期待,就连字里行间似乎都透露出一种难以抑制的兴奋感。例如,总结报告一开头就是“Palantir是由CIA投资的硅谷初创公司,公司与美国情报界用户有着深度合作”,报告认为Palantir在VisWeek上展示的Demo“值得关注”,,而且认为Palantir的软件“非常高科技和成熟性……,我们都被震惊到了,你只有看到后才会相信这有多牛!”。


(四)Palantir与“五眼情报联盟”

据Theintercept获取到的文件显示,2010年在美国、英国、澳大利亚、新西兰和加拿大组成的“五眼情报联盟”中,至少有3国情报机构采用了Palantir的服务进行全球数据的采集与分析,其中包括GCHQ。Palantir擅长从通话记录、IP地址、金融交易、名字、对话内容、旅行记录等海量零散的实体数据中找到关联信息,并通过集中分类和可视化技术描绘出这些关联信息,从而解决了现代情报收集工作中的一个重要问题:数据过载。


在共同协定下,“五眼情报联盟”成员国采用Palantir的工具与服务,通过XKEYSCORE计划收集了海量数据流和元数据,同时结合这些数据,尝试以黑客手段侵入其它国家网络。


在目前曝光的文件中,Palantir软件似乎被描绘成了一种增强型的胶结剂,可以满足所有“五眼情报联盟”情报机构对海量模糊数据的高效获取和关联分析。2007年,GCHQ网络防御情报与安全小组NDIST在“五眼情报联盟”内部的评估文件指出:对海量个人数据的收集是未来信号情报工作一个重要发展方向,但是当前“五眼同盟”内部分析技术实力还不足以应付,必须寻找有力的分析工具作为技术支撑。最终,技术人员在对洛克希德马丁、 Detica等14家公司的分析工具作了评测对比之后,认为后起之秀的Palantir当属最佳产品。


三、Palantir情报收集分析技术特点分析

Palantir公司的早期产品理念完全来自于Peter Thiel,公司产品专注于大数据挖掘、处理和可视化分析显示,通过海量数据的整合处理,将特定的人、位置、实体和活动进行关联分析,最终使关系可视化,方便决策判断。Palantir情报收集分析具有以下几个特点:


(一)一体化完整解决方案(“全栈”式分析)

Palantir极具吸引力的特点在于,它不是单一的数据解决方案,其强大的灵活性和兼容性,足以适应任何组织机构对海量数据的处理需求。


2011年,一份关于GCHQ网络防御情报与安全小组的文件,把Palantir系统形容为具备恶意入侵功能并进行数据收集的工具:通过破坏防病毒和其它安全防护软件以追踪用户和渗透网络,同时Palantir软件被形容为“汇聚零散信息并提供独特可视化显示的数据分析平台”,文件同时透露,Palantir与XKEYSCORE系统和其它情报软件被高度整合使用。Palantir系统在网络间谍工作中的应用程度相当广泛,甚至极具前瞻性和想像力。Palantir致力于为情报机构提供一个可以定位到基础设施的的“全栈”式分析平台。


(二)可视化强大到增强现实(AR)程度

GCHQ把“可视化”定义为:通过多种勾勒和描绘方式提高对现有数据集的了解,而这也是Palantir对情报价值的主张:Palantir分析平台可以很好地整合结构化和非结构化数据,具备信息搜集和发现能力,同时支持知识管理和多方协作功能。


Palantir主力工具之一的Gotham通过对结构化数据(如电子数据)和非结构化数据(如图像)的高度集中化分析,得到可视化的关联线索信息,如2010年的一个视频显示,利用Palantir Gotham平台,导入武器装备批号、制造商信息、训练营地等分散数据,就能快速地绘制出中东地区武器流向图。


2010年GCHQ和NSA关于“掌控互联网”的监控项目文件提到,在Andriod设备监控中运用Palantir软件,可以实现基于“增强现实(AR)”的信号情报收集,然而,具体到了什么程度,现在还不得而知。


(三)超强的数据导入与处理能力

Palantir在其构建的新型平台下,各种数据从四面八方汇聚而来,又通过智能关联和可视化分析方式得到了升华应用。从曝光的文件中可见,在与XKS、Spay等“五眼同盟”的10余套分析软件高度整合应用下,Palantir对数据的高效和多方位分析能力非常突出,甚至广受NSA内部数据分析师的欢迎。


在一章标题为“Unexpected Benefits”看似营销手册的幻灯片中,宣称Palantir可以和包括谷歌地球在内的任何联网应用建立交互联系,甚至还可以在iPhone和笔记本电脑上安装使用,就连在另外一章名为Potential Downsides(潜在影响)的幻灯片中,也还如此隐晦地对Palantir大加赞赏:“Palantir虽然很贵,但不是想像中那样离谱的贵;Palantir可以做的,就是我们所想的”。所有的这些,也意味着合作仍将继续深入,而为满足情报机构客户的特殊需求,Palantir自身也非常乐意做出适应或改变。


在GCHQ的一个内部维基网页中,分析师上传了一份对Palantir系统的日常例行使用规范,包括各方面内容:“如何从Palantir获取XKS数据….?”、“如何用Palantir进行批量搜索…?”、“如何用Palantir进行批量数据操作….?”等等。技术支撑方面,Palantir提供1对1指导培训,经常向目标客户机构派驻“前沿部署工程师”(forward-deployed engineers),直接与客户工作互动,确保客户对产品的使用得心应手。另外,如果分析师有任何使用疑问,都可以通过一个定制的即时聊天软件进行反馈。


据Theintercept网曝光文档中还提及GCHQ使用一个内置名为“Kite”插件的Palantir程序,在所有相关出处文档中都作了隐匿编辑处理,而另外一份对Kite的源码分析文档中显示出Palantir对“五眼同盟”的灵活技术支持程度,前端开发人员和后台数据分析师可以就地通过Palantir平台应用或Kite程序获取相关数据。当所有获取数据被处理分析之后,会被上传到Palantir系统的数据仓库中,而平台其它工作人员可以通过类似于谷歌电子表格的方式来访问这些数据信息。Palantir平台分析师可以利用当前使用程序导入一些需要分析的静态数据,但是如果需要导入数据库或设置自动导入功能,就必须得借助插件Kite。


Kite用于导入一些情报数据并把其转换为统一可存储于数据仓库的XML文件格式,比较独特的是,Kite可以处理多种信息类型,如日期型、图像型、位置型等等。


在这种以Palantir产品为中心的数据分析环境中,还产生了另外一个工具“XKEYSCORE Helper”,该工具可以向Palantir系统内导入来自NSA管道的数据,经过进一步的调查和可视化分析之后,再分发给“五眼情报同盟”的各位分析师。


四、启示与建议

(一)政府应像NSA一样制定大数据战略并推动实施

棱镜门事件以来,NSA的全球监控行为遭到各国政府和人民的谴责,但美国情报部门所展现的大数据和信息安全技术实力也成为各国政府甚至一流IT企业为之“艳羡”的对象。


,而且在大数据采集、处理和分析技术上也让大数据技术厂商们“惊艳”。事实上,NSA大数据项目的规模、可扩展性、安全性在很多方面甚至超过了Google、亚马逊和苹果这样的大型互联网企业。


NSA旗下的风险投资公司In-Q-Tel迄今已经投资了200多个云计算、大数据、搜索与分析创业项目,是美国大数据创业热潮的最强力推手,因为获得In-Q-Tel的投资本身还意味着来自政府部门的订单。


毫不夸张地说,NSA才是美国大数据创业热潮背后的真正推手。从技术角度看,NSA已经能够识别网络上的各种可疑行为和个人,NSA还有一个称之为“生命分析的模式”的“更大的想法”:异常分析。如何建立一种模式来识别异常和正常?这需要基于对大量应用案例的分析基础来进行综合判断。你可以不喜欢NSA,但NSA已经无可争议地在科技公司中确立了信息安全和大数据技术领导者的地位。


2017年3月29日,“大数据分析系统国家工程实验室”在中国科学院计算技术研究所正式揭牌成立,表明我国国家层面已经开始高度重视开展大数据分析领域的科学研究与技术开发。


(二)开发自主的“Kite”工具插件

Kite程序获取相关数据的能力之强大甚至到了匪夷所思的程度,泄露出的文章提到:“其强大的全网海量个人元数据高效获取能力,这也导致了其唯一的缺点--产生的提取信息出现超负荷现象”。


我们看到,NSA没有自己投巨资构建庞大的IT基础设施去收集、存储各种海量元数据实在是明智之举,通过Kite这样一个插件工具,其强大的接入能力直接将整个互联网、数据库/数据仓库瞬间变成了自己的专属数据采集设备,这得益于Kite强大的分析处理多类型、多格式数据的能力,是兼顾数据管理功能、成本和可扩展性的典范。


NSA这种思路和做法,特别适合我国这种互联网由下自上、元数据多样性的现状。


此外,大数据分析工具不能简单局限于对被动获得的、推送过来的海量数据的分析,还应该具有强大的网络渗透并主动抓取关键有效信息的能力,此项功能也可以通过插件方式来实施,通过利用各种漏洞“有效渗透进入”各种网络环境、操作系统与应用场景,从而主动提取有用数据。


(三)加强大数据安全防护

从Palantir帮助NSA和他的伙伴们监控全球可见,没有足够安全防护的“大数据”=“大曝光”。


由于使用人员安全意识薄弱,这也使得很多“大数据”相关的应用服务直接部署在互联网之中,并且没有任何安全防护措施,一旦被攻击者发现或利用,就可能造成大量数据的“大曝光”。


暴露在互联网中的“大数据”普遍存在访问控制不足的问题,普通人通过浏览器就能访问到某些应用的web界面,获取配置信息、操作日志和存储数据等敏感信息;或者利用某些应用的客户端程序直接连接对应的服务端,通过提供的控制命令对服务端数据进行添加、删除、读取等操作等等,更别说NSA这样的专业机构。


大数据时代下的信息面临着新的安全威胁,如云平台下的个人隐私保护,如全方位立体的信息系统增加了受威胁攻击的承受面积等。每一个新的数据源加入信息网络,便会成为新的潜在受攻击点。

为此,加强全社会的隐私数据保护教育,提升大众的数据保护意识,部署功能强大的防护手段,是我国当务之急。否则,我们全社会将完全处于NSA这样的机构的无孔不入的监控环境下。


友情链接

Copyright © 2023 All Rights Reserved 版权所有 香港腕表价格交流群