数据量飞升的同时需要高性能的支持：这家初创公司如何做好大数据的安全

数字时代带来了海量的数据，而中国的快速成长和大国生齿为大数据的应用供应了一个全球局限内最适宜的情况。大数据情况比拟传统数据库情况，不光仅是数量级上的提拔，更需要在连结机能的情形下进行较量——这无疑给大数据的平安带来了更多挑战。那么大数据平安该若何落地？大数据和大数据平安的成长又通往何方？洽闻国内专注大数据珍爱的厂商——观数科技近期进行了新一轮万万级的融资，平安牛采访了观数科技创始人李科，并就这些问题以及观数科技的成长进行认识。

[本文来自：www.ii77.com]

[转载出处：www.ii77.com]

人物介绍

从主机平安到大数据平安

李科：这其实和我们从椒图脱离有直接关系。我从椒图脱离的时候，因为竞业限制，需要从新选择偏向。而我们发现，在大数据这个范畴，也需要用到接见掌握，只是主体和客体发生了转变，但手艺的使用和方针却依然是一般的。

平安牛

我感受应该照样有点区其余：主机平安首要面临的是系统，而大数据的平安则面临的是数据库。

李科：手艺栈的确纷歧样，但素质上只是主体和客体的转变：在把持系统上，主体或者是用户和历程；在分布式数据库上主体就或者是列、组、字段等——但进行防护平安理念是不变的。所以，我们就能够把之前做主机防护的思路转化到分布式数据库上。

李科：在 2015 年寻找偏向的时候，我们首先在考虑云较量。然则，云较量各类层面上都和主机平安重合度太高——云较量其实是将一个主机虚拟成多个系统，但大数据恰恰相反——大数据把多个主机鸠合成一个系统，这其实会带来新的问题。我们本身着手后发现，凭据网上的教程搭建出来的系统，只要网线能连上，就能接见 hadoop 中所稀有据。然而，这些接见没有任何的账户系统，也缺乏充沛的接见掌握。在如许的情形下，我们在国内做了一些研究，寻找是否有专注于做大数据平安的公司，究竟发现没有。然则，我们发现国外有像 BlueTalon 如许的公司；于是我们就认为如许的需求事实上是存在的。

平安牛

那在确定了这个偏向之后，你们起头着手做了哪些内容呢？

李科：我们就起头往这个偏向做第一款 DAF，对应 WAF（ D 代表 Data ）。在 2016 年做出来了今后，拿到公安部三所去送检。其时国度也还没有尺度，所以专家认为这是能够填补国内空白的工作，就去参照国外同类产物的功能。我们如今也是独一一个有公安部发的针对 hadoop 平安的《信息平安专用产物发卖许可证》。今朝仍然只有我们一家有这个证。

大数据平安的三大痛点：敏感数据处理、正当合规、集群治理

李科：首先是运营商。我们发现运营商在整个大数据的板块里，从手艺的角度来看是最成熟，规模也是最宏大的。

其实我们刚和电信接触的时候，他们并不承认单一的产物。他们对大数据平安是有一个整体的顶层设计的，所以若是我们只能解决中央一个环节的问题，他们是没法给我们立项的——我们必需要一个整体的平安解决思路。那我们就反过来和他们沟通，扣问他们的真实痛点是什么。最后，我们总结出了三个痛点：敏感数据的处理、正当合规、以及集群治理。

李科：这一步里细分了好多范畴，好比若何梳理敏感数据资产。电信有些宽表有几千个字段，包含了身份证号、德律、家庭地址等等。电信透露他们知道本身有好多敏感数据，然则若是没有一个完美的资产表，他们无法知道这些敏感数据在哪。另一方面数据开放才有价格：数据需要在举止中才能发生价格，在这个过程需要跨部门，甚至跨机构，然则需要在举止过程中防止敏感数据泄露。

李科：我们..里有两个模块：一个是敏感数据发现，这个就对接了如今的主流大数据..，像 HDFS、HBase、Hive 等。我们本身也界说了一个数据分类分级的尺度。我们经由和人访谈，好比在电信行业之前有本身内部的一套尺度，而且在本年发文正式制订。我们凭据这个尺度，建立了一个发现敏感数据的引擎，能够扫描数据库并生成申报，敷陈用户本身的哪些敏感数据在哪个表、哪个字段。

另一个模块是脱敏，分为两种：静态脱敏和动态脱敏。静态脱敏首要用于存量数据，当要开放给其他第三方剖析的时候，在从A库拖到B库的过程中，用加星、泛化等体式进行脱敏处理。静态脱敏一样没有实效性要求。静态脱敏已经在我们一期的几个电信情况都已经落地了。当我们本年在第二期的时候，就碰到了动态脱敏的需求。动态脱敏要求实时处理，这就比静态脱敏更进了一步。这个时候我们就转换思路，用 Spark 在中央做了一个转化层，这个转化层能够做到只要数据经由，就能实时进行脱敏处理。但事实上，我们发现究竟不是稀奇幻想。因为一旦数据量太大，我们这个环节就会成为瓶颈。所以，后来我们又想了一个法子：我们只截获传输中的 SQL 语句，或许是大数据取得语句，经由革新语句，直接做到在输出的时候不含敏感字段。

李科：对，并且语句傍边存在嵌套。我们在这个手艺上的确花了很长时间，并且不少厂家已经在这个坑上卡了一年多。

我们实际上也不快，只是我们在电信行业里花了一年多时间去研究这方面的实现体式。这需要同时对买卖和大数据整个框架都对照熟悉才能做到。前几年都在说 NoSQL、NewSQL，但这两年我们感受在大场景里都在转向 AllSQL——如许才能尺度化。如今就有点像 Linux 十年前的情况，没有尺度化。我对大数据行业前两年的印象就是乱象丛生，但如今我们显着能看到是在往 AllSQL 的偏向走。

李科：是的，因为其实除了等保，之前还有收集平安法。另一方面，工信部自己就有一套对数据平安和行业监测的尺度，这其实是刚需。

李科：之前机械只有几十个，上百个，客户会需要一个好的治理软件，去下发补丁、统一治理。然则，如今集群数量太多了，像方才提到的有 1,500 个，那若何治理如许宏大的集群就成了问题。主机层面有其他厂商在处理，我们不会去插手，然而这上千个集群中会有几十种组件，使用的版本还或者有区别；那么，一旦某个版本显现机能不足、消费内存过多、需要打补丁、甚至显现了破绽该怎么办？我们如今把这个需求称为 “集群治理”，并且用户在这方面急需一些有治理能力的对象，而我们的..如今也兼具了如许一部门功能：一旦安装了我们..，那么当前集群的一些参数，好比 CPU 消费、内存消费，都能够被收集。我们在..上还有一个阈值的调整，对于偏离阈值的情形进行告警；当有新的补丁发布，我们会进行提醒。我们今朝已经解决了集群治理中的一部门问题。这方面在将来还有好多工作要做。这能够算是泛平安的概念。

观数的手艺优势

李科：我们其实除了运营商，还有一个范畴是电网。

因为电网除了电力输送之外，还有一个感化是信息。电网素质上和运营商是一般的，只不外电网跑的器材是它自身——国度电网是有一套本身的内网进交运行的。这一套系统的需求其实和运营商差不多。所以在电网里，我们的一些大数据审计、漏扫之类的功能也在使用。这两个行业我们已经试探了两年多了，是以相对而言有一些经验。然则我们如今还没有做好去扩展新行业的预备。我们此次融资的方针，是将买卖扩展到全国的运营商，将我们如今对照成功的模式在全国进行复制。

李科：运营商和电网是我们作为原厂商专门去耕作的行业，我们并不首要去做其他行业，然则我们有合作伙伴进展我们一路去挖掘——好比深信服。我们刚中标了一个区的雪亮工程，他们使用的大数据集群和超融合一体机都是深信服的，那么里面集成的大数据接见掌握和脱敏就是我们来处理。

李科：有一些厂商也在跟进。大一些的厂商都已经起头涉足这个范畴了。和他们比拟，我们起步更早，有更多的储蓄，而且我们只做这一件事。举个例子，某些厂商做数据库审计，他们做了好多年，市场也很大，他们如今也在做这方面的审计，然则他们如今而言支撑的组件远比我们少。

我认为做这行是需要时间的，而不是说其他厂商没有这方面的能力。

李科：是。这三个痛点一定是普适的。这是我们在第一年的项目中总结出来的。然则，我们在第二年的项目傍边又发现了一些转变：变得更场景化。然而，场景化的需求不是厂商凭空捏造就能搞领略的。我们如今的审计已经做到天天和用户在一路做剖析。最初我们首要做的就是五要素：主体、客体、时间、动作、究竟，形成一个记录。我们会基于记录进行剖析，把数据做成了可视化——这是我们第一期的工作，杀青了事后有据可查。而如今我们起头在干事件关系，就是我所审计的日志，和客户的买卖发生关系性。另一方面，当我们发现某个字段显现 “update” 和 “delete” 把持，而且这个字段是敏感字段，那我一旦点开这个字段，我能发现这个字段上级属于哪个列族、哪个库，而且来自于哪——即血缘剖析。这是我们如今首要在往前做的功能。

李科：在第一年的时候的确存在这个问题，我们都要去做定制斥地，所以我们支撑的组件局限就相对对照广。然则如今 AllSQL 的模式正在影响用户，所有的功能都在往这个偏向转，所以我们如今的精神也首要往这个偏向走。我们的思路是本年在我们的电信产物中，往一个..的偏向走：无论后台是用哪种组件，只要接入我们..，就用 SQL 的和谈进行转换，从而就能做得更尺度化。

大数据平安 Vs. 数据库平安

李科：其实从基本上来看，我们如今是在一线的、不完美的手艺层面进行试探。大数据解决的是机能问题；我们一向都是以此为前提在做平安。所有人都知道机能和平安是辩说的——而我们和传统的数据库平安的区别就在这点上。传统数据库在做的时候不需要太多考虑机能方面的问题，因为机能早就已经决意了——他们就是处理实时的、小数据量的内容。然则到了大数据范畴，用传统数据库也能解决——用一千个防火墙；然则一旦这么处理了，也不消做大数据了，因为效率太低失去了大数据的意义。我们的手艺拿手和难点，就是我们必然要在兼顾机能的情形下考虑平安。

首先分布式就是有区其余——所有鸡蛋并不是放在一个篮子里，我们要解决若何整体去珍爱的问题。另一点就是不克影响机能。

李科：这类单元单子的重点是分类分级。一旦某些信息被分类到必然敏感级别，即使牺牲机能，也必需要进行加密；未达到敏感级别就不克加密。是以，分类分级反而是这类单元单子大数据的最要害点。据我所知，如今有多个运营商都在要求大数据加密的组件，我们也为他们供应了一些 demo。然则要做到这件事情，首先要能梳理好企业自身的数据资产，不然悉数数据都加密，大数据也就不消落地了。

观数的将来成长

平安牛

方才聊了好多手艺方面的内容，那在市场前景、企业文化等方面，你是怎么看的呢？本次新融资的投资方是谁，这轮融资的首要规划是什么？

李科：市场前景的话，就像我之前提到的，大数据已经在起头往尺度化的偏向走了；对于我们而言，如今就是容身这两个行业，以我们本身的能力去深挖。在这两个行业里，我们需要做的就是把我们尺度化的产物打磨出来。我们刚进入行业的时候都是接项目。尽管我们都是带着我们本身的产物和客户沟通，然则客户都感觉我们的产物和他们的实际需求差距有点大，所以就需要进行定制。究竟就是前几个项目我们都是定制，再加上我们本来产物，进行了大量的斥地工作。在这个过程中，我们发现，能够把一些做得很好、很尺度的功能零丁提掏出来做成产物——这些产物是不需要我们未来去做办事的，就像防火墙以及审计类产物一般。我们本年的方针就是做出两款尺度化产物。这些尺度化产物的意义在于我们今后就有能力和大厂商合作，作为原厂商输出产物，给一些深信服、绿盟、奇安信等大公司员工进行..，让他们供应办事，甚至能够将大量的利润让给这些公司。只有如许经由渠道，像我们如许以手艺，而非发卖为导向的公司，才能提拔产物的发卖量。这是我们如今最主要的事情。

我们本次投资方是瀚晖资源，是一家存眷高成长性的投资机构，此前成功投资过欧派家居 (603833)、科顺股份 (300373)。本次融资首要规划是竖立发卖 系统和手艺撑持部队，提拔办事质量和能力，进一步扩大市场。