平安科技王健宗：所有 AI 前沿技术，都可以在联邦学习中大展身手！

[转载出处：www.ii77.com]

[原创文章：www.ii77.com]

「AI 手艺生态论」 人物访谈栏目是 CSDN 提议的百万人学 AI 倡议下的主要构成部门。经由对 AI 生态顶级大咖、创业者、行业 KOL 的访谈，反映其对于行业的思虑、将来趋势判断、手艺实践，以及成长履历。

本文为 「AI 手艺生态论」系列访谈第二十七期，CSDN 邀请到安然科技副总工程师、联邦进修手艺部总司理王健宗，来具体讲解关于联邦进修，我们必需要认识的事实。

百万人学 AI 你也有份！今日起，点击阅读原文报名「2020 AI斥地者万人大会」，使用优惠码“AIP211”，即可免费获得价格299元的大会在线直播门票一张。限量100张，先到先得。

今天，我们来聊聊联邦进修（Federated Learning）。人工智能和大数据范畴的人对于这个新兴词汇必然不生疏，但关于这个连名字都有多种叫法的手艺（联邦进修、结合进修、联盟进修......）事实是若何实现的，好多人只是一知半解。

风头正盛的联邦进修事实是什么？

简洁来说，联邦进修作为分布式的机械进修范式，最大的特点是能够让多个介入方进行 AI 协同。素质上来说，联邦进修的方针是为了有效解决“数据孤岛”问题，让介入方在不共享数据的根蒂上结合建模，从手艺上打破数据孤岛，实现 AI 协作。

自从谷歌在 2016 年提出了针敌手机终端的联邦进修，这个概念起头火爆起来，并被视为下一代人工智能协同算法和协作收集的根蒂。安然科技提出“联邦智能”的架构，将平安通信、层级加密、可托较量、可视化等真正实现珍爱用户隐私数据的完整系统囊括进来，联邦进修只是个中一个手艺环节。

固然联邦进修手艺更新迭代，也有了不少实践解决方案，然则在实际落地中，在珍爱数据隐私的前提下进行 AI 协同，无论是底层手艺照样整个布置环节，还有大量的挑战需要战胜。

为了加倍深入认识联邦进修，CSDN 邀请到安然科技副总工程师、联邦进修手艺部总司理王健宗，从他小我踏上联邦进修手艺和应用研究之路的小我履历起头，到在其率领下构建的主动化机械进修..“奥卡姆”与联邦智能..“蜂巢”的手艺解析与应用实践，一窥这项手艺在信息爆炸的新时代下，究竟已经走到了哪一步。

从云 AI 转向联邦进修，出于对手艺的成长趋势预判

王健宗就读于华中科技大学较量机学院较量机系统构造专业，是个典型的拿公派奖学金的“别人家孩子”。2009 年，王健宗被国度公派到美国莱斯大学结合培育博士，其时正值云较量鼓起，他介入了莱斯大学与亚马逊公司的云较量办事优化的合作项目，并在读博时代提出了“云 AI”的手艺偏向，完成了关于云办事质量偏向的博士论文。

结合培育博士完成后，王健宗其时收到了一些美国的公司和学校的 Offer，然则考虑到国内广宽的应用场景、海量的数据，王健宗决然决然回国，并加盟了网易公司，从零起头介入搭建网易大数据..。在从事多数年大数据研发后，王健宗起头思虑一个问题——这些数据若何与应用场景相连系？他天真烂漫想到了多数年前在美国所提出的“云 AI”偏向，从手艺路径上讲，云较量、大数据之后，必然走向人工智能。带着对 AI 的前景预判，王健宗再次前去美国，在美国佛罗里达大学，师从人工智能国际知逻辑学者李晓林传授，从事人工智能博士后研究工作。

在云较量和人工智能范畴深耕数年，王健宗把首要的精神用在分布式人工智能范畴，联邦进修算是多年来他一向在做和想做的事。从美国完成博士后项目之后，他回国到场安然科技，专注于金融人工智能和联邦智能范畴的研发工作，率领团队自研了主动化机械进修..“奥卡姆”，以及联邦智能..“蜂巢”。

揭秘联邦进修..“蜂巢”

AutoML 是机械进修至关主要且有潜力的手艺，尤其是与联邦进修的连系更是有着无限广宽的前景。然则今天，我们将重点在联邦进修上。

王健宗说到，联邦进修想要解决的问题十分明确——就是数据孤岛，这也是它今朝首要的落地场景。

“蜂巢”的手艺架构

他介绍到，蜂巢..的手艺框架，是支撑联邦智能原生的。在数据部落中，“蜂巢”包含几大功能模块，包罗数据预处理、数据特征化、数据质量的评估等。该..支撑传统的统计机械进修和深度进修的模型，如逻辑回来、线性回来、树模型、CNN/RNN等。在整个模型练习过程中，对梯度进行非对称加密，整合梯度和参数优化、更新模型。

在联邦推理这一过程中，“蜂巢”会把原始的传输的数据进行加密，最终实现推理究竟。

在手艺研发工程中，他们不光需要研发有效的分布式机械进修算法，更主要的是若何更好地保障用户数据平安，在此根蒂上需要斥地靠得住的加密方式和有效的联邦进修模式。是以，凭据在实际应用场景顶用户的反馈，例如一些联邦进修算法中涉及大量矩阵大数运算，其经由络续测验和实验优化矩阵大数运算算子，在密态下矩阵大数运算的效率上有了很大的提拔。

这不禁让人好奇，在安然科技内部，“蜂巢”的背后是如何一支团队呢？

从王健宗的口中 CSDN 得知，这支团队是由安然集体首席科学家肖京博士指导，由他本人率领的业内联邦进修专属团队，首要的方针是鞭策 AutoML、联邦进修、AI翻译以及深度图范畴的生态成长，索求行业应用与前沿 AI 手艺进行深度、主动化融合的体式，近期在多项AI竞赛榜单名列第一的主动化机械进修..“奥卡姆”就也出自这支团队之手。

“蜂巢”作为安然科技的首要联邦进修..，在底层手艺和设计上有何奇特之处？

王健宗介绍，若何打造和实现企业级的联邦智能..是安然科技的方针，是以，“蜂巢”从最初的架构设计上就考虑到了在安然集体内各个专业子公司之间就存在着好多数据壁垒，金融行业对数据隐私的珍爱和监管要求是非常严厉，企业级的联邦智能..就必然要知足不乱、平安、合规的要求。

为解说这一点，王健宗举了一个例子。“国内金融机构中很常用的加密体式是国密算法，好多的公司对于任何信息的传输和加密都要求采用国密算法，这与我们在业界常见差分隐私和同态加密都不沟通，而蜂巢..能充裕支撑了国密SM2、国密SM4、搅浑电路、差分隐私和同态加密等分歧的加密体式，以知足实际企业买卖场景的分歧需求。”

此外， 蜂巢..采用了完全自立研发的梯度处理方式，能够做到真正适用于企业之间分歧的应用场景，经由加倍高效、加倍健全和加倍不乱更新机制，从而保障介入各方可以实现最高效的建模流程。

在联邦进修手艺研发迭代时代，王健宗和团队总结出了构建联邦进修..的几个要点，在这里分享给人人参考：

1）若何凭据分歧买卖场景革新联邦进修算法？

革新联邦进修算法的要害手艺之一就是对各方内陆较量获得的参数进行联邦聚合，针对分歧的买卖场景需要选择分歧的聚合方式：例如在数据样本量较大、对机能要求较高的情形下，安然科技供应了 FedAvg 方法，可以在包管机能的前提下极大水平地知足买卖根基需求；针对小样本的联邦进修，自研了 FedSmart 算子，可以更好地优化参数，提拔模型结果。除此之外，还凭据其他买卖场景定制化研发了一些聚合算子。

2）若何天真地实现加密功能？

保障数据平安是联邦进修手艺的焦点，针对分歧的机能要求，安然联邦进修..供应了分歧品级的加密模式：对于加密要求严厉的买卖方，供应了国密加密的加密模式，除此之外，还支撑信道加密模式等，以适应更多的买卖场景。

3）若何提拔联邦建模的效率？

联邦进修手艺的落地需要考虑耗时效率问题，多方较量、加密传输等方面都邑增加整体的耗时。针对该问题，安然联邦智能..设计了大量矩阵大数运算算子用于实现各较量模块，对加密算子和数据构造也进行了优化，同时使用了团队自立研发的新收集编码技术，使其可以更好地支撑多量量数据的运算，在不影响模型结果的前提下尽或者地提高建模效率。

“蜂巢”支撑哪些算法和练习模型？

 图源：视觉中国

“蜂巢”支撑机械进修、深度进修等多种算法，连系安然自研底层硬件加快手艺解决方案，对比竞品速度提拔50%，具体到算法和 AI 模型练习，以及自研底层硬件手艺解决方案，安然是若何做到的？

据王健宗介绍，首先，在蜂巢联邦进修..的底层的算法设计上分为四个分歧范畴和偏向。

第一部门是根蒂的联邦进修算法，包罗常见的逻辑回来、各类树模型和Boosting算法，以及CNN、RNN等深度进修收集，支撑TensorFlow和PyTorch等各类主流框架等，充裕兼容分歧的建模场景，这些是蜂巢联邦进修..的焦点根蒂。

第二个部门是算子层的深度支撑和设计，好比，从底层设计上支撑图较量算子，基于Gather-Apply-Scatter的构造抽象高条理算法撑持库，实现高效的信息收集、运算和全局更新的处理，使得蜂巢..的联邦图较量算法有非常好的时效性示意。

第三个部门是异构较量，今朝联邦进修算法的机能受限于加密和通信，效率示意往往不敷好，对此蜂巢..用GPU等异构较量芯片来加快联邦进修的加密和通信过程，再加上连系前面提到的算子层优化，从而达到了提速50%的结果，这也是蜂巢在深入实际应用场景中，解决企业间联邦进修建模的痛点之一。

最后一个部门是平安加密的部门，举个例子，在实际的建模和推理过程中，主要的模型参数、每个用户内陆的数据等要害信息都是存放在平安容器中的，每一次接见都需要经由平安审计和加密，从而能够达到很好的隐私和平安珍爱结果。

联邦进修能与机械进修算法连系，还有哪些新或者？

联邦进修与机械进修两者的连系是近年来的研究热点。对此，王健宗介绍，联邦进修除了能够和经典机械进修算法连系应用在分类、展望等场景，在一些细分范畴也有很好的应用场景。

好比，在介绍系统中能够与协同过滤手艺相连系，多方基于矩阵分化（Matrix Factorization）手艺进行结合介绍；在医疗健康范畴，多方能够经由深度进修模型例如U-Net、ResNet等进行医学成像模型的结合练习以提高模型正确度；在机械翻译范畴，多方在练习语料对不出内陆的前提下进行结合建模，最大化翻译模型的正确性；在OCR范畴，联邦进修同样能够经由共享模型参数，充裕行使他方的练习样本信息来填补己方在一般识别场景中数据匮乏的不足，提高字符识别正确度。

此外，王健宗也提到也能够积极索求联邦进修与 AutoML、GNN 等范畴的手艺连系与应用。蜂巢联邦进修..在进行联邦进修建模的过程中支撑多种分歧的主动化调参体式，能够加倍高效地找到最佳的模型参数以达到更好的结果。对于图神经收集手艺，联邦进修也同样能够经由连系图构造数据的特征，增加对图卷积等算子的支撑和优化，从而实现加倍雄厚应用场景。

正如他所说，联邦智能之于联邦进修，就像是人工智能之于深度进修，所有人工智能的前沿手艺，都能够在联邦智能的研究和成长中大展身手。从原始数据的传输上来说，联邦进修削减了原始数据传输至中心办事器的通信开销，然则因为大量的模型练习交互，增加了交互通信成本。加密是必弗成少的一环，但加密自己往往会影响联邦进修的效率。在实际的工程中，需要针对分歧的应用场景，找到“高效”与“可用”之间的均衡。

图源：视觉中国

同时，联邦进修也有很多 IoT 应用场景，“如今进入 5G 时代，我们能够积极思虑 5G 可以给联邦进修的通信带来什么便当之处，使联邦进修的能力能够赋能普惠 AI。将来，联邦进修与量子通信的连系也是我们很看好的一个偏向，相信能够给联邦进修带来质的提拔。基于传统的收集编码的思路，我们能够在联邦进修多方通信的过程中经由引入中央节点，离别用于领受和转发经由线性或函数加密的参数信息，经由收集编码通信框架实如今每一个信道上传输的参数都弗成读，而在领受端有效解码的结果，”王健宗说道。

联邦进修底层手艺是否成熟？

当前，联邦进修底层手艺是否成熟？今朝存在哪些短板？相信这些问题是人人关心且有望找出冲破口的处所。

王健宗认为，今朝联邦进修底层手艺相对来说日渐成熟，今朝的短板则是在于较量算力以及带有加密的通信方面，固然英特尔 SGX，ARM 的 TrustZone 能够支撑部门联邦进修的场景，但今朝还没有联邦进修专用芯片，联邦进修也没有统一的业内尺度和相关和谈。

财富落地难点在哪？

当前，安然科技的联邦智能..定位是办事于..、获客、订价、风控、聪明城市和聪明医疗，“蜂巢”可以供应聪明金融、聪明城市、聪明医疗商用级的一站式解决方案，并研发了具备联邦智能能力的联邦机械人，以机械工资办事终端进行数据采集与结合建模，完成金融范畴下的客户识别与定制化办事。

我们都知道，素质上来说，联邦进修的方针就是解决“数据孤岛”问题，以及在保障数据隐私和平安的前提下实现人工智能。但不得不提的是，在实际落地中，这仍然是一大挑战，举一个很简洁的例子，在联邦进修中，在不共享数据的前提下协同建模，有一个经常被人人行使的方式就是梯度共享，但不幸的是，梯度共享的方式在有限前提下能够被成功攻破。这些试图珍爱数据隐私的进修模型被攻破，将来还会有效吗？此次事件露出出的联邦进修的隐私平安性问题该怎么保障让人心生疑虑，也为将来手艺提出来更高的要求。

对此，王健宗注释到，以安然科技为例，在做联邦进修时，他们对隐私平安性有分歧层级的设定。仅依靠于梯度共享只能解决联邦进修科研层面的问题。在实际的工程中，安然科技做了好多工作珍爱梯度共享机制下的联邦进修建模，好比，在传输和较量运用了同态加密的梯度，不光要包管底层数据的平安性和隐私性，同时对梯度信息也要进行珍爱。

固然有应对的方式，但涉及到数据隐私，雷同问题的存在仍不克掉以轻心。

将来趋势

对于联邦进修的将来成长，王健宗还有哪些概念与思虑？

他认为，联邦进修的存眷度很高，这解说市场春联邦进修的需求是非常兴旺的。在金融范畴、聪明城市、智能家居、车联网等拓展范畴上都能看到一些公司在结构联邦智能。他进展，人人无论是在练习、推理，照样数据部落的构建、使用方面都能有联邦智能的理念和意识。

安然科技将来的成长偏向是打造完整的联邦智能生态，在结合建模的根蒂上，完美算法选择的多样化，让用户本身界说联邦进修的说话与参数指标，行使..配套算子打造竖立用户本身的定制化模型。进展将来不光在联邦进修的应用上做到周全结构，在联邦进修的可扩展性上也能够进一步成长。

此外一点，制订统一的联邦进修尺度也是鞭策这项手艺向前成长的主要环节，固然今朝还没有统一的尺度出来，但相关工作已经在推进之中，包罗安然科技在结合多家企业和机构编写和发布《联邦进修白皮书 v2.0》，就是一次不小的提高。

“因为这是一个主要的新手艺偏向，安然会起劲一向在这个偏向占有领先地位，力争做行业标杆。因为安然自然具备雄厚的买卖场景，所以我们对尺度化工作的进献不光是理论层面、工程层面，更是注入了我们长时间以来对买卖场景、对 AI 应用落地的懂得和经验。我进展人人可以配合打造联邦进修的生态，让各行各业能充裕施展其价格，使更多的垂直行业可以落地。”王健宗对于联邦进修的将来布满决心。

更多出色介绍
☞若何告别“芯繁魂乱”难题？这个 OS 来支招！
☞零根蒂物联网斥地，踩坑无数，获得这份宝典 | 原力规划
☞深度理会数据库国产化迁徙之路
☞Go远超Python，机械进修人才极端稀缺，全球16,655位法式员敷陈你这些实情
☞我佛了！用KNN实现验证码识别，又 Get 到一招
☞超等账本Hyperledger Fabric中的Protobuf究竟是什么？
你点的每个“在看”，我都卖力当成了喜欢