3个月5次版本迭代，旷视开源框架天元Beta版本有哪些主要特性？

2020-07-12 01:24:36

机械之心发布

[转载出处：www.ii77.com]

机械之心编纂部 [好文分享：www.ii77.com]

深度进修框架是现代人工智能算法斥地和应用的根基撑持框架。今朝，国外主流深度进修框架基于开源开放的生态情况，已经构建起了较为完整的财富链。

要鞭策国内子工智能更好更快的成长，需要加大资源投入力度。旷视作为行业领先的人工智能公司，在本年 3 月份也开源了自研深度进修框架天元。

7 月 11 日，机械之心结合旷视科技在 2020 WAIC· 斥地者日设置的「深度进修框架与手艺生态论坛」成功举办。论坛环绕旷视 6 月底发布的天元深度进修框架（MegEngine）Beta 版本焦点手艺升级与开源生态扶植进行了深度解读。

作为一款练习推理一体化、动静合一、兼容并包、天真高效的新型深度进修框架，天元可以匡助企业与斥地者的产物从实验室原型到工业布置平均节约 90% 的流程，真正实现小时级的转化能力。

旷视开源天元（MegEngine）这个在内部全员使用、工程实践跨越 6 年的深度进修框架，为的是可以将本身的经验与功效同业界分享。经由开源社区的力量，匡助更多斥地者把本身的精神集中在算法的研发和买卖场景中，从烦琐的流程，烦琐的机能优化和模型复现中解放出来，真正实现「深度进修斥地，从未如斯简洁」。

据旷视研究院高级手艺总监许欣然介绍，从 3 月份开源到 6 月底 Beta 版发布，天元共履历了 5 个版本的迭代，获得了旷视内部与外部斥地者们的贵重建议与支撑。天元 Beta 版焦点手艺升级包罗三大特征：

1. 完美量化练习和量化推理功能。天元 Beta 版本供应了天真的量化练习和高效的量化推理的能力，闪开发者能够快速的完成高精度的量化练习并直接布置到推理侧，以最小的精度价值获得最高的推理机能。

2. 添加对 ARM CPU 的支持。天元添加了对 ARM CPU 的支撑，在 ARM、CUDA、X86 三个主流较量..上都供应了经由深度优化的 kernel 实现，连系天元优异的较量图优化手艺，在量化、浮点模型上均供应了业界领先的较量机能和内存显存占用。

3. 优化推理功能。天元对推理功能做了一系列的功能优化，供应 Profile 对象、上手指南、机能优化教程等内容，匡助斥地者快速上手，获得更高的推理机能，闪开发者在推理的时候能够使用更轻易，斥地更高效。

此外，天元 Beta 版新增 10 余个 SOTA 模型，并正式供应中文版 API 文档，还新增了 Objects 365 Dataset 的 API 和多机练习参数打包等功能。

除了功能和机能上的改善之外，天元框架还与小米 MACE、OPEN AI LAB（开放智能）Tengine 等推理框架进行了深度集成。

迎接人人存眷天元的 Github 项目 MegEngine，并介入进献者规划。此外，也能够在 Github 、QQ 群或论坛中进行手艺交流与商议。

以下是具体手艺细节与机能对比。

模型量化——练习与推理

配景：在当前，提高神经收集推理机能的主流方式是在 GPU 和各类嵌入式设备上，对深度进修模型的推理过程进行量化，即使用 int8 甚至更低精度进行推理。

然而该方案的问题在于，若使用量化后的模型进行推理则或者会面临因量化带来的精度损失。此外，因为模型量化范畴成长敏捷，投入大规模使用仅两三年，大量斥地者当前所使用的量化对象机能参差不齐，模型量化后精度损失较多；又加上各种量化细节纰谬齐，使得模型转换的步伐进一步加剧了精度上的问题。在如许的前提下，斥地者不得欠亨过更大的量化模型来杀青买卖方针，使得量化带来的机能提拔被抵消，难以充裕施展出设备的悉数较量机能。

解决方案：基于天元练习推理一体化架构，同时站在练习和推理的全局视角上优化模型量化的体验和结果，闪开发者能够在连结模型精度的同时，获得更大的机能提拔。

天元进展斥地者可以用上经旷视内部历久工业验证的量化练习功能，并可以凭据模型情形天真设置分歧量化模式，最大限度降低量化所带来的精度损失；此外，天元供应高效的原生 int8 推理能力。用户能够一站式完成量化练习加推理过程，免除框架间的转换，连结模型精度。

由此，斥地者便能够在连结模型精度的同时，获得更大的机能提拔。

量化练习体式的选择

配景：关于神经收集模型量化，最要害问题是若何拔取量化透露时的缩放系数（也被称之为 scale）。针对这一点有两种方案：后量化统计方式（Post Quantization）、量化感知练习（Quantization Aware Training）。

所谓后量化统计方式，即在模型正常练习竣事后进行数值统计并量化。这种方式因流程简洁而在当前应用普遍。其瑕玷在于，当模型较小的时候则精度偏低；同时该方式因为练习阶段与量化步伐星散，导致练习与推理阶段精度纷歧致，只有在完整练习之后才能知晓量化的具体精度下降水平。

量化感知练习则指的是在练习阶段就模拟量化推理过程，让模型对量化过程进行适配。此方式能让模型连结更高精度，且在练习阶段就能把握推理的精度，其瑕玷在于流程较为复杂。

解决方案: 基于旷视内部学术研究与工程实践储蓄的大量经验，天元实现了轻易快捷量化感知练习功能，闪开发者能够只增加少量流程，就能行使量化感知练习的能力。这使得旷视的研究人员与工程师在给定算力下，可以获得更高的推理精度，进而充裕施展算法优势。此外，在练习阶段即可知晓最终推理精度，加速了模型迭代速度，让模型的斥地过程更为高效、可控。

量化接口使用流程

具体而言，整个量化接口的使用分为五步。如上图，在正常模型练习的搭建收集、练习收集、生成序列化模型三步上，额外增加了量化参数设置、量化感知练习两个步伐。

一样来说，在默认的量化设置下，斥地者就能够获得对照优良的精度，这对应于右侧..高亮的三条语句，把持简洁、轻易。

量化接口设计

量化接口的具体设计，分为浮点模块、伪量化（FQ）模块和量化模块。三者离别执行浮点、模拟量化和真实量化工作。

具体而言，斥地者首先在通俗模块长进行正常的模型练习工作；然后，能够转换至伪量化（FQ）模块，经由设置分歧的 Observer 来设置分歧的量化参数 scale 获取体式，从而进行分歧的量化感知练习或进行后量化统计。

在完成量化参数 scale 的统计后，斥地者便能够再转换至量化模块，直接进行推理或许序列化存储生成模型。

天元的这套量化接口设计借鉴了 PyTorch 的方案，并在其根蒂长进行了一系列改善和优化，轻易扩展。

练习：天真多样的量化设置

天元 Beta 版供应的量化接口闪开发者可以使用分歧的 Scale 获取方式，多种基于统计或基于进修的体式，以及天真设置量化策略、位宽。此外，因为量化方式在整体上仍处于成长傍边，是以天元量化接口的设计宗旨是便于扩展。经由支撑用户自行..量化实现，便于兼容各类特别硬件和新的量化方式。

练习：量化参考模型与把持文档

值得一提的是，天元 Beta 版除了供应量化功能外，还在模型仓库中供应了完整的模型复现。如上图所示，三个模型在全 int8 量化下正确率仅下降约 1%。此外，Beta 版本还供应了详尽的量化把持文档，匡助斥地者们快速上手。

推理：多..直接布置

模型量化的推理方面，在天元 Beta 版中，量化模型的推理方式与浮点模型完全一致，斥地者仅需直接读取序列化模型执行，在各个..上都能够直接载入并进行高效推理。

在练习阶段，斥地者能够非常天真地掌握收集量化模块，夹杂使用各类量化策略；在推理布置阶段，系统会使用与练习沟通的设置，无需额外设置，便能包管一致。

各个框架对 int8 量化的界说在细节上有诸多分歧，对天元来说，练习后直接可用于推理，一份模型，全..可推理，斥地者不消对每个..都进修分歧的布置流程。这免除了模型转换或者带来的各类误差问题，也不消担心转换时算子不支撑，转换后精度纰谬齐等问题。

推理：高效原生 int8 实现

作为框架的设计者同样也是使用者，天元团队深知对于斥地人员而言，机能往往是在推理阶段最存眷的指标，为了机能，尽量麻烦也需要将模型转换到更快的推理框架上。

为此，天元在各主流较量..上供应的高效 int8 实现，闪开发者不再需要面临上述疼痛，包管斥地者用天元框架练习后可以直接进行推理布置。

上图展示了 ARM 上的推理机能对比。能够发现，经由转换至 int8，天元使得常用收集获得了至多 3 倍的提速。此外，针敌手机上常用的小模型，天元供应了更好的优化结果，加快结果加倍显着。

此外，天元在 CUDA 和 x86 上也供应相对于 float32 显著的提速结果。与 Arm 雷同，int8 推理的耗时仅有 float 模型的 30%~50%。在 CUDA 上，天元能够充裕施展出 Tensor Core 的较量能力，榨干显卡的较量能力；而在 X86 上，因为 X86 指令集的原因，天元能够在支撑 AVX512-VNNI 指令集的最新一代处理器上获得对照显着的 int8 提速。

综上，原生的 int8 高效推理机能，能够闪开发者轻易地进行模型推理布置，同时充裕施展出硬件的较量能力。

推理功能优化

业界领先的原生 ARM 推理机能

除精良的模型量化功能外，天元 Beta 版本还供应机能领先的 ARM 算子实现。天元引入 NCHW44 layout，经由将张量的内存排布进行调整，进一步优化访存，并降低各类界限情形的判断，提拔较量机能；同时软硬件连系，在支撑的设备上，使用最新的 ARM dotprod 指令，编写高质量的各类卷积算法实现，最终获得了业界领先的推理机能。

在 int8 推理时，天元依靠深度优化 im2col、winograd 和 direct conv 等算子，在各类收集上都达到了业界领先的机能指标。上图离别展示的是不启用 dot 指令和启用 dot 指令的机能对比，能够发现，天元均供应了优异的机能示意。

此外，借助 ARM 的 dot 指令，天元 ARM 上的 int8 推理在 ResNet 上从 64ms 降低到了 30ms 以内，在一系列常用收集上都能够获得两倍以上的大幅度加快。是以若是手上有支撑 dotprod 指令的设备，斥地人员能够在天元的支撑下获得伟大的机能提拔。

值得一提的是，在一些不支撑 dot 指令的设备上，经由使用 winograd 能够降低乘法指令个数，从而在 ResNet、VGG 这类收集上获得对照显著的加快。为了追求加快比，业界常见的做法是对 weight 进行限制，将透露精度限制在 6bit 内，从而避免累加究竟溢出。然而这存在的问题在于，需要在模型练习时就进行特别处理，导致一个模型难以在全..布置；同时，这也降低了量化收集的推理精度，限制了使用场景。

天元作为一个训推一体的框架，追求练习与推理侧功能的正确对齐，针对上述问题，立异性的使用 float 作为中央较量花样，实现了 winograd 算法。这种方式的长处在于，对 weight 没有特别要求，可以与练习时的设置正确对齐，确保精度没有损失；同时，这种算法还更充裕地行使较量单元，提高较量机能，确保斥地者能够随时启用获得机能提速，无需担忧精度问题。

除了 int8 推理之外，考虑到仍有大量斥地者在使用 float 模型进行推理工作。为了让这些斥地者也能够获得最优的机能，天元在 float 算子上也进行了大量优化，使得各类常见的模型获得了业界领先的机能，斥地者能够在不篡改原有工作流程的情形下，获得机能上的提拔。

ARM int8 内存占用

在深度进修的应用中，运行时内存占用也是一个主要的指标。天元对练习侧的主动内存优化策略进行了充裕打磨，实现了内存占用和推理机能之间的精巧均衡。上图展示了天元在内存占用上的优势。

天元仅依靠通用优化策略，便实现了对随意模型构造优良的优化示意，使得框架无需针对收集构造进行特别优化。各范畴斥地者在使用本身的模型构造时也能有较低的内存占用，从而提高竞争力。

至此，天元获得了在各主流较量..的高效推理能力。在 X86 / CUDA / ARM 的各类子架构上，均供应机能经由深度优化的算子，包管了推理时的高机能，闪开发者能够实现练习 - 推理一体，真正免于模型转换。

推理对象与教程

合营本次 ARM 能力的放出，天元在官网上供应了完整的布置流程教程，匡助人人快速上手端侧推理的斥地步伐。

此外，天元也进一步优化了推理方面的使用体验，供应机能剖析对象和优化手册，轻易斥地者找到机能瓶颈，提高模型推理机能。

最后天元针对跨..编译进行优化，斥地者能够行使天元在 Linux / Windows /macOS / iOS / Android 长进行推理。

各..内置常用图像处理算子

除了 NN 算子之外，在深度进修模型应用的场景中，各类 CV（也就是图像处理）算子往往也作为模型的预处理步伐存在，这些步伐的机能和精度会高度影响一个深度进修模型的落地结果。

天元内置了常用的 CV 算子，并进行了高度优化，它们能够作为模型的一部门存在，实现框架的统一优化。在推理时，解码后的究竟能够直接输入框架，经由一次挪用完成悉数 CV 把持和 NN 算子，简洁轻易。

在深度进修模型的落地中，一个主要的步伐称为 “对分”，它能确保模型练习与最终推理的行为完全一致。天元供应的 CV 算子在各..间对齐精度，尽全力避免练习与推理的差别，降低个中的误差，从而显著降低对分的成本，助力模型快速落地。

新增复现模型与练习功能增加

除本次焦点手艺升级外，天元也一向在更新更多模型复现，助力斥地者行使天元完成更多工作。

包罗前文提到的量化模型 ResNet、ShuffleNet v1、MobileNet v2，至此天元的分类模型供应了主流 ResNet 系列、ShuffleNet 系列、MobileNet 系列的量化、非量化版本，并供应基于 ImageNet 的预练习权重。

检测模型的练习逻辑对照复杂，天元本次复现了 Faster R-CNN，并供应了 RetinaNet 的量化版本。

此外，本次还更新了两个生成匹敌收集。在 CIFAR10 数据集上复现了 DCGAN 和 WGAN 两篇论文的工作，各项评估指标都达到复现的 SOTA 水平。

此外，天元本次供应了两小我体骨骼点复现模型，离别是经典的 Simple Baseline 和 MSPN 收集，MSPN 是旷视在 CVPR 2019 上提出的高效人体姿态估量收集。这两个模型都供应了基于 COCO 数据集的预练习权重，便于人人进行更多实验。

天元从 Beta 版本起头，正式供应中文版 API 文档，让更多斥地者能够行使上天元的能力，到场深度进修的时代。此外，还新增了多数算子、Objects 365 Dataset 的 API 和多级练习时参数打包的功能。

天元成长规划

今朝，天元团队正在为 9 月的正式版本进行斥地，届时进展可以供应更完美的动态较量能力，让练习侧能够加倍自由的表达较量形式。此外，天元会进一步优化练习和推理的全流程使用体验，让深度进修从算法到落地加倍高效。

非常迎接人人到场天元（MegEngine ）的斥地工作，到场开源框架社区，持续鞭策 AI 底层建筑的成长。

再次迎接人人存眷天元的 Github 项目 MegEngine，并介入进献者规划。人人能够在 Github 、QQ 群或论坛中进行手艺交流和商议。

本文为机械之心发布，转载请关联本公家号获得授权。

✄------------------------------------------------

到场机械之心（全职记者 / 实习生）：hr@jiqizhixin.com

投稿或追求报道：content@jiqizhixin.com

告白 & 商务合作：bd@jiqizhixin.com

上一篇：中国开源大爆发进行时，你没掉队吧？
下一篇：给路由器设置复杂密码就能防被蹭网？你想得太简单了

3个月5次版本迭代，旷视开源框架天元Beta版本有哪些主要特性？

热门文章

小编推荐

推荐文章