改改Python代码，运行速度还能提升6万倍，Science：先别想摩尔定律了

2020-06-07 01:22:05

机械之心报道

机械之心编纂部

[转载出处：www.ii77.com]

若是摩尔定律注定终结，人类的算力会被「锁死」吗？MIT、英伟达、微软研究者合著的一篇 Science 论文敷陈我们：不会。

[本文来自：www.ii77.com]

这份最新研究指出，在后摩尔定律时代，人类所获得的的算力提拔将更大水平上起原于较量客栈的「顶层」，即软件、算法和硬件架构，这将成为一个新的汗青趋势。

摩尔定律终结之后的机能提拔途径。

算力的提拔能够为现代生活带来诸多便当，例如，当前手机的功能比 25 年前房间巨细的较量机都要壮大，近一半的人能够上彀，壮大的超等较量机还能够用于药物挖掘。人类社会已经了起头依靠较量机随时间指数增进的壮大机能了。

较量机机能的提嵬峨部门要归功于数十年来较量机部件的小型化。诺贝尔物理学奖获得者理查德 · 费曼早就预见了这一点。在 1959 年致美国物理学会的演讲中，他提到，「底部还有大量空间」。1975 年，英特尔创始人戈登 · 摩尔给出了这种部件小型化趋势的展望，即集成电路上可容纳的元器件数目约每隔 18-24 个月便会增加一倍，机能也将提拔一倍。我们将其称之为摩尔定律。

不幸的是，这种趋势正在走向消亡，因为「底部」已经没有几多空间了。若是算力的提拔阻滞不前，那么几乎所有行业的生产力都将面临挑战。

在此配景下，MIT、英伟达、微软的研究者在最新一期《Science》上发文指出，固然「底部」已经没有太多提拔的空间，但「顶部」还有机会：在软件、算法以及硬件架构方面，我们都可以找到提拔较量机能的方式。

论文链接：https://science.sciencemag.org/content/368/6495/eaam9744

软件

我们能够经由机能工程（performance engineering）把软件做得加倍高效，即经由重构软件加速其运行速度。机能工程可以消弭法式中的效率低下问题，这种问题被称为软件膨胀（software bloat），是由传统软件的斥地策略造成的，即尽或者缩短软件斥地时间而不是缩短软件运行时间。机能工程还能够凭据运行的硬件来定制软件，如行使并行处理器和矢量单元。

为了解说机能工程的潜在收益，我们思虑一个简洁的问题：将两个 4096×4096 的矩阵相乘。首先用 Python 代码实现，代码在一台现代较量机上做该矩阵乘法需要 7 个小时，如表 1 中的第一行（Version 1）所示，仅达到机械峰值机能的 0.0006%。

然则，用 Java 实现的代码（Version 2）速度能够提高到本来的 10.8 倍，用 C 说话（Version 3）又能够提拔到 Java 的 4.4 倍，运行时间比最初的 Python 版本快 47 倍。这种机能的提拔起原于法式运行时把持数量的削减。

此外，凭据硬件的特点来调整矩阵乘法的代码甚至能够让运行速度提拔 1300 倍。如许的收益是起原于在 18 个处理内核上并交运行代码（Version 4），行使处理器的存储条理构造（Version 5），矢量化代码（Version 6）以及使用英特尔的高级矢量扩展指令集（AVX）（Version 7）。最终，代码优化的方式能够把这项义务所需的时间削减到 0.41 秒——跟需要 7 个小时运行的 Python 比拟速度提拔了 6 万倍！

值得一提的是，用 Python 3 做同样的事还要更慢，需要花消 9 个小时。

算法

算法可以为解决问题供应更有效的方式。实际上，自 20 世纪 70 年月末以来，算法在解决最大流问题上的速度提拔几乎和硬件带来的加快一般多。然则，在已有的算法问题上的进展是不平均的和零星的，最终必将面临收益递减的情形。是以，今朝最大收益经常起原于新问题范畴的算法（例如机械进修）以及斥地能更好地反映新兴硬件的新理论机械模型。

图 1：在求解极点数 n=10^12，边数 m=10^1.1 的图形的最大流问题上的首要算法进展。

图 1 展示了最大流算法随时间的进展。在 38 年的数据中，最佳算法的机能收益可与摩尔定律所带来的收益相媲美，尽管曩昔 20 年，在该问题上并没有提拔机能的新算法显现。该例子重点介绍了有关算法的 3 个主要观测究竟：

1、在已有算法上的改善是不平均的，并且具有偶然性；

2、算法立异获得的收益能够和摩尔定律相媲美；

3、解决任何已有的问题的算法改善最后都邑进展趋缓。

尽管对于已有问题的研究仍能获得少量收益，然则算法上的大量进展未来自于以下 3 个方面：

1、进军新的问题范畴；

2、解决可扩展性问题；

3、定制算法以行使当前硬件。

硬件架构

在商议硬件架构之前，我们先来谈谈「Dennard 缩放比例定律」。

Dennard 缩放比例定律是一个鲜为人知但同样主要的视察究竟，Robert Dennard 在 1974 年提出，跟着晶体管变得越来越小，它们的功率密度连结不变，是以功率的使用与面积成比例；电压和电流的规模与长度成比例。

连系「摩尔定律」晶体管的数量大约每两年翻一番，这意味着效能功耗比（每消费一瓦功率，较量机可供应的较量速度）以同样的速度增进，大约每两年翻一番。

Dennard 缩放比例定律在提出之后的 30 年后竣事，原因并不是因为晶体管的尺寸不再缩小，而是因为电流和电压不克在持续下降的同时连结靠得住性了。随后「多核时代」就到来了。

图 2:1985 年 - 2015 年，SPECint 机能（串行为主）、SPECint-rate 机能（并行）、微处理器时钟频率提拔的情形。坐标起点为 1985 年的 Intel 80386 DX 微处理器。

上图 2 展示了微处理器的三组基准数据：首先，如图中绿点所示，从 1985 年到 2005 年，因为 Dennard 缩放比例定律的终结，时钟速度在增进了 200 倍之后趋于平缓。

在 Dennard 缩放比例定律时代，因为时钟速度提高和其他架构转变的鞭策，微处理器在 SPECint 和 SPECintrate 基准测试中的机能敏捷提高，目的是在典型的用户工作负载上对较量机机能建模。

SPECint 基准首要由串行代码构成，SPECint-rate 基准测试则是并行的。这两个基准测试在单处理器较量机上的示意是沟通的。但从 2004 年之后，因为机械添加了多个内核以及其他的显式并行机制，两者的机能显现差别。

实际上，从 2004 年到 2015 年，机能最佳的芯片上并行应用法式的机能增进了 30 倍，也许每两年就会翻一番。比拟之下，同期的 SPECint 基准（灰点）仅增加了三倍。

既然设计者已经接管了并行性，首要问题就是若何简化处理器和行使应用法式的并行性。将来，两种简化策略将占有主导地位：处理器简化和范畴专门化。

硬件架构是可简化的。一种是经由简化处理器，将复杂的处理核替代为晶体管数量需求更少的简洁处理核。由此释放出的晶体管预算可从新分派到其他用途上，好比增加并交运行的处理核的数量，这将大幅提拔可行使并行性问题的效率。

简化的另一种形式是范畴专门化（domain specialization），即针对特定应用法式定制硬件。这种专门化舍弃了某一范畴不需要的处理功能，同时许可针对范畴进行更多的自界说，好比降低机械进修应用法式的浮点精度。

在后摩尔时代，软件、算法和硬件系统架构的机能改善越来越依靠在客栈的各个级别长进行并发更改。从工程治理和经济的角度看，这类更改在大型系统组件中更轻易实现，因为这些可重用的软件平日具有跨越一百万行的代码，或许是拥有相当复杂的硬件。

若是一个组织和公司拥有此类的大型组件，经由从新设计模块度来获得机能提拔是对照轻易的。此外，成本和收益能够合在一路考虑，如许一来，大型组件中某一部门主要但昂贵的更改就能用该组件中其他部门的收益来填补。

「底层」或许还有机会

在后摩尔时代，处于「底层」的制硅工艺改善将不再供应那么显著的较量机机能提拔，但「顶层」的软件机能更迭、算法斥地和硬件精简，将使较量机应用法式的速度更快。与曾经「底层」显着的收益分歧，这些「顶层」的收益将会是参差不齐、零星且机会性的。并且，跟着对特定较量方式的索求络续深入，这种边际收益将会呈现递减趋势。

当然，一些新兴手艺也或者从「底层」鞭策成长，好比 3D 堆叠、量子较量、光子学、超导电路、神经形态较量、石墨烯芯片。这些手艺今朝还处于起步阶段，尚未成熟，临时无法与基于硅的半导体手艺竞争。但弗成否认的是，它们切实具备历久潜力。

参考链接：https://science.sciencemag.org/content/368/6495/eaam9744

世界人工智能大会线上运动（WAIC）是由上海市当局打造的国际顶级人工智能会议。为进一步促进人工智能手艺与财富相融合，鞭策斥地者手艺生态扶植，WAIC 2020年黑客马拉松将于7月9日-11日时代举办。

机械之心结合优必选科技与软银机械人发布两大赛题，邀请全球斥地者来战。更多出色赛题将于近期发布，迎接存眷。

上一篇：【5G发牌一周年】被央视pick的论坛，这一次我们一起为5G鼓掌！
下一篇：机器如何理解人类

改改Python代码，运行速度还能提升6万倍，Science：先别想摩尔定律了

热门文章

小编推荐

推荐文章