选自vanpelt [好文分享：www.ii77.com]
作者：Chris Van Pelt
[原创文章：www.ii77.com]
机械之心编译
机械之心编纂部
有工程师用 M1 版 Mac Mini 练习小架构深度进修模型，究竟似乎还能够。
众所周知，大多数 Mac 产物都是生产力对象，你甚至能够用它们练习神经收集。客岁 11 月推出的，搭载 M1 芯片的 Mac 更是将这种生产力水平提到了一个新的高度。那么，若是拎出来和专业的比一下，M1 版的 Mac 在练习模型方面是个什么水平？为认识答这个疑问，比来有人将 M1 版的 Mac Mini 与 Nvidia V100 放到一路比了一下。M1 版 Mac Mini 的售价最低是 5000 元摆布。此前，国外知名硬件评测网站 anandtech 发布了对这款产物的具体测试，究竟显露，在 CPU 机能测试中，M1 版 Mac Mini 的单线程和多线程都很精良。在 GPU 机能测试中，它在多个基准测试中超越了之前的 Mac 系列产物，在某些情形下还能超越独显产物。Nvidia V100 则是专业的 AI 练习卡，单精度浮点机能达到 15 TFLOPS，双精度浮点 7.5 TFLOPS，显存带宽 900GB/s，售价高达五位数。当然，你能够选择在 Colab 上租用。
评测者是「Weights and Biases」公司的结合创始人 Chris Van Pelt。Weights and Biases 简称 W&B，是一家致力于机械进修对象斥地的公司。为了进行此次测试，作者设计了 8 种分歧的练习设置。究竟显露，对于较小的架构和数据集，苹果 M1 的机能与 Nvidia V100 的差距并没有想象中那么大，并且在能效等方面示意要更为超卓。
注重：本文中的图均为交互图，能够凭据文末的参考链接查找原图。在测评中，作者用 Cifar 10 数据集练习了一个 MobileNetV2 架构的较量机视觉模型。V 100 的测评是在 colab 长进行的，16GB M1 Mac Mini 的练习所用框架来自苹果的 tensorflow_macos 库。他们使用 W&B Sweeps（一款超参数搜刮和模型优化对象）来设置以下超参数：
当「trainable」为「false」时，他们只练习收集中的最后一层。当「trainable」为「true」时，他们会更新 MobileNetV2 中的所有权重。能够看到，当要练习的权重削减时，M1 的机能提拔更为显着，这或者是因为 M1 的内存架构对照好。
本次测评所使用的 M1 Mac Mini 是 16GB 版本。在测试时代，作者透露没有听到电扇的声音，机箱也很凉。值得注重的是，要达到沟通的较量量，M1 的能耗要小得多。不外两款芯片不是一个年月的产物：M1 是 5nm 制程的，2017 年推出的 V100 采用 12nm，固然存在制程上的差距，但即使考虑到这点，后者的能耗也非常惊人，几乎达到了前者的 6 倍。
设置 Mac Mini 来运行新的加快 Tensorflow 包并不轻易。作者发现，获得各类需要编译的包最简洁的方式是从 Miniconda 的 arm64 分支（https://conda-forge.org/blog/posts/2020-10-29-macos-arm64/）。默认情形下，这个 TensorFlow 库应该选择最佳加快路径，但作者却发现了一些段错误，除非行使以下代码明确敷陈这个库使用 GPU。from tensorflow.python.compiler.mlcompute import mlcomputemlcompute.set_mlc_device(device_name="gpu")
作者透露，他选择 MobileNetV2 是为了迭代更快。当测验 ResNet50 或其他更大的模型时，M1 和 V100 的差距逐渐拉大。当输入大于 196x196 维时，他在 M1 上也履历了段错误。总的来说，这些入门级的 Mac 还只适合较小的架构。在练习过程中，作者还视察到，在只练习收集最后一层时，M1 上的模型没有收敛，而 V100 上就不会显现这种情形。在进一步的实验中，作者经由降低进修率解决了这个问题。然则，今朝仍不清楚 M1 Mac Mini 为何对进修率如斯敏感。
今朝，苹果自研的 M 系列芯片还处在早期阶段，但初步评测看起来很有进展。当苹果发布拥有更多内核和 RAM 的 Pro 系列产物时，在苹果设备上练习机械进修模型会变得加倍平常。既然不少法式员都在使用 MacBook 写代码，那么在将来用苹果来跑深度进修是不是也应该变得风行起来呢？进展这是一个好的起头。参考链接：https://wandb.ai/vanpelt/m1-benchmark/reports/Can-Apple-s-M1-help-you-train-models-faster-cheaper-than-NVIDIA-s-V100---VmlldzozNTkyMzgNature论文线上分享 | 世界最快光子AI卷积加快器世界最快光子AI卷积加快器登上Nature，该研究展示的是一种"光学神经形态处理器"，其运行速度是以往任何处理器的1000多倍，该系统还能处理创记载巨细的超大规模图像——足以实现完整的面部图像识别，这是其他光学处理器一向无法完成的。
1月18日19:00，论文一作、莫纳什大学研究员徐兴元博士带来线上分享，具体介绍他们的工作以及光学芯片范畴进展。添加机械之心小助手（syncedai5），备注「光子」，进群一路看直播。© THE END
转载请关联本公家号获得授权
投稿或追求报道：content@jiqizhixin.com
