Hinton组力作：ImageNet无监督学习最佳性能一次提升7%，媲美监督学习

2020-02-17 02:35:45

机械之心报道

[原创文章：www.ii77.com]

[原文来自：www.ii77.com]

机械之心编纂部

现在，在 ImageNet 上的图像识别正确率的机能提拔每次平日只有零点几个百分点，而来自图灵奖获得者 Geoffrey Hinton 等谷歌研究者的最新研究一次就把无监视进修的指标提拔了 7-10%，甚至能够媲美有监视进修的结果。

现在，在 ImageNet 上的图像识别正确率的机能提拔每次平日只有零点几个百分点，而来自图灵奖获得者 Geoffrey Hinton 等谷歌研究者的最新研究一次就把无监视进修的指标提拔了 7-10%，甚至能够媲美有监视进修的结果。

细心的同窗或者会注重到，许久不在社交收集上显现的深度进修前驱 Geoffrey Hinton 比来倏忽有了新动向。他向导的研究小组推出的 SimCLR 无监视方式瞬间吸引了人们的普遍存眷：

SimCLR 是一种简洁而清楚的方式，无需类标签即可让 AI 学会视觉透露，并且能够达到有监视进修的正确度。论文作者透露，经由 ImageNet 上 1% 图片标签的微调，SimCLR 即可达到 85.8％的 Top-5 精度——在只用 AlexNet 1% 的标签的情形下机能超越后者。

论文链接：https://arxiv.org/pdf/2002.05709.pdf

在这一工作中，研究者们构建了一种用于视觉透露的对比进修简洁框架 SimCLR，它不光优于此前的所有工作，也优于最新的对比自监视进修算法，并且构造加倍简洁：既不需要专门的架构，也不需要特别的存储库。

图 1. SimCLR 与此前各类自监视方式在 ImageNet 上的 Top-1 正确率对比（以 ImageNet 进行预练习），以及 ResNet-50 的有监视进修结果（灰色×）。

在这篇论文中，研究者发现：

多个数据增加方式组合对于对比展望义务发生有效透露非常主要。此外，与有监视进修比拟，数据增加对于无监视进修加倍有效；
在透露和对比损失之间引入一个可进修的非线性变换能够大幅提高模型学到的透露的质量；
与监视进修比拟，对比进修得益于更大的批量和更多的练习步伐。

基于这些发现，他们在 ImageNet ILSVRC-2012 数据集上实现了一种新的半监视、自监视进修 SOTA 方式——SimCLR。在线性评估方面，SimCLR 实现了 76.5% 的 top-1 正确率，比之前的 SOTA 提拔了 7%。在仅使用 1% 的 ImageNet 标签进行微调时，SimCLR 实现了 85.8% 的 top-5 正确率，比之前的 SOTA 方式提拔了 10%。在 12 个其他天然图像分类数据集长进行微调时，SimCLR 在 10 个数据集上示意出了与强监视进修基线相当或更好的机能。

无监视进修的快速成长让科学家们看到了新的进展，DeepMind 科学家 Oriol Vinyals 透露：感激对比损失函数，无监视进修正在切近监视进修！

简化方式，但结果更好

受到比来对比进修算法（contrastive learning algorithm）的开导，SimCLR 经由隐空间中的对比损失来最大化统一数据示例的分歧增加视图之间的一致性，从而进修透露形式。具体说来，这一框架包含四个首要部门：

随机数据增加模块，可随机转换任何给定的数据示例，从而发生统一示例的两个相关视图，离别透露为 x˜i 和 x˜j，我们将其视为正对；
一个根基的神经收集编码器 f(·)，从增加数据中提取透露向量；
一个小的神经收集投射头（projection head）g(·)，将透露映射到对比损失的空间；
为对比展望义务界说的对比损失函数。

在社交收集上，该论文的作者之一，谷歌资深研究科学家 Mohammad Norouzi 对这一进修算法进行了最简洁化的总结：

随机抽取一个小批量
给每个例子绘制两个自力的增加函数
使用两种增加机制，为每个示例生成两个互相关系的视图
让相关视图互相吸引，同时排斥其他示例

SimCLR 的首要进修算法如下：

用更大的批巨细进行练习

作者将练习批巨细 N 分为 256 到 8192 不等。批巨细为 8192 的情形下，增加视图中每个正对（positive pair）都有 16382 个反例。当使用尺度的 SGD/动量和线性进修率扩展时，多量量的练习或者不不乱。为了使得练习加倍不乱，研究者在所有的批巨细中都采用了 LARS 优化器。他们使用 Cloud TPU 来练习模型，凭据批巨细的分歧，使用的焦点数从 32 到 128 不等。

数据增加

固然数据增加已经普遍应用于监视和无监视透露进修，但它还没有被看做一种界说对比进修义务的系统性方式。很多现有的方式经由改变架构来界说对比展望义务。

本文的研究者证实，经由对方针图像执行简洁的随机裁剪（调整巨细），能够避免之前的复杂把持，从而建立包含上述两项义务的一系列展望义务，如图 3 所示。这种简洁的设计选择轻易得将展望义务与其他组件（如神经收集架构）解耦。