Jürgen Schmidhuber发文纪念10年前的研究，网友：转折点非AlexNet？

2020-09-07 02:52:16

机械之心报道

[好文分享：www.ii77.com]

编纂：魔王

LSTM 之父、深度进修元老 Jürgen Schmidhuber 发文纪念 10 年前揭橥的研究。
[原创文章：www.ii77.com]

Jürgen Schmidhuber 每次发博客都邑引起一阵「腥风血雨」，此次似乎也不破例。

比来，这位机械进修大牛发布博客，纪念 10 年前揭橥在 Neural Computation 期刊上的一篇论文《Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition》，这篇文章首要介绍经由在 GPU 上执行梯度下降来练习深度多层感知机。

论文地址：https://www.catalyzex.com/paper/arxiv:1003.0358

在博客开首，Jürgen 如许评价该论文：

令人诧异的是，这个简洁但深层的监视式神经收集在机械进修基准数据集 MNIST 上的机能跨越所有之前的方式。也就是说，在较量成原形当于今天 100 倍的 2010 年，我们提出的前馈神经收集和更早提出的轮回神经收集就在其时的主要问题上打败了所有竞争算法。2010 年月，这一深度进修改造敏捷从欧洲向美洲和亚洲扩展。

博客的具体内容如下：

仅仅在十年前，好多人认为深度神经收集在不进行无监视预练习的情形下无法进修。事实上，2007 年 Geoffrey Hinton 在《The Next Generation of Neural Networks》讲座中透露「明智的人不会建议」经由反向流传使用梯度下降来练习具备多层神经元的前馈神经收集（FNN）。

但在 2010 年 3 月，Jürgen 团队证实了，深度前馈神经收集的确能够经由反向流传练习获得，而且既不需要无监视预练习，也不需要 Ivakhnenko 1965 年提出的渐进式逐层练习。

按照 2010 年的尺度，Jürgen 团队建立的监视式神经收集具备好多层，并在其时普遍使用的图像识别基准数据集 MNIST 上缔造了新的机能记录。这是经由在高速并行 GPU 上大幅加快传统多层感知机而实现的，超越了 Jung & Oh (2004) 的主要工作（《GPU implementation of neural networks》）。有人称它「叫醒了机械进修社区」。

这一研究究竟为比来十年的深度进修成长奠基了根蒂。2011 年 2 月，Jürgen 团队将该方式扩展至深度卷积神经收集，极大地改善了之前的工作。这个被称为 DanNet 的收集打破了多项基准记录。2011 年 5 月，DanNet 成为首个获得较量机视觉角逐的深度 CNN 收集。2011 年 8 月，它首次以超越人类的机能获得较量机视觉角逐（IJCNN Traffic Sign Recognition Competition of INI/RUB）的冠军。2012 年，Jürgen 团队持续在多项较量机视觉赛事中夺冠。之后，好多研究者也采用了这项手艺。2015 年 5 月，Jürgen 团队首次建立了具备 100 多层的深度前馈神经收集。

图源：http://people.idsia.ch/~juergen/computer-vision-contests-won-by-gpu-cnns.html

这些成功需要对 GPU 的内涵工作道理有正确的懂得。如今，便捷的软件包使用户远离了这类细节。较量成本也比十年前廉价得多，好多贸易神经收集应用都基于 2010 年的研究 [MLP1] [DL1-4] [DEC]。

在如许的配景下需要说起的是，2010 年月之前，Jürgen 团队已经行使更壮大的轮回神经收集获得了另一项监视式深度进修冲破。Jürgen 的博士生 Alex Graves 在有名文档剖析与识别会议 ICDAR 2009 上获得了 3 项连笔字角逐的冠军。他连系了 Jürgen 研究小组在慕尼黑工业大学和瑞士人工智能实验室 IDSIA 提出的两种方式：监视式 LSTM RNN (1990s-2005) 和「Connectionist Temporal Classification」（CTC）。CTC 练习的 LSTM 是首个在国际赛事中夺冠的 RNN。

2010 年，Jürgen 团队的监视式 FNN 和监视式 RNN 在多个主要问题上超越其他方式。2010 年月，这一监视式深度进修改造练习从欧洲扩展至北美和亚洲，对业界和人们的平常生活发生了伟大影响。但应该说起的是，深度进修的概念根源能够追溯至上个世纪。

最后，Jürgen 强调了 2010 年月监视式深度进修改造并没有杀死无监视进修的所有变体。好多仍然非常主要，例如如今在迁徙进修语境下获得大量应用的预练习说话模型，如 BERT。1990 年之后 Jürgen 团队关于无监视神经收集的研究今朝仍用于为智能体付与好奇心。

在博客的结尾，Jürgen 透露：「无监视进修仍然有光亮的将来！」

一如既往：Jürgen 出手，必有计较

这篇博客发布后不久，就在 reddit 上激发热议。

针对 Jürgen 近年来的行为（与 Ian Goodfellow 争辩 GAN 的归属、与 Hinton 论战等），有网友开启了嘲讽模式：

他还要一向提醒你这件事，直到你脱离这个世界。

当然，也有人支撑他：

Schmidhuber 被低估了，他的工作走在了潮水前面。

关于 Jürgen 在博客中指出 Hinton 2007 年不赞许使用反向流传一事，有网友透露：

2007 年不相信一件事，2008 年不克改变主意吗？

除去这些表层的计较以外，关于该博客的主题——Jürgen 团队 2010 年的研究《Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition》及其扩展后提出的 DanNet，有网友提出疑问：

这么说的话，AlexNet 不像人人认为的那样是转折点吗？

参考链接：

http://people.idsia.ch/~juergen/2010-breakthrough-supervised-deep-learning.html

https://www.reddit.com/r/MachineLearning/comments/il2iw0/d_2010_breakthrough_of_supervised_deep_learning/

Amazon SageMaker 是一项完全托管的办事，能够匡助斥地人员和数据科学家快速构建、练习和布置机械进修模型。SageMaker完全消弭了机械进修过程中每个步伐的繁重工作，闪开发高质量模型变得加倍轻松。

如今，企业斥地者能够免费领取1000元办事抵扣券，轻松上手Amazon SageMaker，快速体验5小我工智能应用实例。

转载请关联本公家号获得授权

投稿或追求报道：content@jiqizhixin.com

上一篇：想和你一起解锁新场景，共拓园区新未来！
下一篇：运营就是瞎折腾？【宁宇专栏-357】

Jürgen Schmidhuber发文纪念10年前的研究，网友：转折点非AlexNet？

热门文章

小编推荐

推荐文章