教程 | 从超参数到架构，一文简述模型优化策略(2)

修剪全部节点能够减少网络的维数。它可能比选择单独修剪边更快，因为节点数量多于边，这减少了修剪时需要考虑的候选者数量。

He 等人 [17] 通过计算每个节点的重要性，选择从宽度为 d_ℓ的层ℓ上修剪神经元。他们测试了几个重要指标，发现使用「onorm」（即节点激活模式的平均 L1 范数）可以获得最好性能：

Net-trim [18] 同样依赖 L1 范数来增加稀疏性。

Wolfe 等人 [19] 将基于重要性的修剪方法的结果与蛮力法进行对比，蛮力法基于节点对性能的影响而贪婪地选择要牺牲的节点。在蛮力法中，他们在没有每个节点的情况下在测试数据上重新运行了网络，并根据得到网络的误差对节点进行排序。它们的重要性指标是基于节点对性能影响的神经元级泰勒级数近似 [15]。

在测试的第一个算法中，他们根据节点的重要性对所有节点进行排名，然后连续删除每个节点。在第二种算法中，它们在每次节点移除后对剩余节点重新排序，以解释生成然后又被取消的子网络的影响。在第二种情况下，他们发现在 mnist 上训练的网络中可以修剪多达 60％的节点而不会显著降低性能。这与早期观察结果 [20] 相符——网络中的大多数参数是不必要的，它们的影响仅限于生成然后取消它们自己的噪声。这一结果支持这样的观点：反向传播隐性地为给定的任务训练最小网络。

Srinivas 和 Babu [21] 为了减少网络的冗余而进行了修剪，因此他们根据其权重与同层其他神经元的相似度来移除节点。而 Diversity networks [22] 根据其激活模式的多样性进行选择。为了对不同的节点选择进行采样，他们使用了 Determinantal Point Process（DPP）。该技术最小化了采样节点之间的依赖性。他们遵循这一修剪过程，融合被扦插回网络的节点。

这些论文的观察结果中出现了一个有趣的差异。Mariet 和 Sra [22] 发现，他们利用 DPP 在较深的层中采样了更多节点，而 Philipp 和 Carbonell [19] 通过在 2 层网络的较深一层中使用蛮力法修剪了更多节点。换句话说，diversity networks 在更深层保留更多节点，而贪婪的蛮力法从较深层移除了更多节点。这些结果表明这些算法各自结果之间存在根本差异，值得进一步研究。

合并节点

Mariet 和 Sra [22] 发现，如果他们将修剪的节点合并回网络中，那么在基于 DPP 的修剪之后，性能会提高。他们通过调整修剪层中剩余节点的权重来最小化修剪前后激活输出的差异，从而实现了前述现象：

由于 DPP 专注于选择一组独立的神经元，在任何给定的噪声消除系统中为保持现状可能需要至少修剪一个节点，因为这些消除子网络必然存在高度依赖。在这种情况下，噪声消除部分会合并到产生噪声的节点中，反之亦然。这将使合并在 diversity networks 中成为一种特殊的必要组件，但是它仍然可以在不同的修剪算法之后提供一种易处理的再训练替代方法。

非参数神经网络

据我所知，修剪和生长策略在一项研究中被结合在了一起。非参数神经网络 (NNN) [23] 将增加神经元与对神经元施加增加稀疏性的惩罚结合起来。对于一个具有 N^L 层的前馈网络，作者引入了两种正则化项，一种是「fan-in」，另一种是「fan-out」：

fan-in 变量惩罚每个神经元输入的 p-norm，而 fan-out 变量惩罚每个神经元输出的 p-norm。在前馈网络中，这两种正则化项均可被添加到具备任意正权重 λ 且 0

NNN 为调整网络提供了一系列有益的策略。特别是当 p=1 或 2 时，通过加压形成零值神经元，或者 fan-in 或 fan-out 值为 0 的神经元，来增加稀疏性。每隔一段时间，我们就可以移除这些零值神经元。同时，我们可以在网络的不同位置引入新的零值神经元，正则化项确保目标函数能够收敛，所以我们可以在性能开始下降的任意点停止添加神经元。

然而，这种方法存在明显的问题。第一个限制是这个正则化项不应用于任何循环网络。这种约束降低了该策略在许多自然语言领域中的有用性，在这些领域中，RNN 的性能最好。

该方法的另一个缺点是：通过将输入或输出权重向量初始化为 0 并随机初始化其他相关向量，来插入零值神经元。因此，我们每隔一段时间就重新训练整个网络，而不是智能地初始化和训练新节点来加速收敛。虽然这种方法可以收敛到最佳数量的节点，但它无法加速训练或专门化新节点。

最后，这种方法为创建最终的密集网络增加并移除了所有神经元。所以它失去了因修剪权重而得到的较稀疏网络的潜在正则化优势。

教师学生方法

通过新的训练，还可以根据现有网络生成更大或更小的模型。在研究任何自适应架构时，重要的是将使用网络之前状态的基线模型（「教师」）与具有新架构的「学生」网络进行比较。

在蒸馏学习（distillation learning）[24] 的特殊情况下引入教师学生方法，即使用教师网络的输出层来代替真正的标签。蒸馏（distillation）是一种以高性能实现大型集成压缩或昂贵分类器压缩的技术。较小的网络是通过一个目标函数来训练的，这个目标函数将应用于真实标签的损失函数与交叉熵结合起来，这个网络会和较大的教师网络的 logit 层进行对照。除压缩以外，教师学生方法对域适应技术也很有效 [25]，这表明它对于适应数据调度的新时间步可能会很有效。

原文链接：http://nsaphra.github.io/post/model-scheduling/

本文为机器之心编译，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者 / 实习生）：hr@jiqizhixin.com

投稿或寻求报道：content@jiqizhixin.com

广告 & 商务合作：bd@jiqizhixin.com