神经算法总结,神经网络算法实例说明以及原理!

自媒体 自媒体

优化算法框架

优化算法的框架如下所示:

[转载出处:www.ii77.com]

$$ [好文分享:www.ii77.com]

w_{t+1} = w_t - eta_t

eta_t = cfrac{alpha}{sqrt{V_t}} cdot m_t

$$

其中,$w_i$为i时刻的权值,$eta_i$为i时刻的优化量;$alpha$为学习率,$m_t$为一阶动量,$V_t$为二阶动量。一阶动量和二阶动量都与梯度有关,如下所示:

$$

m_t = M_1(g_1,g_2,...,g_t)

V_t = M_2(g_1,g_2,...,g_t)

g_t = abla f(w_t)

$$

一阶动量和二阶动量均是历史梯度和当前梯度的函数

优化算法

固定学习率优化算法

学习率固定的优化算法均有一个特点:不考虑二阶动量(即$M_2(g_i) = I$)

随机梯度下降(SGD)

随机梯度下降时最简单的优化算法,有:$m_t = g_t,V_t = I$,带入公式有优化公式为:$eta_t = alpha cdot g_t$

带动量的随机梯度下降(SGD with Momentum)

随机梯度下降加上动量项,即考虑梯度累积,有:

$$

g_t = abla f(w_t)

m_t = eta cdot m_{t-1} + (1-eta)cdot g_t

eta_t = alpha cdot m_t

$$

SGD with Nesterov Acceleration

在计算梯度的时候向前考虑一步,即计算梯度的时候,计算再沿着上一次更新方向更新一次的权值的梯度,有:

$$

g_t = abla f(w_t + alpha cdot m_{t-1})

m_t = eta cdot m_{t-1} + (1-eta)cdot g_t

eta_t = alpha cdot m_t

$$

自适应学习率优化算法

自适应学习率的优化算法考虑二阶动量,一般来说,一阶动量决定优化方向,二阶动量自适应学习率

AdaGrad

二阶动量取梯度平方和:$V_t = sumlimits^t_{i=1} g^2_i$,此时,$eta_t = cfrac{alpha}{sqrt{V_t}} cdot m_t$,可以将$cfrac{alpha}{sqrt{V_t}}$视为自适应的学习率:梯度不断累积,学习率单调下降。且梯度累积越快,学习率下降越快。

AdaDelta/RMSProp

二阶动量取梯度在一定范围内的平方和:

$$

V_1 = g^2_1

V_t = eta cdot V_{t-1} + (1-eta) cdot g_t^2

$$

Adam

Adam综合使用了一阶动量项和二阶动量项,即:

$$

g_t = abla f(w_t)

m_1 = g_1,V_1 = g_1^2

m_t = eta_1 cdot m_{t-1} + (1-eta_1)cdot g_t

V_t = eta_2 cdot V_{t-1} + (1-eta_2) cdot g_t^2

$$

Nadam

Nadam为使用了Nesterov和Adam的结合,有:

$$

g_t = abla f(w_t + cfrac{alpha}{sqrt{V_{t-1}}} cdot m_{t-1})

m_1 = g_1,V_1 = g_1^2

m_t = eta_1 cdot m_{t-1} + (1-eta_1)cdot g_t

V_t = eta_2 cdot V_{t-1} + (1-eta_2) cdot g_t^2

$$

混合方法:Adam+SGD

很多论文指出Adam虽然收敛较快,但效果不如SGD,因此,《Improving Generalization Performance by Switching from Adam to SGD》提出了一种算法,前期使用Adam算法,后期使用SGD,如下图所示:

自媒体微信号:ii77扫描二维码关注公众号
爱八卦,爱爆料。
小编推荐
  1. NO.1 工资计算软件哪个好(2019个人所得税计算器)

    月底了,你还在企业财务室用计算器核算这个月员工要扣多少社保金,多少水电费、伙食费吗?月底了,你还在公司薪酬部给职员计算月薪,给员工

  2. NO.2 网络用语lj是什么意思(LJ与加速综合教程)

    毕竟不是英语专业,没正统学过翻译,搞得也比较快没有太多校对,如果看着不是特别顺请多多包涵。 有问题的地方欢迎提出!(翻译问题,表达问

  3. NO.3 请勿捧杀美团:“ATM”时代还很远

    核心导读: 1.如何定义美团的核心和边界? 2.美团何以撑起5000亿市值? 3.成为ATM,美团还差啥? 2019对美团点评而言,注定是不平凡的一年。 自去年

  4. NO.4 社交电商模式有哪几种(社交电商的四种模式)

    得流量者得天下。 传统电商红利正逐步消失,优质流量基本向大电商平台集中。而近几年大火的社交电商开辟出了一条与众不同的发展途径,利用社

  5. NO.5 怎样用itunes导出照片到新手机(新版itunes导出照片的两个方法)

    1,首先我们将iPhone手机(或iPad)连接到电脑上,再使用iTunes软件对其数据进行备份。如果已经进行过了备份的话,则可以略过此步骤。 2,接着在电

  6. NO.6 如何运营抖音自媒体(1个月涨粉50w的企业)

    达到这样的流量效果,算是非常成功了!今天小雨就来为大家介绍一下设计好房子如何利用抖音平台来进行前期账号运营的。 1、 首先,先来了解一

  7. NO.7 甄嬛传安陵容吃苦杏仁为什么会死(苦杏仁真的能致命吗)

    但她却不甘久居人后,凭借着自己的算计一步步爬到了妃位,也算是出人头地了。遗憾的是,她站错了阵营,依附了皇后一个面慈心狠,佛口舌心的

  8. NO.8 曝光于谦在德云社什么地位(如何评价于谦的相声水平)

    在讲话中更是盛赞搭档于谦跟他相濡以沫的这些年。看出于谦在郭德纲心中的地位,以及于谦在德云社的地位。 郭德纲自称德云社颜值担当 要与于谦

Copyright2018.爱妻自媒体资讯站,让大家及时掌握各行各业第一手资讯新闻!