神经算法总结,神经网络算法实例说明以及原理!

自媒体 自媒体

优化算法框架

优化算法的框架如下所示:

[好文分享:www.ii77.com]

$$ [原文来自:www.ii77.com]

w_{t+1} = w_t - eta_t

eta_t = cfrac{alpha}{sqrt{V_t}} cdot m_t

$$

其中,$w_i$为i时刻的权值,$eta_i$为i时刻的优化量;$alpha$为学习率,$m_t$为一阶动量,$V_t$为二阶动量。一阶动量和二阶动量都与梯度有关,如下所示:

$$

m_t = M_1(g_1,g_2,...,g_t)

V_t = M_2(g_1,g_2,...,g_t)

g_t = abla f(w_t)

$$

一阶动量和二阶动量均是历史梯度和当前梯度的函数

优化算法

固定学习率优化算法

学习率固定的优化算法均有一个特点:不考虑二阶动量(即$M_2(g_i) = I$)

随机梯度下降(SGD)

随机梯度下降时最简单的优化算法,有:$m_t = g_t,V_t = I$,带入公式有优化公式为:$eta_t = alpha cdot g_t$

带动量的随机梯度下降(SGD with Momentum)

随机梯度下降加上动量项,即考虑梯度累积,有:

$$

g_t = abla f(w_t)

m_t = eta cdot m_{t-1} + (1-eta)cdot g_t

eta_t = alpha cdot m_t

$$

SGD with Nesterov Acceleration

在计算梯度的时候向前考虑一步,即计算梯度的时候,计算再沿着上一次更新方向更新一次的权值的梯度,有:

$$

g_t = abla f(w_t + alpha cdot m_{t-1})

m_t = eta cdot m_{t-1} + (1-eta)cdot g_t

eta_t = alpha cdot m_t

$$

自适应学习率优化算法

自适应学习率的优化算法考虑二阶动量,一般来说,一阶动量决定优化方向,二阶动量自适应学习率

AdaGrad

二阶动量取梯度平方和:$V_t = sumlimits^t_{i=1} g^2_i$,此时,$eta_t = cfrac{alpha}{sqrt{V_t}} cdot m_t$,可以将$cfrac{alpha}{sqrt{V_t}}$视为自适应的学习率:梯度不断累积,学习率单调下降。且梯度累积越快,学习率下降越快。

AdaDelta/RMSProp

二阶动量取梯度在一定范围内的平方和:

$$

V_1 = g^2_1

V_t = eta cdot V_{t-1} + (1-eta) cdot g_t^2

$$

Adam

Adam综合使用了一阶动量项和二阶动量项,即:

$$

g_t = abla f(w_t)

m_1 = g_1,V_1 = g_1^2

m_t = eta_1 cdot m_{t-1} + (1-eta_1)cdot g_t

V_t = eta_2 cdot V_{t-1} + (1-eta_2) cdot g_t^2

$$

Nadam

Nadam为使用了Nesterov和Adam的结合,有:

$$

g_t = abla f(w_t + cfrac{alpha}{sqrt{V_{t-1}}} cdot m_{t-1})

m_1 = g_1,V_1 = g_1^2

m_t = eta_1 cdot m_{t-1} + (1-eta_1)cdot g_t

V_t = eta_2 cdot V_{t-1} + (1-eta_2) cdot g_t^2

$$

混合方法:Adam+SGD

很多论文指出Adam虽然收敛较快,但效果不如SGD,因此,《Improving Generalization Performance by Switching from Adam to SGD》提出了一种算法,前期使用Adam算法,后期使用SGD,如下图所示:

自媒体微信号:ii77扫描二维码关注公众号
爱八卦,爱爆料。
小编推荐
  1. NO.1 什么叫外挂(外挂有什么作用)

    本期分享的内容有:1、试用外挂的玩家/2、锁血的敌人/3、光子害人挂 不管是绝地求生端游还是刺激战场手游,两款游戏都有出现过外挂,毕竟游戏

  2. NO.2 口是心非什么意思(女朋友口是心非是什么原因)

    10、分手吧 刚谈恋爱的时候,女人往往一不高兴就说我们分手吧!其实,女人的这种口是心非并不一定能够带来良好愿望,每每男人听到女人说分手

  3. NO.3 多晶硅最新价格走势如何(2019年多晶硅价格走势预测)

    本月国内多晶硅市场行情延续了3月份的下行态势,继续调整向下为主,厂家报价部分下跌,幅度在2000-5000元/吨,国内多晶硅一级致密料价格区间在

  4. NO.4 挂烫机什么牌子的好,5款挂烫机供你选

    1、美的 美的挂烫机是现在做的比较好的品牌了。 美的挂烫机的发热锅使用的是铝制发热锅,可以在蒸汽加热过程中,运用SX涡流技术,可以大幅度的

  5. NO.5 植物油多少钱一斤(2019年植物油价格行情分析)

    一季度国内食用植物油价格延续下跌走势主要有两个原因:一是食用植物油进口量增加,供给较充裕。 与食用植物油价格总体走势相反,菜籽油价格

  6. NO.6 抗倍特板价格是多少(抗倍特板的特点及规格有哪些)

    什么是抗倍特板? 抗倍特板是由装饰色纸含浸三聚氰胺树脂,加上多层黑色或褐牛皮纸含浸酚醛树脂层叠后,再用钢板经由高温(150℃)高压(143

  7. NO.7 甲醇汽油价格一般是多少(甲醇汽油好不好?)

    对此,有专家分析指出,发展甲醇汽油/汽车产业,可以推进燃料多元化缓解国内能源安全压力。而广大车主则更关心甲醇汽油该如何使用,以及使用

  8. NO.8 浴霸什么牌子的好,最新浴霸十大品牌排名

    浴霸是我们家庭浴室中常见的电器之一,它能帮助我们御寒,在寒冷的冬天能舒服的进行沐浴。现在的浴霸功能齐全,样式众多,品牌也有很多。在

Copyright2018.爱妻自媒体资讯站,让大家及时掌握各行各业第一手资讯新闻!