神经算法总结,神经网络算法实例说明以及原理!

自媒体 自媒体

优化算法框架

优化算法的框架如下所示:

[原创文章:www.ii77.com]

$$

[好文分享:www.ii77.com]

w_{t+1} = w_t - eta_t

eta_t = cfrac{alpha}{sqrt{V_t}} cdot m_t

$$

其中,$w_i$为i时刻的权值,$eta_i$为i时刻的优化量;$alpha$为学习率,$m_t$为一阶动量,$V_t$为二阶动量。一阶动量和二阶动量都与梯度有关,如下所示:

$$

m_t = M_1(g_1,g_2,...,g_t)

V_t = M_2(g_1,g_2,...,g_t)

g_t = abla f(w_t)

$$

一阶动量和二阶动量均是历史梯度和当前梯度的函数

优化算法

固定学习率优化算法

学习率固定的优化算法均有一个特点:不考虑二阶动量(即$M_2(g_i) = I$)

随机梯度下降(SGD)

随机梯度下降时最简单的优化算法,有:$m_t = g_t,V_t = I$,带入公式有优化公式为:$eta_t = alpha cdot g_t$

带动量的随机梯度下降(SGD with Momentum)

随机梯度下降加上动量项,即考虑梯度累积,有:

$$

g_t = abla f(w_t)

m_t = eta cdot m_{t-1} + (1-eta)cdot g_t

eta_t = alpha cdot m_t

$$

SGD with Nesterov Acceleration

在计算梯度的时候向前考虑一步,即计算梯度的时候,计算再沿着上一次更新方向更新一次的权值的梯度,有:

$$

g_t = abla f(w_t + alpha cdot m_{t-1})

m_t = eta cdot m_{t-1} + (1-eta)cdot g_t

eta_t = alpha cdot m_t

$$

自适应学习率优化算法

自适应学习率的优化算法考虑二阶动量,一般来说,一阶动量决定优化方向,二阶动量自适应学习率

AdaGrad

二阶动量取梯度平方和:$V_t = sumlimits^t_{i=1} g^2_i$,此时,$eta_t = cfrac{alpha}{sqrt{V_t}} cdot m_t$,可以将$cfrac{alpha}{sqrt{V_t}}$视为自适应的学习率:梯度不断累积,学习率单调下降。且梯度累积越快,学习率下降越快。

AdaDelta/RMSProp

二阶动量取梯度在一定范围内的平方和:

$$

V_1 = g^2_1

V_t = eta cdot V_{t-1} + (1-eta) cdot g_t^2

$$

Adam

Adam综合使用了一阶动量项和二阶动量项,即:

$$

g_t = abla f(w_t)

m_1 = g_1,V_1 = g_1^2

m_t = eta_1 cdot m_{t-1} + (1-eta_1)cdot g_t

V_t = eta_2 cdot V_{t-1} + (1-eta_2) cdot g_t^2

$$

Nadam

Nadam为使用了Nesterov和Adam的结合,有:

$$

g_t = abla f(w_t + cfrac{alpha}{sqrt{V_{t-1}}} cdot m_{t-1})

m_1 = g_1,V_1 = g_1^2

m_t = eta_1 cdot m_{t-1} + (1-eta_1)cdot g_t

V_t = eta_2 cdot V_{t-1} + (1-eta_2) cdot g_t^2

$$

混合方法:Adam+SGD

很多论文指出Adam虽然收敛较快,但效果不如SGD,因此,《Improving Generalization Performance by Switching from Adam to SGD》提出了一种算法,前期使用Adam算法,后期使用SGD,如下图所示:

自媒体微信号:ii77扫描二维码关注公众号
爱八卦,爱爆料。
小编推荐
  1. NO.1 正常男性精液的标准颜色是这个!赶紧点进来鉴定一下……

    转载请注明作者与来自“药店人”微信公家号(yaodianren520) 精液由精子和精浆构成,精子量只占极小部门,90%以上为精浆。而精浆又是由前列腺、

  2. NO.2 科研新发现|处方Omega-3脂肪酸药能有效降低甘油三酯水平【营养

    凭据美国心脏协会8月19日揭橥在《Circulation》上的一份新科学咨询,在大多数需要治疗高甘油三酯水平的人群中,处方Omega-3(即ω-3)脂肪酸药物可以

  3. NO.3 加药时重复使用注射器,究竟是对还是错?

    列位先生好,我是新进临床的一名实习护理,有天我加完药正预备把打针器扔掉的时候,在我旁边的一位先生阻止了我,并说: “你药不是没加完吗

  4. NO.4 新版国家医保药品目录发布 共纳入2643个药品、892个中药饮片,

    中国医疗科技网点击上方“ 中国医疗科技网 ”存眷我们,随时把握国内医疗政策、市场概况、企业动态等信息。 8月20日,国度医保局、人社部印发

  5. NO.5 心血管疾病的一级预防,阿司匹林该怎么用?

    阿司匹林曾经普遍应用于动脉粥样硬化性心血管疾病(ASCVD)的一级预防。 然而,近年来关于阿司匹林在ASCVD一级预防中的感化一向存在争议。 2018年

  6. NO.6 大脑中动脉狭窄诊断及治疗

    颅内动脉狭小是一高风险、高发病率的疾病,在北美,约10%缺血性卒中是由颅内大动脉粥样硬化性狭小导致,而中国多项研究报道脑缺血性住院病人

  7. NO.7 “我花200块,换来自己癌症晚期”:这件事,正在掏空上亿中国

    文 | 山叔 起原 |不山大叔(ID:ouba798) 点上方绿标即可收听今日音频 请把实情敷陈身边人: “伪摄生”,不只不会让你健康,还会让你人财两空!

  8. NO.8 这种东西喝一口,百病马上走(奇妙小东西,竟有大作用)

    有10多种排毒养身的小器材 稀奇适合夏日喝 几块钱就买到 不光廉价, 还很管用 热水一冲喝就能够了 为了本身和家人健康 必然好悦目看 …………

Copyright2018.爱妻自媒体资讯站,让大家及时掌握各行各业第一手资讯新闻!