神经算法总结,神经网络算法实例说明以及原理!

自媒体 自媒体

优化算法框架

优化算法的框架如下所示:

[本文来自:www.ii77.com]

$$ [转载出处:www.ii77.com]

w_{t+1} = w_t - eta_t

eta_t = cfrac{alpha}{sqrt{V_t}} cdot m_t

$$

其中,$w_i$为i时刻的权值,$eta_i$为i时刻的优化量;$alpha$为学习率,$m_t$为一阶动量,$V_t$为二阶动量。一阶动量和二阶动量都与梯度有关,如下所示:

$$

m_t = M_1(g_1,g_2,...,g_t)

V_t = M_2(g_1,g_2,...,g_t)

g_t = abla f(w_t)

$$

一阶动量和二阶动量均是历史梯度和当前梯度的函数

优化算法

固定学习率优化算法

学习率固定的优化算法均有一个特点:不考虑二阶动量(即$M_2(g_i) = I$)

随机梯度下降(SGD)

随机梯度下降时最简单的优化算法,有:$m_t = g_t,V_t = I$,带入公式有优化公式为:$eta_t = alpha cdot g_t$

带动量的随机梯度下降(SGD with Momentum)

随机梯度下降加上动量项,即考虑梯度累积,有:

$$

g_t = abla f(w_t)

m_t = eta cdot m_{t-1} + (1-eta)cdot g_t

eta_t = alpha cdot m_t

$$

SGD with Nesterov Acceleration

在计算梯度的时候向前考虑一步,即计算梯度的时候,计算再沿着上一次更新方向更新一次的权值的梯度,有:

$$

g_t = abla f(w_t + alpha cdot m_{t-1})

m_t = eta cdot m_{t-1} + (1-eta)cdot g_t

eta_t = alpha cdot m_t

$$

自适应学习率优化算法

自适应学习率的优化算法考虑二阶动量,一般来说,一阶动量决定优化方向,二阶动量自适应学习率

AdaGrad

二阶动量取梯度平方和:$V_t = sumlimits^t_{i=1} g^2_i$,此时,$eta_t = cfrac{alpha}{sqrt{V_t}} cdot m_t$,可以将$cfrac{alpha}{sqrt{V_t}}$视为自适应的学习率:梯度不断累积,学习率单调下降。且梯度累积越快,学习率下降越快。

AdaDelta/RMSProp

二阶动量取梯度在一定范围内的平方和:

$$

V_1 = g^2_1

V_t = eta cdot V_{t-1} + (1-eta) cdot g_t^2

$$

Adam

Adam综合使用了一阶动量项和二阶动量项,即:

$$

g_t = abla f(w_t)

m_1 = g_1,V_1 = g_1^2

m_t = eta_1 cdot m_{t-1} + (1-eta_1)cdot g_t

V_t = eta_2 cdot V_{t-1} + (1-eta_2) cdot g_t^2

$$

Nadam

Nadam为使用了Nesterov和Adam的结合,有:

$$

g_t = abla f(w_t + cfrac{alpha}{sqrt{V_{t-1}}} cdot m_{t-1})

m_1 = g_1,V_1 = g_1^2

m_t = eta_1 cdot m_{t-1} + (1-eta_1)cdot g_t

V_t = eta_2 cdot V_{t-1} + (1-eta_2) cdot g_t^2

$$

混合方法:Adam+SGD

很多论文指出Adam虽然收敛较快,但效果不如SGD,因此,《Improving Generalization Performance by Switching from Adam to SGD》提出了一种算法,前期使用Adam算法,后期使用SGD,如下图所示:

自媒体微信号:ii77扫描二维码关注公众号
爱八卦,爱爆料。
小编推荐
  1. NO.1 女人保护哪些部位才能延缓衰老

    身体健康是很主要的,若是连健康都没有了,其他器材再也是无福享受的。个中,女人们常日里需要对峙珍爱下面说到的3个部位,若是不珍爱好的话

  2. NO.2 解读 | 饶毅再发文质疑耿美玉论文,直言“一个药物如此多靶点

    综合撰文丨杨心舟 7月6日,饶毅在《细胞研究》( Cell research )揭橥简讯,对中国科学院上海药物所耿美玉团队 2019 年 10 月揭橥的一项研究提出公开

  3. NO.3 五运六气与中医临床(附语音)

    【本篇是:彭博士讲《黄帝内经》系列(附语音)-精辟篇-之一百二十九。(更多出色持续更新中……)】 “南方红色,入通於心,開竅於耳,藏精

  4. NO.4 口腔溃疡没完没了?夏季防治有妙招

    医/护/药测验过关神器——让您轻松考一次过! 德律/微信13503969069 相信人人都有过如许的履历: 三天前的我 串串暖锅小龙虾, 烤鱼炸鸡啤酒鸭 三天

  5. NO.5 20年来最长梅雨季,连续阴雨各地自杀率攀升!做到这四点才能

    人人好,我是米大夫 本年,上海正式入梅已经30天了 超出常年平均梅雨期(23天) 然则老天似乎还没有要 出梅 的意思 7月10日起头,受高空槽影响

  6. NO.6 健康60s | 炎症性肠病:易被忽视的“绿色癌症”

    (本视频为原创,如需转载请标明出处) 往期出色回首: 癌症筛查 “早”为上策 预防胃肠癌,胃肠镜搜检很主要 专家解读破解早癌筛查的“暗码”

  7. NO.7 【新冠防治系列(222)】一图读懂:新冠公共通用版预防指南

    更多常识请点击: 公家预防怎么做? (通用预防篇) 有疾病风行区域栖身观光史人员该怎么做? (旅行预防篇) 在家怎么做? (家庭预防篇) 民

  8. NO.8 医生以检查为由猥亵患者被处以 7 天行拘,法院驳回上诉|丁香

    每个工作日早晨 丁香早读 准时更新 第一时间 追踪医疗热点 巴西总统 新冠病毒检测呈阳性 图源:BBC 巴西总统博索纳罗周二在巴西电视频道上公布他

Copyright2018.爱妻自媒体资讯站,让大家及时掌握各行各业第一手资讯新闻!