优化算法框架
优化算法的框架如下所示:
[本文来自:www.ii77.com]
$$ [转载出处:www.ii77.com]
w_{t+1} = w_t - eta_t
eta_t = cfrac{alpha}{sqrt{V_t}} cdot m_t
$$
其中,$w_i$为i时刻的权值,$eta_i$为i时刻的优化量;$alpha$为学习率,$m_t$为一阶动量,$V_t$为二阶动量。一阶动量和二阶动量都与梯度有关,如下所示:
$$
m_t = M_1(g_1,g_2,...,g_t)
V_t = M_2(g_1,g_2,...,g_t)
g_t = abla f(w_t)
$$
一阶动量和二阶动量均是历史梯度和当前梯度的函数
优化算法
固定学习率优化算法
学习率固定的优化算法均有一个特点:不考虑二阶动量(即$M_2(g_i) = I$)
随机梯度下降(SGD)
随机梯度下降时最简单的优化算法,有:$m_t = g_t,V_t = I$,带入公式有优化公式为:$eta_t = alpha cdot g_t$
带动量的随机梯度下降(SGD with Momentum)
随机梯度下降加上动量项,即考虑梯度累积,有:
$$
g_t = abla f(w_t)
m_t = eta cdot m_{t-1} + (1-eta)cdot g_t
eta_t = alpha cdot m_t
$$
SGD with Nesterov Acceleration
在计算梯度的时候向前考虑一步,即计算梯度的时候,计算再沿着上一次更新方向更新一次的权值的梯度,有:
$$
g_t = abla f(w_t + alpha cdot m_{t-1})
m_t = eta cdot m_{t-1} + (1-eta)cdot g_t
eta_t = alpha cdot m_t
$$
自适应学习率优化算法
自适应学习率的优化算法考虑二阶动量,一般来说,一阶动量决定优化方向,二阶动量自适应学习率
AdaGrad
二阶动量取梯度平方和:$V_t = sumlimits^t_{i=1} g^2_i$,此时,$eta_t = cfrac{alpha}{sqrt{V_t}} cdot m_t$,可以将$cfrac{alpha}{sqrt{V_t}}$视为自适应的学习率:梯度不断累积,学习率单调下降。且梯度累积越快,学习率下降越快。
AdaDelta/RMSProp
二阶动量取梯度在一定范围内的平方和:
$$
V_1 = g^2_1
V_t = eta cdot V_{t-1} + (1-eta) cdot g_t^2
$$
Adam
Adam综合使用了一阶动量项和二阶动量项,即:
$$
g_t = abla f(w_t)
m_1 = g_1,V_1 = g_1^2
m_t = eta_1 cdot m_{t-1} + (1-eta_1)cdot g_t
V_t = eta_2 cdot V_{t-1} + (1-eta_2) cdot g_t^2
$$
Nadam
Nadam为使用了Nesterov和Adam的结合,有:
$$
g_t = abla f(w_t + cfrac{alpha}{sqrt{V_{t-1}}} cdot m_{t-1})
m_1 = g_1,V_1 = g_1^2
m_t = eta_1 cdot m_{t-1} + (1-eta_1)cdot g_t
V_t = eta_2 cdot V_{t-1} + (1-eta_2) cdot g_t^2
$$
混合方法:Adam+SGD
很多论文指出Adam虽然收敛较快,但效果不如SGD,因此,《Improving Generalization Performance by Switching from Adam to SGD》提出了一种算法,前期使用Adam算法,后期使用SGD,如下图所示:
这是4月13日在以色列特拉维夫拍摄的以色各国防部建筑。新华社本地时间14日,伊朗伊斯兰革命卫队针对其军事动作发布第二份声明。声明透露,因为
点击上方“CCTV4” 存眷我们!伊朗常驻结合国代表团称伊朗对以色列的袭击可被视为已“竣事”。本地时间4月14日,伊朗常驻结合国代表团在社交媒
今天暴风暴雨又囊括而来一大早 江西省景象台就接连发布四道预警大风黄色预警旌旗宜春、新余两市的部门区域将显现8-10级雷暴大风局地伴有强雷电
比来知名童星关凌在社交平台发布了一个视频激发好多网友热议关凌透露,只因为前一天晚上给两娃指点了作文和阅读懂得,究竟晚上睡觉之前就感
▲点击存眷麻涌镇当局“艳丽麻涌”官方微信可乐2.3元一瓶、矿泉水1.2元一瓶、爽性面0.9元一包……近年来,量贩零食店的显现,为“吃货”们打
点击蓝字存眷我们群众事 无小事黄龙溪镇以更贴心更高效的办事体式起劲做大好人民群众“贴心人”切实提拔群众的获得感、幸福感↓↓↓1深化办事
本地时间4月14日,伊朗伊斯兰革命卫队揭橥声明,为了回应以色列的罪过,个中包罗袭击伊朗驻叙利亚使馆领事处并导致多名军事人员灭亡,伊朗伊
比来知名童星关凌在社交平台发布了一个视频激发好多网友热议关凌透露,只因为前一天晚上给两娃指点了作文和阅读懂得,究竟晚上睡觉之前就感
本文内容来自网友供稿,如有信息侵犯了您的权益,请联系反馈核实
Copyright 2024.爱妻自媒体,让大家了解更多图文资讯!