🚩 前言
活动地址：CSDN21天学习挑战赛
“众所周知，激活函数最好具有关于零点对称的特性，不关于零点对称会导致收敛变慢”，这种说法看到几次了，但对于背后的原因却一直比较模糊，今天就来捋一捋。
为此我阅读了一些文章，其中一篇个人觉得写得很棒（附在文末的参考中），但也花了一些时间才看懂（可能我比较笨？）。后面我发现从计算图来看这个问题会比较直观和容易理解一些。
如果不了解计算图，可以查阅 齐藤康毅 的 《深度学习入门 基于python的理论与实现》的第五章：误差反向传播法。
1. 收敛变慢的原因
先上计算图（某层神经网络的一小部分）：
图中黑色箭头为正向推理，红色箭头为误差的反向传播。因为
s
i
g
m
o
i
d
sigmoid
sigmoid 函数的输出值都为正，故
x
i
x_i
xi 的符号都相同且为正；则参数
w
i
w_i
wi 的更新方向（增大\减小）
x
i
a
x_ia
xia 仅由
a
a
a 决定。
- 当
a
a
a 大于 0 ，所有参数更新时都增大
- 当
a
a
a 小于 0， 所有参数更新时均减小
所有参数更新方向始终一致会有什么影响？如果某次迭代收敛到最优参数，一个参数需要增大，另一个需要减小，那我们一致的参数更新方向就无法指向最优点，会形成一种锯齿型的路径，因此收敛到最优点的速度就慢。
图片来源：谈谈激活函数以零为中心的问题
2. 为何要“对称”？
前面我们看到，参数更新方向一致将导致锯齿状的更新路径。只要激活函数的值域分布在零的两边，就不会出现更新方向始终一致的问题了。
那对称的意义是什么？像下图中，函数曲线偏向 y 的正半轴，那么更新参数时参数就更容易增大而不容易减小，但如何确定参数更应该增大还是减小呢？
3. 与“参数值全相同”情况的对比
下面对比一下两个问题。
- 激活函数输出值全为正：参数更新路径为锯齿状，更新慢
- 参数值全相同：完全无法正常训练
3.1. 激活函数输出值全为正
对于激活函数输出值全为正，以二维的参数空间为例，它失去的是一半的方向。一对参数值更新量
(
Δ
w
1
,
Δ
w
2
)
(\Delta w1, \Delta w2)
(Δw1,Δw2) ，虽然
Δ
w
1
\Delta w1
Δw1 与
Δ
w
2
\Delta w2
Δw2 的符号相同，但参数不同的绝对值仍可以组合出丰富的更新方向，足以抵达这二维空间中的任意一点，因为第二、四象限中的任一个向量，都可以分解为第一、三象限中的两个向量。
3.2. 参数值全相同
参数值全相同将导致所有参数的更新方向和幅度也相同（可参考：权重参数全相同值初始化，导致无法训练），此时模型完全报废，因为参数更新将只能在同一条直线上移动。
参考
- 《深度学习入门 基于python的理论与实现》齐藤康毅
- 谈谈激活函数以零为中心的问题
博主主页：清风莫追_CSDN
原文链接：http://t.csdn.cn/nIA0d
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/114825.html
