1. 神经元
说明：
- 为什么使用激活函数？
- 如果不使用激活函数，我们的每一层输出只是承接了上一层
输入函数的线性变换，无论神经网络有多少层，输出都是输
入的线性组合。加入激活函数可以给模型加入非线性因素，提升模型表达能力。【比如：单层神经网络无法解决异或，如果只是线性组合，最终会导致还是无法解决异或，必须加入非线性变换才可能解决。】- 激活函数的性质
- 常见的激活函数
2. 神经网络的组成
3. 相关符号的说明
- 单层神经网络：输入矩阵X、权重矩阵W、偏置矩阵B、输出矩阵Z、激活函数g(x) 的表示：
- 多层神经网络中
4. 神经网络
4.1 单层神经网络
-
单层神经网络(即感知机)只有输入层和输出层，没有隐藏层。
-
特点：最大的特点是只能解决线性可分的问题，无法解决线性不可分的问题。比如：异或(XOR)
4.2 多层神经网络
-
多层神经网络至少含有一个隐藏层。
-
特点：可以解决异或问题，而且具有非常好的非线性分类效果。
- 比如：两层神经网络解决异或
- 比如：两层神经网络解决异或
-
神经网络从理论上可以逼近任意函数，可以作为一个“万能”函数来使用。逼近任意函数有两个方向：第一是增加隐藏层宽度，第二是增加隐藏层的深度。如何选择？
- 隐藏层层数越多，提取的特征更加抽象，也就能更加任意的提取出事物的本质特征，拥有更好的泛化能力。所以一般是增加隐藏层的深度。
5. 神经网络的整个流程
机器学习三要素：
- 模型：确定好模型(即确定好整个神经网络有几层，每一层有几个神经元，层之间的连接方式)。参数为每层神经网络之间的权重 和 每一层神经网络的偏置。
- 准则：确定损失函数
- 算法：求期望风险最小化或结构风险最小化时的参数值，代入模型就是最优模型。
6. 神经网络的分类
- 前馈神经网络
- 全连接神经网络 (FNN)
- 卷积神经网络 (CNN)
- 记忆网络
- 循环神经网络 (RNN)
- Hopfield网络
- 图网络
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/84527.html
