文章目录
1. 什么是全连接神经网络？
- 全连接神经网络指：层内无连接，层之间全连接。可用一个有向无环图表示：
- 抽象意义：
-
全连接神经网络的隐藏层可以看做是对样本的特征提取，即
比如：两层神经网络举例
-
输出层可以看作是对提取的特征进行特征转换。比如做分类处理：
其中，g(x) 用于：- 二分类
- 多分类
- 二分类
-
2. 三要素
2.1 模型
全连接神经网络的层之间是全连接的，所以只需要确定网络的层数、各层的神经元和激活函数 就定义好了模型。
2.2 准则
2.3 算法
- 问：如何对结构风险求最小化？
- 答：采用随机梯度下降的方式求最优化。但是使用随机梯度下降的过程中求偏导不使用链式法则，而是使用反向传播算法求偏导，从而更新参数。
3. 反向传播算法
3.1 为什么要使用反向传播算法的随机梯度下降法求最优化？
-
问：为什么要使用反向传播算法？
注意：上面的偏导是标量关于向量的偏导，计算时需要注意。
-
答：能够更快的对目标函数求最优化，从而更快的找到最优参数。
3.2 什么是反向传播算法？
3.3 如何使用反向传播算法的随机梯度下降法求最优化？
3.4 例题
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/84526.html
