- 训练神经网络主要包含四个方面
- 层,多个层组成网络(或模型)
- 输入层和相应目标
- 损失函数,即用于学习的反馈信号
- 优化器,决定学习过程如何进行
- 层:深度学习的基础组件
- 简单的向量数据保存在形状为(samples, features)的2D张量中,通常用密集连接层[densely connected layer,也叫全连接层(fully connected)或密集层(densy layer),对应Keras的Dense类]来处理。
- 序列数据保存在形状为(samples,timesteps, features)的3D张量中,通常用循环层(recurrent layer,比如Keras的LSTM层)来处理。
- 图像数据保存4D张量中,通常用二维卷积层(Keras的Conv2D)来处理。
- 模型:层构成的网络
- 双分支(two-branch)网络
- 多头(multihead)网络
- Inception网络
- 损失函数与优化器:配置学习过程的关键
- 损失函数(目标函数)--在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。
- 优化器--决定如何基于损失函数网络进行更新。它执行的是随机梯度下降(SGD)的某个变体。