- 训练神经网络主要包含四个方面
- 层，多个层组成网络（或模型）
- 输入层和相应目标
- 损失函数，即用于学习的反馈信号
- 优化器，决定学习过程如何进行
- 层：深度学习的基础组件
- 简单的向量数据保存在形状为(samples, features)的2D张量中，通常用密集连接层[densely connected layer,也叫全连接层(fully connected)或密集层(densy layer),对应Keras的Dense类]来处理。
- 序列数据保存在形状为(samples,timesteps, features)的3D张量中，通常用循环层(recurrent layer,比如Keras的LSTM层)来处理。
- 图像数据保存4D张量中，通常用二维卷积层（Keras的Conv2D)来处理。
- 模型：层构成的网络
- 双分支（two-branch）网络
- 多头（multihead）网络
- Inception网络
- 损失函数与优化器：配置学习过程的关键
- 损失函数（目标函数）--在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。
- 优化器--决定如何基于损失函数网络进行更新。它执行的是随机梯度下降（SGD）的某个变体。