1 正则化方法
1.1 Batch Normalization
- 出发点
在深层网络训练的过程中，由于网络中参数变化而引起内部结点数据分布发生变化的这一过程被称作Internal Covariate Shift。出现Internal Covariate Shift，一方面会使得上层网络需要不停调整来适应输入数据分布的变化，导致网络学习速度的降低，另一方面，网络的训练过程容易陷入梯度饱和区，减缓网络收敛速度。
- 核心思想
单独对每个特征进行normalizaiton，让每个特征都有均值为0，方差为1的分布。
