1.平均池化:AdaptiveAvgPool2d,主要用于:当map中的信息都应该有所贡献的时候,例如图像分...
L1正则化和L2正则化的解读
1.Regularization(正则化) 不是 normalization(规范化),正则化解决的问题是防...
梯度爆炸的解决方案_clip_gradients
梯度爆炸的解决方案_clip_gradients 1.通常会使用一种叫”clip gradients “的方...
为什么要做batch normalization
1.机器学习领域有个很重要的假设：独立同分布假设;在数据预处理阶段我们一般会做“白化”操作，一个是去除特征之...