• https://zhuanlan.zhihu.com/p/381413759

• https://zhuanlan.zhihu.com/p/429901476

• CV面试(上)

• CV面试(下)

• https://mp.weixin.qq.com/s/ZShTaNDAMv6H6hLY9ncNTQ

• https://zhuanlan.zhihu.com/p/82105066

• https://github.com/andrewekhalel/MLQuestions

常用顺序：
1.卷积 -> 激活 -> 池化
2.卷积 -> 池化 -> 激活
如果使用最大池化，两种顺序的结果是一样的。
如果使用平均池化，建议采用第1种顺序，即卷积 -> 激活 -> 池化。
结论：
先激活，保留的有效特征（不为零的值）更多
先平均池化，会有更多的特征值变为0，不利于网络学习
上述结论，是因为使用的激活函数是ReLU，如果使用其他激活函数，如PReLU，先池化还是先激 活，两者都不会造成梯度消失。此情形下，应当优先选择先池化，再激活，以减少激活时的计算量。
3.卷积 -> BN->激活
4.卷积 -> BN->Dropout->激活
BN的作用：用于重新调整数据分布，解决传播过程中的梯度问题。
BN训练步骤：
1）求解每个训练批次数据的均值。
2）求解每个训练批次数据的方差。
3）使用求得均值和方差对该批次数据做标准化处理，获得0-1分布。
4）尺度变换和偏移：使用标准化之后的x乘γ（尺度因子）调整数值，再加β（平移因子）增加偏移从而得到输出值y。引入尺度因子和平移因子解决标准化后x基本被限制在正态分布下，导致网络表达能力下降问题。
5）训练时采用一个批次中的样本的均值和标准差进行BN操作。但使用训练阶段所有批次记录的均值和方差的期望值作为预测阶段的BN均值和方差。
6）实际应用中，采用类似momentum动量法中使用的滑动平均进行计算测试时的均值和方差。
BN层优缺点：
优点：
1）梯度传递计算更顺畅，较少出现神经元饱和。
2）设置较大的学习率加快训练速度。
3）对模型参数的初始化方式和取值不敏感，稳固网络学习，提高模型训练精度。
4）具有一定正则效果。
缺点：
1）在网络层次深的模型中会减缓训练速度。
2）训练批次建议16以上。

• 网络训练根据损失曲线进行策略调整
  https://blog.csdn.net/yeler082/article/details/90273353
      以上就是本篇文章【【面试】AI常见的面试问题】的全部内容了，欢迎阅览 ！ 文章地址：http://sjzytwl.xhstdz.com/news/12923.html 
       栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://mip.xhstdz.com/ , 查看更多