在卷积神经网络(CNN)中,会选择一个滤波器用于权重共享。例如,在下面的图片中,选择了步长(相邻神经元之间的距离)为1的3×3窗口。
所以我的问题是:如何选择窗口大小? 如果我使用4×4窗口,步长为2,会造成多大的差异?提前感谢你们!
回答:
这个问题没有确定的答案:滤波器大小是您通常需要调整的超参数之一。然而,有一些有用的观察可能会帮助您。通常更倾向于选择较小的滤波器,但数量要更多。
例如,四个5x5
的滤波器有100个参数(不考虑偏置),而十个3x3
的滤波器有90个参数。通过使用更大的滤波器,您仍然可以捕捉图像中的各种特征,但参数更少。更多信息请参见这里。
现代CNN进一步发展了这一理念,选择连续的3x1
和1x3
卷积层。这进一步减少了参数数量,但不影响性能。请参见Inception网络的演变。
步长的选择也很重要,但它会影响卷积后的张量形状,从而影响整个网络。一般规则是,在普通卷积中使用stride=1
并通过填充保持空间大小,当您想对图像进行降采样时使用stride=2
。