我正在阅读这篇论文 – https://arxiv.org/pdf/1609.04112.pdf,并试图理解作者第一个问题的答案 –
为什么非线性激活函数在所有中间层的滤波器输出处是必不可少的?
他的解释到目前为止似乎是可以理解的 –
我们可以进一步将RECOS模型泛化到一个平移的单位球面
其中μ是x的均值。
我感到困惑的是,为什么这被认为是一种“泛化”,但论文接着解释了这样做的原因。
对于视觉问题,x的元素xn,n = 1…N,表示输入图像的N个像素值,而μ是所有像素的均值。如果输入的是完整的图像,其均值是全局均值,对图像理解没有影响。
可以在处理前将其移除。因此,我们设μ=0。
然而,如果输入图像很大,我们通常将其分成较小的块,并并行处理所有块。在这种情况下,每个块的均值是局部均值。不应将其移除,因为局部均值的整合提供了完整图像的粗略视图。这对应于公式(5)中的一般情况。
我完全理解试图使用其均值来表示小块图像的做法。
将信号/向量进行均值漂移被认为是一种泛化吗? 如果是的话,有人能指出支持这一说法的理论吗?我自己似乎找不到合适的链接。
还是它只是在这里用来阐释作者的例子和后续的解释?
还是我在这里错过了什么明显的东西?
回答:
你听说过概率分布(或一般特征)的标准化吗?你可以通过移动其均值使其类似于高斯(正态)分布。看看中心极限定理以及一篇关于聚类均值漂移算法的评论的论文