我从几篇文章中了解到，要计算滤波器的梯度，只需将输入体作为输入，误差矩阵作为核进行卷积操作。之后，将滤波器权重减去梯度（乘以学习率）。我实现了这个过程，但它不起作用。

我甚至尝试自己用纸笔进行反向传播过程，但我计算出的梯度并没有使滤波器表现得更好。所以我对整个过程的理解是否有误？

编辑：我将提供一个我对CNN中反向传播的理解及其问题的例子。

考虑一个卷积层的随机输入矩阵：

1, 0, 1

0, 0, 1

1, 0, 0

以及一个随机的权重矩阵：

1, 0

0, 1

输出将是（应用ReLU激活函数）：

1, 1

0, 0

这一层的目标是一个填充零的2×2矩阵。这样，我们知道权重矩阵也应该填充零。

误差：

-1, -1

0, 0

按照上述过程应用，梯度是：

-1, -1

1, 0

所以新的权重矩阵是：

2, 1

-1, 1

这并没有取得任何进展。如果我重复这个过程，滤波器权重只会达到极高的值。所以我一定在某处犯了错误。我做错的是什么？

回答：

我将给你一个完整的例子，不会很短，但希望你能理解。为了简单起见，我省略了偏置和激活函数，但一旦你理解了，添加这些也很简单。记住，反向传播在CNN和简单MLP中本质上是相同的，但你不是进行乘法，而是进行卷积。所以，这是我的示例：

输入：

.7 -.3 -.7 .5.9 -.5 -.2 .9-.1 .8 -.3 -.50 .2 -.1 .6

核：

.1 -.3-.5 .7

进行卷积得到（第一卷积层的输出，同时是第二卷积层的输入）：

.32 .27 -.59.99 -.52 -.55-.45 .64 .13

L2核：

-.5 .1.3 .9

L2激活：

.73 .29.37 -.63

在这里，你将有一个扁平化层和一个标准的MLP或SVM来进行实际的分类。在反向传播过程中，你会收到一个delta，我们假设它是以下这样的：

-.07 .15-.09 .02

这将始终与扁平化层之前的激活大小相同。现在，要计算当前L2的核的delta，你将用上述delta卷积L1的激活。我不会再次写下来，但结果将是：

.17 .02-.05 .13

更新核的方法是L2.Kernel -= LR * ROT180(dL2.K)，这意味着你首先旋转上述2×2矩阵，然后更新核。在我们的示例中，这将变为：

-.51 .11.3  .9

现在，要计算第一卷积层的delta，回忆一下在MLP中你有以下公式：current_delta * current_weight_matrix。在卷积层，你基本上有同样的情况。你必须用当前层的delta卷积L2层的原始核（更新前）。但这次卷积将是完全卷积。结果是：

.04 -.08 .02.02 -.13 .14-.03 -.08 .01

有了这个，你将进入第一卷积层，并用这个3×3的delta卷积原始输入：

.16 .03-.09 .16

并以上述相同的方式更新你的L1核：

.08 -.29-.5 .68

然后你可以从前馈开始重新计算。上述计算结果四舍五入到小数点后两位，并使用了0.1的学习率来计算新的核值。

简而言之：

• 你得到一个delta

• 你计算将用于下一层的delta：FullConvolution(Li.Input, delta)

• 计算用于更新核的核delta：Convolution(Li.W, delta)

• 进入下一层并重复。