我刚开始使用Theano，正在尝试利用卷积网络和去噪自编码器的示例来构建一个去噪卷积网络。目前我正面临如何创建W’（反向权重）的难题。在这篇论文中，他们使用了在两个维度上翻转的绑定权重作为W’。
我目前正在处理一维信号，我的图像形状为(batch_size, 1, 1, 1000)，例如滤波器/W的大小为(num_kernels, 1, 1, 10)。卷积的输出然后是(batch_size, num_kernels, 1, 991)。因为我想让W’只是在两个维度上翻转（在我这里是一维），我倾向于这样做
w_value = numpy_rng.uniform(low=-W_bound, high=W_bound, size=filter_shape)self.W = theano.shared(np.asarray((w_value), dtype=theano.config.floatX), borrow=True)self.W_prime = T.repeat(self.W[:, :, :, ::-1], num_kernels, axis=1)其中我在相关维度上反向翻转它，并重复这些权重，使它们与隐藏层的特征图具有相同的维度。
使用这种设置，我只需要获取W的梯度来更新，还是W_prime也应该参与梯度计算？
当我这样做时，MSE在第一个小批量后大幅下降，然后停止变化。使用交叉熵从第一次迭代就得到NaN。我不知道这是否与这个问题有关，还是我代码中许多其他潜在错误之一。
回答：
我无法评论你的W_prime方法的有效性，但我可以说你只需要计算成本相对于每个原始共享变量的梯度。你的W_prime是W的符号函数，而不是共享变量本身，所以你不需要计算相对于W_prime的梯度。
每当你得到NaN时，首先要尝试的是减小学习率的大小。
