我正在尝试使用自制的CNN（C++）在MNIST数据集上训练我的网络。

当我使用一个简单的模型时，它可以给出足够好的结果，例如：卷积（2个特征图，5×5）（Tanh） -> 最大池化（2×2） -> 展平 -> 全连接（64）（Tanh） -> 全连接（10）（Sigmoid）。

经过4个epoch后，它的行为如图所示 1。
经过16个epoch后，在测试数据集上的错误率约为6.5%。

但是在卷积层使用4个特征图的情况下，均方误差（MSE）值没有改善，有时甚至增加了2.5倍 2。

使用在线训练模式，并借助Adam优化器（alpha: 0.01, beta_1: 0.9, beta_2: 0.999, epsilon: 1.0e-8）。其计算方式如下：

double AdamOptimizer::calc(int t, double& m_t, double& v_t, double g_t){    m_t = this->beta_1 * m_t + (1.0 - this->beta_1) * g_t;    v_t = this->beta_2 * v_t + (1.0 - this->beta_2) * (g_t * g_t);    double m_t_aver = m_t / (1.0 - std::pow(this->beta_1, t + 1));    double v_t_aver = v_t / (1.0 - std::pow(this->beta_2, t + 1));    return -(this->alpha * m_t_aver) / (std::sqrt(v_t_aver) + this->epsilon);}  

那么，这个问题可能是由于缺乏一些额外的学习技术（如dropout、批量归一化）或参数设置不当引起的吗？还是由一些实现问题引起的？

附注：如果需要，我提供了一个 GitHub链接。

回答：

尝试降低学习率。