我正在训练一个神经网络模型，我的模型很好地适应了训练数据。训练损失稳定下降。一切正常。
然而，当我输出模型的权重时，我发现自从随机初始化以来（我没有使用任何预训练的权重，所有的权重都是在PyTorch中默认初始化的），权重变化并不大。权重的所有维度仅变化了约1%，而在训练数据上的准确率从50%上升到了90%。这是什么原因造成的？是因为权重的维度太高，我需要减小模型的尺寸吗？还是有其他可能的解释？

我明白这是一个相当宽泛的问题，但我认为在这里展示我的模型并进行数学分析是不切实际的。所以我只想知道这个问题的一般/常见原因是什么。

回答：

在问题中几乎总是存在许多局部最优点，因此在高维特征空间中，你无法特别指出你的模型参数将适合哪个最优点。一个重要点是，对于你为模型计算的每一组权重以找到最优点，由于权重是实数值，对于那个最优点有无限组权重，权重之间的比例是唯一重要的，因为你试图最小化成本，而不是寻找每一样本损失为0的唯一一组权重。每次训练时，根据初始权重，你可能会得到不同的结果。当权重变化非常接近且彼此几乎相同的比例时，这意味着你的特征高度相关（即冗余），并且由于你仅通过权重的一点变化就获得了非常高的准确率，我能想到的唯一原因是你的数据集类别彼此之间相距甚远。尝试一次移除一个特征，训练并查看结果，如果准确率仍然很好，继续移除另一个，直到你希望达到一个3或2维的空间，你可以绘制数据并可视化它，以查看数据点是如何分布的，并从中得出一些结论。

编辑：更好的方法是使用PCA进行降维，而不是一次移除一个特征