我在PyTorch中使用EMNIST数据集训练了一个模型，并在测试集上获得了大约85%的准确率。现在，我有一张手写文本的图像，我从中提取了单个字母，但对我提取的图像的准确率非常低。

我使用的独热编码映射如下 –

letters_EMNIST = {0: '0', 1: '1', 2: '2', 3: '3', 4: '4', 5: '5', 6: '6', 7: '7', 8: '8', 9: '9',         10: 'A', 11: 'B', 12: 'C', 13: 'D', 14: 'E', 15: 'F', 16: 'G', 17: 'H', 18: 'I', 19: 'J',         20: 'K', 21: 'L', 22: 'M', 23: 'N', 24: 'O', 25: 'P', 26: 'Q', 27: 'R', 28: 'S', 29: 'T',         30: 'U', 31: 'V', 32: 'W', 33: 'X', 34: 'Y', 35: 'Z', 36: 'a', 37: 'b', 38: 'd', 39: 'e',         40: 'f', 41: 'g', 42: 'h', 43: 'n', 44: 'q', 45: 'r', 46: 't'}

作为参考，这是用于测试数据的图像示例 –

这是我提取的图像示例 –

我该如何调试这个问题？

回答：

首先，你应该检查你的提取技术是否正确工作。接下来的回答假设这一步已经完成。

EMNIST的数据分布和你的提取数据的分布可能有很大不同，因此可能难以获得好的结果。

尽管如此，你可以采取一些步骤来提高分数。

额外数据

如果你有办法提取更多字母和数字的图像并适当标记它们，你应该在神经网络训练期间使用这些数据。

你获取的这类数据越多，你的结果可能会越好（假设数据质量相当高，例如没有太多误报）。

数据增强

我认为你可以不用太多工作就做到这一点。

不过你要记住，数据增强必须保持标签不变。所以不要做像翻转这样的操作（对于数字8来说可能没问题，但u翻转后可能会变成n）。

适用的增强方法有：

• 小角度旋转（最多20度左右）
• 小幅高斯噪声或类似噪声
• 小块CutOut（在图像上将3×3像素或类似的黑色矩形区域置零）
• 轻微的空间变换（重新缩放，移动，线性变换）
• MixUp（你线性混合两个具有不同标签的图像，例如A图像乘以0.6和数字2图像乘以0.4，并尝试将其分类为0.6的A和0.4的2）。记住，标签不必完全是二元的。这应该有助于你的网络避免过于自信的预测

你可以在第三方库albumentations中找到所有这些方法。

模型增强

对于你的模型，你可以采用类似于dropout（但要小心与批量归一化的整合）、shake shake、Stochastic Depth等方法。

总结

你可以使用所有这些方法，记得测试其性能。我试图按照最有前景的方法顺序列出它们。

一种可能性是通过增强使模型对变化更加鲁棒。