我在处理简单的机器学习问题，试图构建一个能够区分垃圾短信和非垃圾短信的分类器。我对应该在拆分成测试集和训练集之前生成文档术语矩阵，还是在拆分之后生成文档术语矩阵感到困惑。

我尝试了这两种方法，发现当我在生成文档术语矩阵之前拆分数据时，准确率略高。但对我来说，这没有道理。准确率不应该是一样的吗？这些操作的顺序有影响吗？

回答：

从质的角度来看，你不需要非得这样做或那样做。然而，正确的程序要求你将训练数据和测试数据完全分开。总体概念是，测试数据在训练中不直接被表示；这有助于减少过拟合。测试数据（以及后来的验证数据）是训练模型在训练期间从未遇到过的样本。

因此，测试数据不应包含在你的预处理中——即文档术语矩阵。这打破了分离，因为从某方面来说，模型在训练期间已经“见过”测试数据。

从量的角度来看，你需要先进行拆分，因为该矩阵将用于仅针对训练集训练模型。当你将测试数据包含在矩阵中时，你得到的矩阵在表示训练数据方面略有不准确：它不再正确地代表你实际训练的数据。这就是为什么你的模型不如遵循正确分离程序的模型那么好。

这是一个微妙的区别，最重要的是因为训练集和测试集应该是同一可能输入总体的随机样本。随机差异提供了你所遇到的小小惊喜。