我构建了一个模型来预测客户是企业客户还是个人客户。训练模型后，我预测了1000个未用于训练的数据集的类别。这些预测结果将被保存到一个csv文件中。现在我观察到了两种不同的行为：
- 在程序中分割样本数据
当我使用train, sample = train_test_split(train, test_size=1000, random_state=seed)创建样本时，预测在训练期间的准确性与验证值相同（数值一致）。
- 提前分割样本数据然后加载
但是，当我在学习之前手动分割数据，从原始csv文件中取出1000个数据集并复制到一个新的样本csv文件中，然后在学习后加载这个文件进行预测时，我得到了一个更差的结果（例如，76%而不是90%）。这种行为在我看来是不合理的，因为原始数据（用于训练的csv文件）也提前进行了洗牌，因此我应该得到相同的结果。以下是相关代码的区分情况说明：
1. 在程序中分割样本数据
分割
def getPreProcessedDatasetsWithSamples(filepath, batch_size): path = filepath data = __getPreprocessedDataFromPath(path) train, test = train_test_split(data, test_size=0.2, random_state=42) train, val = train_test_split(train, test_size=0.2, random_state=42) train, sample = train_test_split(train, test_size=1000, random_state=seed) train_ds = __df_to_dataset(train, shuffle=False, batch_size=batch_size) val_ds = __df_to_dataset(val, shuffle=False, batch_size=batch_size) test_ds = __df_to_dataset(test, shuffle=False, batch_size=batch_size) sample_ds = __df_to_dataset(sample, shuffle=False, batch_size=batch_size) return (train_ds, val_ds, test_ds, sample, sample_ds)使用sample, sample_ds进行预测
def savePredictionWithSampleToFileKeras(model, outputName, sample, sample_ds): predictions = model.predict(sample_ds) loss, accuracy = model.evaluate(sample_ds) print("Accuracy of sample", accuracy) sample['prediction'] = predictions sample.to_csv("./saved_samples/" + outputName + ".csv")样本准确性：90%
2. 提前分割样本数据然后加载
通过加载csv文件进行预测
def savePredictionToFileKeras(model, sampleFilePath, outputName, batch_size): sample_ds = preprocessing.getPreProcessedSampleDataSets(sampleFilePath, batch_size) sample = preprocessing.getPreProcessedSampleDataFrames(sampleFilePath) predictions = model.predict(sample_ds) loss, accuracy = model.evaluate(sample_ds) print("Accuracy of sample", accuracy) sample['prediction'] = predictions sample.to_csv("./saved_samples/" + outputName + ".csv")样本准确性：77%
编辑
观察：当我加载整个数据作为样本数据时，我得到了与验证值相同的预期值（约90%），但当我只是随机化同一文件的行顺序时，我得到了82%的值。据我所知，准确性应该是相同的，因为文件是相同的。
一些额外信息：我已经将实现从顺序API改为功能API。我在预处理中使用了嵌入（我还尝试了不成功的一键编码）。
回答：
最后我找到了问题所在：我使用了一个Tokenizer来预处理NAME和STREET列，将每个单词转换为一个表示该单词出现频率的值。在使用train_test_split的情况下，我使用了所有数据的总体单词来转换单词，但当我随后加载样本数据集时，我只使用了样本数据集中出现的单词。例如，“family”可能是总体上使用最多的单词，但在样本数据集中可能只是第三常用，因此编码将完全错误。在使用同一个tokenizer实例处理所有数据后，我得到了所有数据的高准确性。
