我目前正在进行推文情感分析，对步骤的正确顺序有几个问题。请假设数据已经预处理并准备就绪。因此，我的步骤如下：
- 使用
train_test_split（80:20比例）来保留一组测试数据。 - 由于推文不是数值数据，因此对
x_train进行向量化处理。
在接下来的步骤中，我想确定最佳分类器。请假设这些分类器已经导入。因此，我将继续进行以下步骤：
- 超参数调整（网格搜索），包括交叉验证方法。在这一步中，我想确定每个分类器的最佳参数。对于KNN，代码如下：
model = KNeighborsClassifier()n_neighbors = range(1, 10, 2)weights = ['uniform', 'distance']metric = ['euclidean', 'manhattan', 'minkowski']# 定义网格搜索grid = dict(n_neighbors=n_neighbors, weights=weights ,metric=metric)cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)grid_search = GridSearchCV(estimator=model, param_grid=grid, n_jobs=-1, cv=cv, scoring='accuracy',error_score=0)grid_result = grid_search.fit(train_tf, y_train)# 总结结果print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))means = grid_result.cv_results_['mean_test_score']stds = grid_result.cv_results_['std_test_score']params = grid_result.cv_results_['params']for mean, stdev, param in zip(means, stds, params): print("%f (%f) with: %r" % (mean, stdev, param))- 比较分类器的准确率（取决于最佳超参数）
- 选择最佳分类器
- 使用保留的测试数据集（来自
train_test_split()）并在测试数据上应用最佳分类器
这种方法是否正确，或者您建议进行一些更改（例如，单独进行交叉验证而不是在超参数调整中进行）？在最后一步测试测试数据是否有意义，还是应该提前进行以评估未知数据集的准确性？
回答：
有很多方法可以做到这一点，人们对此有很强的意见，但我并不总是相信他们完全理解他们所倡导的。
简而言之：你的方法看起来很好，你问的问题也很有道理。
尽管如此，这里有一些需要考虑的事项：
- 你为什么要进行训练-测试分割验证？
- 你为什么要进行超参数调整？
- 你为什么要进行交叉验证？
是的，每一种技术在做特定的事情时都是好的；但这并不一定意味着它们都应该在同一个流程中使用。
首先，让我们回答这些问题：
-
训练-测试分割对于测试分类器的推理能力很有用。换句话说，我们想知道一个分类器在一般情况下的表现如何（而不是在用于训练的数据上）。测试部分允许我们在不使用训练部分的情况下评估我们的分类器。
-
超参数调整对于评估超参数对分类器性能的影响很有用。为了有意义，我们必须比较两个（或更多）模型（使用不同的超参数），但最好使用相同的训练部分进行训练（以消除选择偏差）。一旦我们知道性能最佳的超参数，我们会怎么做？这一组超参数总是会表现最佳吗？不是的。你会发现，由于分类随机性的本质，A实验中的一组超参数可能表现最佳，而B实验中的另一组超参数可能表现最佳。相反，超参数调整对于概括在构建分类器时使用哪些超参数很有用。
-
交叉验证用于平滑构建分类器时相关的随机性。因此，一个机器学习流程可能使用1个测试折叠产生94%准确率的分类器，而使用另一个测试折叠时准确率为83%。这意味着什么？这可能意味着1个折叠包含容易的样本。或者可能意味着分类器实际上更好。你不知道，因为它是一个黑盒子。
实际上，这有什么帮助？
我认为使用测试-训练分割和交叉验证几乎没有价值。我使用交叉验证并报告n个折叠的平均准确率。它已经在测试我的分类器的性能了。我不明白为什么要进一步分割你的训练数据来进行另一轮的训练-测试验证。使用平均值。尽管如此，我使用在交叉验证期间创建的n个折叠模型中表现最佳的模型作为我的最终模型。正如我所说，它是黑盒子，所以我们不能知道哪个模型是最好的，但如果其他条件相同，你不妨使用表现最佳的模型。它可能实际上是更好的。
超参数调整很有用，但进行广泛的调整可能需要很长时间。我建议将超参数调整添加到你的流程中，但只测试两组超参数。因此，保持所有超参数恒定，只改变一个。例如，批次大小 = {64, 128}。运行它，你将能够自信地说，“哦，这有很大区别：64比128好！”或者“好吧，这是在浪费时间。无论哪种方式都没有太大区别。”如果差异很小，忽略那个超参数并尝试另一对。这样，你将慢慢地向最优方向前进，而不会浪费时间。
在实践中，我认为应该将广泛的超参数调整留给学者，并采取更务实的方法。
但总的来说，你的方法看起来很好。我认为你在思考自己在做什么，这已经让你领先于大多数人了。
