使用scikit learn中的20newsgroups数据集进行可重复性实验。当我训练一个SVM模型后，执行数据清理（移除头部、尾部和引用内容），结果发现准确率反而下降了。数据清理不是应该提高准确率吗？做了这些工作之后，准确率反而变差，这有什么意义呢？
我创建了一个带有数据清理的例子，以帮助你理解我所指的内容：
from sklearn.datasets import fetch_20newsgroupsfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.metrics import accuracy_scorecategories = ['alt.atheism', 'comp.graphics']newsgroups_train = fetch_20newsgroups(subset='train', categories=categories, shuffle=True, random_state=2017, remove=('headers', 'footers', 'quotes') )newsgroups_test = fetch_20newsgroups(subset='test', categories=categories,shuffle=True, random_state=2017, remove=('headers', 'footers', 'quotes') )y_train = newsgroups_train.targety_test = newsgroups_test.targetvectorizer = TfidfVectorizer(sublinear_tf=True, smooth_idf = True, max_df=0.5, ngram_range=(1, 2),stop_words='english')X_train = vectorizer.fit_transform(newsgroups_train.data)X_test = vectorizer.transform(newsgroups_test.data)from sklearn.svm import SVCfrom sklearn import metricsclf = SVC(C=10, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape='ovr', degree=3, gamma=1, kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)clf = clf.fit(X_train, y_train)y_train_pred = clf.predict(X_train)y_test_pred = clf.predict(X_test)print('Train accuracy_score: ', metrics.accuracy_score(y_train, y_train_pred))print('Test accuracy_score: ',metrics.accuracy_score(newsgroups_test.target, y_test_pred))print("-"*12)print("Train Metrics: ", metrics.classification_report(y_train, y_train_pred))print("-"*12)print("Test Metrics: ", metrics.classification_report(newsgroups_test.target, y_test_pred))数据清理前的结果：
Train accuracy_score: 1.0Test accuracy_score: 0.9731638418079096数据清理后的结果：
Train accuracy_score: 0.9887218045112782Test accuracy_score: 0.9209039548022598回答：
这不一定是你的数据清理问题，我猜你运行了两次脚本？
问题出在这行代码上：
clf = SVC(C=10, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape='ovr', degree=3, gamma=1, kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)random_state=None你应该将随机状态固定，例如random_state=42，否则你无法生成相同的结果，如果你现在再次运行这段代码，你会得到不同的结果。
编辑：
解释在数据集网站上本身就有：如果你实现：
import numpy as npdef show_top10(classifier, vectorizer, categories): feature_names = np.asarray(vectorizer.get_feature_names()) for i, category in enumerate(categories): top10 = np.argsort(classifier.coef_[i])[-10:] print("%s: %s" % (category, " ".join(feature_names[top10])))现在你可以看到这些特征过拟合了很多东西：
几乎每个组都是通过头部（如NNTP-Posting-Host:和Distribution:）出现的频率来区分的。
另一个重要特征涉及发送者是否与大学有关联，这可以通过他们的头部或签名来判断。
“article”这个词是一个重要特征，基于人们引用之前帖子的频率，如：“In article [article ID], [name] <[e-mail address]> wrote:”
其他特征匹配当时发帖的特定人的名字和电子邮件地址。
由于有如此多的线索来区分新闻组，分类器几乎不需要从文本中识别主题，它们都能以同样高的水平表现。
因此，加载20 Newsgroups数据的函数提供了一个名为remove的参数，告诉它要从每个文件中去除什么样的信息。remove应该是包含任何子集的元组
总结：
remove功能可以防止数据泄漏，这意味着你的训练数据中包含了预测阶段不会有的信息，所以你必须去除它，否则你会得到更好的结果，但这在新数据上是不会有的。
