我在机器学习领域还是新手，所以还不明白如何在词袋模型的情况下可视化两个类别之间的边界。
我找到了以下示例来绘制数据
from sklearn.datasets import fetch_20newsgroupsfrom sklearn.feature_extraction.text import CountVectorizer, TfidfTransformerfrom sklearn.decomposition import PCAfrom sklearn.pipeline import Pipelineimport matplotlib.pyplot as pltnewsgroups_train = fetch_20newsgroups(subset='train', categories=['alt.atheism', 'sci.space'])pipeline = Pipeline([ ('vect', CountVectorizer()), ('tfidf', TfidfTransformer()),]) X = pipeline.fit_transform(newsgroups_train.data).todense()pca = PCA(n_components=2).fit(X)data2D = pca.transform(X)plt.scatter(data2D[:,0], data2D[:,1], c=newsgroups_train.target)plt.show()
在我的项目中，我使用了SVC估计器
clf = SVC(random_state=241, kernel = 'linear')clf.fit(X,newsgroups_train.target)我尝试使用示例http://scikit-learn.org/stable/auto_examples/svm/plot_iris.html但在文本分类情况下不起作用
那么，我如何在这个图上添加两个类别的边界呢？
谢谢！
回答：
问题在于你需要选择仅2个特征来创建二维决策表面图。我将提供两个示例。第一个使用iris数据，第二个使用你的数据。
在这两种情况下，我都只选择了2个特征来创建图表。
使用iris数据的示例1：
from sklearn.svm import SVCimport numpy as npimport matplotlib.pyplot as pltfrom sklearn import svm, datasetsiris = datasets.load_iris()X = iris.data[:, :2] # 我们只选择前两个特征。y = iris.targetdef make_meshgrid(x, y, h=.02): x_min, x_max = x.min() - 1, x.max() + 1 y_min, y_max = y.min() - 1, y.max() + 1 xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h)) return xx, yydef plot_contours(ax, clf, xx, yy, **params): Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) out = ax.contourf(xx, yy, Z, **params) return outmodel = svm.SVC(kernel='linear')clf = model.fit(X, y)fig, ax = plt.subplots()# 图表标题title = ('线性SVC的决策表面')# 设置绘图网格X0, X1 = X[:, 0], X[:, 1]xx, yy = make_meshgrid(X0, X1)plot_contours(ax, clf, xx, yy, cmap=plt.cm.coolwarm, alpha=0.8)ax.scatter(X0, X1, c=y, cmap=plt.cm.coolwarm, s=20, edgecolors='k')ax.set_ylabel('此处填写y轴标签')ax.set_xlabel('此处填写x轴标签')ax.set_xticks(())ax.set_yticks(())ax.set_title(title)ax.legend()plt.show()结果
使用你的数据的示例2：
from sklearn.svm import SVCimport numpy as npimport matplotlib.pyplot as pltfrom sklearn import svm, datasetsfrom sklearn.datasets import fetch_20newsgroupsfrom sklearn.feature_extraction.text import CountVectorizer, TfidfTransformerfrom sklearn.decomposition import PCAfrom sklearn.pipeline import Pipelineimport matplotlib.pyplot as pltnewsgroups_train = fetch_20newsgroups(subset='train', categories=['alt.atheism', 'sci.space'])pipeline = Pipeline([('vect', CountVectorizer()), ('tfidf', TfidfTransformer())]) X = pipeline.fit_transform(newsgroups_train.data).todense()# 仅选择2个特征X = np.array(X)X = X[:, [0,1]]y = newsgroups_train.targetdef make_meshgrid(x, y, h=.02): x_min, x_max = x.min() - 1, x.max() + 1 y_min, y_max = y.min() - 1, y.max() + 1 xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h)) return xx, yydef plot_contours(ax, clf, xx, yy, **params): Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) out = ax.contourf(xx, yy, Z, **params) return outmodel = svm.SVC(kernel='linear')clf = model.fit(X, y)fig, ax = plt.subplots()# 图表标题title = ('线性SVC的决策表面')# 设置绘图网格X0, X1 = X[:, 0], X[:, 1]xx, yy = make_meshgrid(X0, X1)plot_contours(ax, clf, xx, yy, cmap=plt.cm.coolwarm, alpha=0.8)ax.scatter(X0, X1, c=y, cmap=plt.cm.coolwarm, s=20, edgecolors='k')ax.set_ylabel('此处填写y轴标签')ax.set_xlabel('此处填写x轴标签')ax.set_xticks(())ax.set_yticks(())ax.set_title(title)ax.legend()plt.show()结果
重要说明：
在第二种情况下，由于我们随机选择了仅2个特征来创建图表，所以图表的效果不佳。一种使其效果更好的方法如下：你可以使用单变量排名方法（例如ANOVA F值测试）来找出你最初拥有的22464个特征中的最佳前2个特征。然后使用这些前2个特征，你可以创建一个漂亮的分离表面图表。
