我使用Sklearn编写了Python代码来对我的数据集进行聚类:
af = AffinityPropagation().fit(X)cluster_centers_indices = af.cluster_centers_indices_labels = af.labels_n_clusters_= len(cluster_centers_indices)
我正在探索使用聚类查询的方法,因此通过以下方式形成初始训练数据集:
td_title =[]td_abstract = []td_y= []for each in centers: td_title.append(title[each]) td_abstract.append(abstract[each]) td_y.append(y[each])
然后我通过以下方式在其上训练我的模型(SVM):
clf = svm.SVC()clf.fit(X, data_y)
我希望编写一个函数,根据给定的中心点、模型、X值和Y值,添加模型最不确定的5个数据点,即最接近超平面的数据点。我该如何做?
回答:
你的过程的前几步对我来说不是完全清楚,但这里有一个关于“选择最接近SVM超平面的5个数据点”的建议。scikit文档将decision_function
定义为样本到分离超平面的距离。该方法返回一个可以使用argsort
排序的数组,以找到“前/后N个样本”。
根据这个基本的scikit示例,定义一个函数closestN
来返回最接近超平面的样本。
import numpy as npdef closestN(X_array, n): # 样本到超平面的距离数组 dists = clf.decision_function(X_array) # 到超平面的绝对距离 absdists = np.abs(dists) return absdists.argsort()[:n]
在scikit示例中添加这两行代码以查看函数的实现:
closest_samples = closestN(X, 5)plt.scatter(X[closest_samples][:, 0], X[closest_samples][:, 1], color='yellow')
原始
高亮显示最接近的样本
如果你需要将这些样本添加到某个列表中,你可以使用somelist.append(closestN(X, 5))
。如果你需要样本值,你可以这样做somelist.append(X[closestN(X, 5)])
。
closestN(X, 5)array([ 1, 20, 14, 31, 24])X[closestN(X, 5)]array([[-1.02126202, 0.2408932 ], [ 0.95144703, 0.57998206], [-0.46722079, -0.53064123], [ 1.18685372, 0.2737174 ], [ 0.38610215, 1.78725972]])