我想比较同一分类器的预测结果。作为一个例子,我选择了线性判别分析分类器。
因此,我查看了sklearn的文档。我找到了这两个网站:链接1链接2
我想将它们结合起来:使用交叉验证(例如Kfold)来预测标签。
然而,我无法使我的代码正常工作。
from sklearn.model_selection import cross_val_predict, KFoldfrom sklearn.model_selection import train_test_splitfrom sklearn.discriminant_analysis import LinearDiscriminantAnalysisX = np.array([[1, 2], [2, 4], [3, 2], [4, 4], [5, 2], [6, 4], [7, 2], [8, 4]])Y = np.array([1, 2, 3, 4, 5, 6, 7, 8])Xtrain,Xtest,Ytrain,Ytest = train_test_split(X,Y,train_size=0.5,random_state=1)clf = LinearDiscriminantAnalysis()clf.fit(Xtrain, Ytrain)LinearDiscriminantAnalysis(n_components=None, priors=None, shrinkage='auto', solver='lsqr', store_covariance=False, tol=0.001)# 没有交叉验证prediction = clf.predict(Xtest)# 使用交叉验证cv = KFold(n_splits=2)prediction_cv = cross_val_predict(clf, X, Y, cv=cv)
希望有人能帮助我。
编辑:
我想我需要做更多的解释。目前,我有232个数据点(X)。每个点包含16个值,并被分配到一个特定的类别中。我希望通过使用交叉验证,如Kfold或留一法,来改进预测结果(即减少对未见数据点的分类错误)。
通过行cross_val_predict(clf, X, Y, cv=cv)
,Python执行了Kfold交叉验证。
现在,假设我得到了新的数据点(X_new
)。我该如何对它们进行分类?
回答:
我猜你在运行代码时会得到一个类似于这样的Traceback:
376 # avoid division by zero in normalization 377 std[std == 0] = 1.--> 378 fac = 1. / (n_samples - n_classes) 379 380 # 2) Within variance scalingZeroDivisionError: float division by zero
当我运行你的代码时,我得到了这个错误。发生这种情况的原因是你每个类别只有1个数据点,因此n_samples - n_classes
会等于零。
你可以通过增加更多的样本或减少类别的数量来解决这个问题:
import numpy as npfrom sklearn.model_selection import cross_val_predict, KFoldfrom sklearn.model_selection import train_test_splitfrom sklearn.discriminant_analysis import LinearDiscriminantAnalysisX = np.array([[1, 2], [2, 4], [3, 2], [4, 4], [5, 2], [6, 4], [7, 2], [8, 4], [1, 2], [2, 4], [3, 2], [4, 4], [5, 2], [6, 4], [7, 2], [8, 4]])Y = np.array([1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6, 7, 7, 8, 8])Xtrain,Xtest,Ytrain,Ytest = train_test_split(X,Y,train_size=0.5,random_state=1)clf = LinearDiscriminantAnalysis()clf.fit(X, Y)# 没有交叉验证prediction = clf.predict(Xtest)# 使用交叉验证cv = KFold(n_splits=2)prediction_cv = cross_val_predict(clf, X, Y, cv=cv)
如果你有其他问题,请更新你的问题。
编辑:
对于你更新的问题,这是重复的问题:使用cross_val_predict对测试数据集进行预测