如何使用交叉验证(Kfold)在sklearn中预测标签

我想比较同一分类器的预测结果。作为一个例子,我选择了线性判别分析分类器。

因此,我查看了sklearn的文档。我找到了这两个网站:链接1链接2

我想将它们结合起来:使用交叉验证(例如Kfold)来预测标签。

然而,我无法使我的代码正常工作。

from sklearn.model_selection import cross_val_predict, KFoldfrom sklearn.model_selection import train_test_splitfrom sklearn.discriminant_analysis import LinearDiscriminantAnalysisX = np.array([[1, 2], [2, 4], [3, 2], [4, 4], [5, 2], [6, 4], [7, 2], [8, 4]])Y = np.array([1, 2, 3, 4, 5, 6, 7, 8])Xtrain,Xtest,Ytrain,Ytest = train_test_split(X,Y,train_size=0.5,random_state=1)clf = LinearDiscriminantAnalysis()clf.fit(Xtrain, Ytrain)LinearDiscriminantAnalysis(n_components=None, priors=None, shrinkage='auto', solver='lsqr', store_covariance=False, tol=0.001)# 没有交叉验证prediction = clf.predict(Xtest)# 使用交叉验证cv = KFold(n_splits=2)prediction_cv = cross_val_predict(clf, X, Y, cv=cv)

希望有人能帮助我。

编辑:

我想我需要做更多的解释。目前,我有232个数据点(X)。每个点包含16个值,并被分配到一个特定的类别中。我希望通过使用交叉验证,如Kfold或留一法,来改进预测结果(即减少对未见数据点的分类错误)。

通过行cross_val_predict(clf, X, Y, cv=cv),Python执行了Kfold交叉验证。

现在,假设我得到了新的数据点(X_new)。我该如何对它们进行分类?


回答:

我猜你在运行代码时会得到一个类似于这样的Traceback:

    376         # avoid division by zero in normalization    377         std[std == 0] = 1.--> 378         fac = 1. / (n_samples - n_classes)    379     380         # 2) Within variance scalingZeroDivisionError: float division by zero

当我运行你的代码时,我得到了这个错误。发生这种情况的原因是你每个类别只有1个数据点,因此n_samples - n_classes会等于零。

你可以通过增加更多的样本或减少类别的数量来解决这个问题:

import numpy as npfrom sklearn.model_selection import cross_val_predict, KFoldfrom sklearn.model_selection import train_test_splitfrom sklearn.discriminant_analysis import LinearDiscriminantAnalysisX = np.array([[1, 2], [2, 4], [3, 2], [4, 4], [5, 2], [6, 4], [7, 2], [8, 4], [1, 2], [2, 4], [3, 2], [4, 4], [5, 2], [6, 4], [7, 2], [8, 4]])Y = np.array([1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6, 7, 7, 8, 8])Xtrain,Xtest,Ytrain,Ytest = train_test_split(X,Y,train_size=0.5,random_state=1)clf = LinearDiscriminantAnalysis()clf.fit(X, Y)# 没有交叉验证prediction = clf.predict(Xtest)# 使用交叉验证cv = KFold(n_splits=2)prediction_cv = cross_val_predict(clf, X, Y, cv=cv)

如果你有其他问题,请更新你的问题。

编辑:

对于你更新的问题,这是重复的问题:使用cross_val_predict对测试数据集进行预测

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注