我对机器学习还比较新手,希望能在以下方面得到一些帮助:
我在我的数据上运行了一个支持向量机分类器(SVC),使用了10折交叉验证,并计算了准确率(大约为89%)。我使用Python和scikit-learn来执行这项任务。以下是代码片段:
def get_scores(features,target,classifier): X_train, X_test, y_train, y_test =train_test_split(features, target , test_size=0.3) scores = cross_val_score( classifier, X_train, y_train, cv=10, scoring='accuracy', n_jobs=-1) return(scores)get_scores(features_from_df,target_from_df,svm.SVC())
现在,如何使用我的分类器(在运行10折交叉验证后)在X_test上进行测试,并将预测结果与y_test进行比较?正如您可能已经注意到的那样,我在交叉验证过程中只使用了X_train和y_train。
我注意到sklearn有cross_val_predict:http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.cross_val_predict.html 我应该用cross_val_predict替换我的cross_val_score吗?仅供参考:我的目标数据列已被二值化(具有0和1的值)。
如果我的方法有误,请建议我采取的最佳方式。
谢谢!
回答:
您已经接近目标了:
# 构建您的分类器classifier = svm.SVC()# 在整个训练数据集上训练它classifier.fit(X_train, y_train)# 在测试集上获取预测y_pred = classifier.predict(X_test)
在这一点上,您可以使用sklearn.metrics
模块中的任何指标来确定您的表现如何。例如:
from sklearn.metrics import accuracy_scoreprint(accuracy_score(y_test, y_pred))