我想使用sklearn评估多个机器学习算法的几个指标（准确率、召回率、精确率以及可能更多的指标）。
根据我从这里的文档和源代码（我使用的是sklearn 0.17）中了解到的，cross_val_score函数每次执行只能接收一个评分器。因此，要计算多个评分，我必须：
- 多次执行
-
实现我自己的（耗时且容易出错的）评分器
我已经使用以下代码多次执行了：
from sklearn.svm import SVCfrom sklearn.naive_bayes import GaussianNBfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.cross_validation import cross_val_scoreimport timefrom sklearn.datasets import load_irisiris = load_iris()models = [GaussianNB(), DecisionTreeClassifier(), SVC()]names = ["Naive Bayes", "Decision Tree", "SVM"]for model, name in zip(models, names): print name start = time.time() for score in ["accuracy", "precision", "recall"]: print score, print " : ", print cross_val_score(model, iris.data, iris.target,scoring=score, cv=10).mean() print time.time() - start
我得到了以下输出：
Naive Bayesaccuracy : 0.953333333333precision : 0.962698412698recall : 0.9533333333330.0383198261261Decision Treeaccuracy : 0.953333333333precision : 0.958888888889recall : 0.9533333333330.0494720935822SVMaccuracy : 0.98precision : 0.983333333333recall : 0.980.063080072403结果是可以接受的，但对于我自己的数据来说速度太慢了。我如何才能测量所有评分？
回答：
自从我写这篇文章以来，scikit-learn已经更新，我的答案已经过时，请看下面更简洁的解决方案
你可以编写自己的评分函数来捕获所有三种信息，但是在scikit-learn中，交叉验证的评分函数只能返回一个数字（这可能是为了兼容性原因）。下面是一个例子，其中每个交叉验证片段的每个评分都会打印到控制台上，返回的值只是三个指标的总和。如果你想返回所有这些值，你将不得不对cross_val_score（cross_validation.py的第1351行）和_score（同一文件的第1601行）进行一些修改。
from sklearn.svm import SVCfrom sklearn.naive_bayes import GaussianNBfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.cross_validation import cross_val_scoreimport timefrom sklearn.datasets import load_irisfrom sklearn.metrics import accuracy_score, precision_score, recall_scoreiris = load_iris()models = [GaussianNB(), DecisionTreeClassifier(), SVC()]names = ["Naive Bayes", "Decision Tree", "SVM"]def getScores(estimator, x, y): yPred = estimator.predict(x) return (accuracy_score(y, yPred), precision_score(y, yPred, pos_label=3, average='macro'), recall_score(y, yPred, pos_label=3, average='macro'))def my_scorer(estimator, x, y): a, p, r = getScores(estimator, x, y) print a, p, r return a+p+rfor model, name in zip(models, names): print name start = time.time() m = cross_val_score(model, iris.data, iris.target,scoring=my_scorer, cv=10).mean() print '\nSum:',m, '\n\n' print 'time', time.time() - start, '\n\n'这会得到以下结果：
Naive Bayes0.933333333333 0.944444444444 0.9333333333330.933333333333 0.944444444444 0.9333333333331.0 1.0 1.00.933333333333 0.944444444444 0.9333333333330.933333333333 0.944444444444 0.9333333333330.933333333333 0.944444444444 0.9333333333330.866666666667 0.904761904762 0.8666666666671.0 1.0 1.01.0 1.0 1.01.0 1.0 1.0Sum: 2.86936507937 time 0.0249638557434 Decision Tree1.0 1.0 1.00.933333333333 0.944444444444 0.9333333333331.0 1.0 1.00.933333333333 0.944444444444 0.9333333333330.933333333333 0.944444444444 0.9333333333330.866666666667 0.866666666667 0.8666666666670.933333333333 0.944444444444 0.9333333333330.933333333333 0.944444444444 0.9333333333331.0 1.0 1.01.0 1.0 1.0Sum: 2.86555555556 time 0.0237860679626 SVM1.0 1.0 1.00.933333333333 0.944444444444 0.9333333333331.0 1.0 1.01.0 1.0 1.01.0 1.0 1.00.933333333333 0.944444444444 0.9333333333330.933333333333 0.944444444444 0.9333333333331.0 1.0 1.01.0 1.0 1.01.0 1.0 1.0Sum: 2.94333333333 time 0.043044090271 从scikit-learn 0.19.0开始，解决方案变得更加简单
from sklearn.model_selection import cross_validatefrom sklearn.datasets import load_irisfrom sklearn.svm import SVCiris = load_iris()clf = SVC()scoring = {'acc': 'accuracy', 'prec_macro': 'precision_macro', 'rec_micro': 'recall_macro'}scores = cross_validate(clf, iris.data, iris.target, scoring=scoring, cv=5, return_train_score=True)print(scores.keys())print(scores['test_acc']) 这会得到以下结果：
['test_acc', 'score_time', 'train_acc', 'fit_time', 'test_rec_micro', 'train_rec_micro', 'train_prec_macro', 'test_prec_macro'][ 0.96666667 1. 0.96666667 0.96666667 1. ]