我在Kaggle上找到了这个数据集，包含了2013年9月欧洲信用卡持卡人在两天内的交易记录。该数据集高度不平衡，欺诈交易仅占所有交易的0.172%。
我想在这个数据集上实现一个（高斯）朴素贝叶斯分类器来识别欺诈交易。
我已经完成了以下步骤：
-
将数据加载到数据框中
-
将数据分割成X和y
-
标准化数据
-
使用ADASYN处理不平衡数据集
-
构建高斯朴素贝叶斯模型
现在，我想要评估这些模型：
from sklearn import metricsmetrics.accuracy_score(y_test, y_pred_class)# 输出: 0.95973427712704695metrics.confusion_matrix(y_test, y_pred_class)# 输出: # array([[68219, 2855],# [ 12, 116]], dtype=int64)from sklearn.metrics import classification_reportprint(classification_report(y_test, y_pred_class, digits=4))# 输出:# precision recall f1-score support## 0 0.9998 0.9598 0.9794 71074# 1 0.0390 0.9062 0.0749 128# micro avg 0.9597 0.9597 0.9597 71202# macro avg 0.5194 0.9330 0.5271 71202#weighted avg 0.9981 0.9597 0.9778 71202然而，数据集中提到：
“鉴于类别不平衡的比例，我们建议使用精确召回曲线下的面积（AUPRC）来衡量准确性。混淆矩阵的准确性对于不平衡分类来说没有意义。”
那么，这是否意味着即使我已经使用ADASYN并对数据进行了过采样，我也应该用AUPRC来衡量准确性呢？
我尝试计算ROC_AUC的准确性（这是不是与AUPRC相同？）但收到了错误：
y_pred_prob = gaussian.predict_proba(X_test)metrics.roc_auc_score(y_test, y_pred_prob)ValueError: 错误的输入形状 (71202, 2)
我应该如何正确计算这个准确性呢？
谢谢！
回答：
你需要为每条记录提供第二类的概率。试试这个！
y_pred_prob = np.array(gaussian.predict_proba(X_test))metrics.roc_auc_score(y_test, y_pred_prob[:,1])