我的问题:
我有一个大型的JSON文件数据集。我读取它并存储在trainList
变量中。
接下来,我对其进行预处理,以便能够使用它。
完成这些步骤后,我开始进行分类:
- 我使用
kfold
交叉验证方法来获取平均准确率并训练分类器。 - 我进行预测,并获取该折的准确率和混淆矩阵。
- 之后,我想获取
真阳性(TP)
、真阴性(TN)
、假阳性(FP)
和假阴性(FN)
的值。我将使用这些参数来计算敏感性和特异性。
最后,我将使用这些数据生成HTML,以便展示每个标签的真阳性图表。
代码:
目前我有的变量:
trainList #这是一个包含我数据集所有数据的JSON格式列表labelList #这是一个包含我数据所有标签的列表
方法的大部分内容:
#我将数据从JSON格式转换为数值格式X=vec.fit_transform(trainList)#我对矩阵进行缩放(不知道为什么,但如果不这样做会出错)X=preprocessing.scale(X.toarray())#我生成一个KFold来进行交叉验证kf = KFold(len(X), n_folds=10, indices=True, shuffle=True, random_state=1)#我开始交叉验证for train_indices, test_indices in kf: X_train=[X[ii] for ii in train_indices] X_test=[X[ii] for ii in test_indices] y_train=[listaLabels[ii] for ii in train_indices] y_test=[listaLabels[ii] for ii in test_indices] #我训练分类器 trained=qda.fit(X_train,y_train) #我进行预测 predicted=qda.predict(X_test) #我获取该折的准确率 ac=accuracy_score(predicted,y_test) #我获取混淆矩阵 cm=confusion_matrix(y_test, predicted) #我应该计算TP、TN、FP和FN #我不知道如何继续
回答:
如果你有两个列表,分别包含预测值和实际值;看起来你已经有了,你可以将它们传递给一个函数,该函数将计算TP、FP、TN、FN,类似于这样:
def perf_measure(y_actual, y_hat): TP = 0 FP = 0 TN = 0 FN = 0 for i in range(len(y_hat)): if y_actual[i]==y_hat[i]==1: TP += 1 if y_hat[i]==1 and y_actual[i]!=y_hat[i]: FP += 1 if y_actual[i]==y_hat[i]==0: TN += 1 if y_hat[i]==0 and y_actual[i]!=y_hat[i]: FN += 1 return(TP, FP, TN, FN)
从这里开始,我想你将能够计算出你感兴趣的比率,以及其他性能指标,如特异性和敏感性。