我正在以这种方式计算Facebook FastText分类器模型的混淆矩阵：
#!/usr/local/bin/python3import argparseimport numpy as npfrom sklearn.metrics import confusion_matrixdef parse_labels(path): with open(path, 'r') as f: return np.array(list(map(lambda x: int(x[9:]), f.read().split())))if __name__ == "__main__": parser = argparse.ArgumentParser(description='Display confusion matrix.') parser.add_argument('test', help='Path to test labels') parser.add_argument('predict', help='Path to predictions') args = parser.parse_args() test_labels = parse_labels(args.test) pred_labels = parse_labels(args.predict) print(test_labels) print(pred_labels) eq = test_labels == pred_labels print("Accuracy: " + str(eq.sum() / len(test_labels))) print(confusion_matrix(test_labels, pred_labels))我的预测和测试集如下所示：
$ head -n10 /root/pexp __label__spam__label__verified__label__verified__label__spam__label__verified__label__verified__label__verified__label__verified__label__verified__label__verified$ head -n10 /root/dataset_test.csv __label__spam__label__verified__label__verified__label__spam__label__verified__label__verified__label__verified__label__verified__label__verified__label__verified模型的预测是以这种方式在测试集上计算的：
./fasttext predict /root/my_model.bin /root/dataset_test.csv > /root/pexp然后我将计算 FastText 的混淆矩阵：
$ ./confusion.py /root/dataset_test.csv /root/pexp但我遇到了这个错误：
Traceback (most recent call last): File "./confusion.py", line 18, in <module> test_labels = parse_labels(args.test) File "./confusion.py", line 10, in parse_labels return np.array(list(map(lambda x: int(x[9:]), f.read().split()))) File "./confusion.py", line 10, in <lambda> return np.array(list(map(lambda x: int(x[9:]), f.read().split())))ValueError: invalid literal for int() with base 10: 'spam'我按照建议修改了脚本以处理非数字标签：
def parse_labels(path): with open(path, 'r') as f: return np.array(list(map(lambda x: x[9:], f.read().split())))此外，对于 FastText 来说，测试集在某些时候可能会有标准化的标签（没有 __label__ 前缀），所以要转换回带前缀的形式，你可以这样做：
awk 'BEGIN{FS=OFS="\t"}{ $1 = "__label__" tolower($1) }1' /root/dataset_test.csv > /root/dataset_test_norm.csv 关于这一点，请参见这里。
此外，输入测试文件必须仅保留标签列，其它列应被删除：
cut -f 1 -d$'\t' /root/dataset_test_norm.csv > /root/dataset_test_norm_label.csv所以最终我们得到了混淆矩阵：
$ ./confusion.py /root/dataset_test_norm_label.csv /root/pexpAccuracy: 0.998852852227[[9432 21] [ 3 14543]]我的最终解决方案在这里这里。
[更新]
脚本现在运行良好。我已经将混淆矩阵计算脚本直接添加到我的FastText Node.js实现中，FastText.js 这里。
回答：
from sklearn.metrics import confusion_matrix# 对数据进行预测df["predicted"] = df["text"].apply(lambda x: model.predict(x)[0][0])# 创建混淆矩阵confusion_matrix(df["labeled"], df["predicted"])## 输出：# array([[5823, 8, 155, 1],# [ 199, 51, 22, 0],# [ 561, 2, 764, 0],# [ 48, 0, 4, 4]], dtype=int64)