在我的问题中可以观察到N个不同的类别，我的任务是检测在时间t（共T帧）时发生了哪些类别。我创建了大小为NxT的二进制矩阵actualLabels和predictedLabels。我观察了数据并手动填充了actualLabels。如果时间t的实例涉及第n个类别，则actualLabels(n,t)为1，否则为0。这作为我的真实数据。然后，我在数据上运行我的算法并预测观察到的类别。标签是自动找到并存储在predictedLabels中的。

我的问题是，如何使用这些矩阵计算一个成功值？有没有流行的方法来做这件事？

示例案例：假设有4个类别，T=5。假设数据为

actualLabels    = 0 0 0 0 1                  1 1 0 1 0                  0 1 0 0 1                  0 0 0 0 1predictedLabels = 0 0 0 0 1                  0 0 1 1 0                  0 1 0 0 0                  0 1 0 0 0

似乎无法从多类别分配中计算出传统的混淆矩阵。相反，我计算了每对之间的距离。由于我有二进制向量需要比较，汉明距离似乎不错（类似于编辑距离）。现在的问题是我可以报告预测和实际标签向量之间的距离，但不能报告成功百分比。

混淆矩阵传达了很多信息。我希望看到一个类似的表格，帮助我了解错误频繁发生的地方，总体成功率等。

详细信息：我有一些wav数据，我想进行多音高跟踪。在每个时间段内，可以有任意数量的音符一起演奏，形成我要预测的标签。

注意：维基百科上有一些关于多标签分类的指标。我很乐意了解任何其他指标或图表。

回答：

要衡量成功，你需要定义它。选择一个你愿意接受的错误容忍度（可能是零），然后计算有多少预测（汉明距离在该容忍度以下）的百分比来得到你的成功率。

如果你的训练矩阵是稀疏的（大部分是零），这可能是一个误导性的衡量标准，因为一个总是预测零矩阵的模型会表现得很好。在这种情况下，你可能需要考虑精确度和召回率。这些形成了一种自然的权衡，因此通常不可能同时最大化两者。为了将它们结合成一个单一的指标，可以考虑F分数。同样，如果你的训练数据不是稀疏的，那么简单的准确率百分比可能是最好的选择。

最后，如果你测量准确率是为了从几个可能的模型中选择（称为验证），那么要注意不要在这一步中重复使用你的训练数据。相反，将你的数据划分为训练数据和交叉验证数据。问题在于你的模型已经对它们训练过的数据产生了偏见；仅仅因为它们在那些数据上表现良好，并不意味着它们在实际应用中会普遍适用。请参阅交叉验证的维基百科条目以获取更多详细信息。