我想为几个注释者找到注释者间的一致性。每个主题的注释者会标注几个类别（从10个类别中选择）。

例如，有3个注释者，10个类别和100个主题。

我知道http://en.wikipedia.org/wiki/Cohen’s_kappa（适用于两个注释者）和http://en.wikipedia.org/wiki/Fleiss%27_kappa（适用于两个以上注释者）的注释者间一致性方法，但我意识到如果用户为任何主题标注多个类别，这些方法可能不适用。

有谁对在这种情况下确定注释者间一致性有任何想法吗？

谢谢

回答：

几年前我不得不做这个。我记不清具体是如何做的（我没有代码了），但我有一个工作示例要报告给我的教授。我当时处理的是评论的注释，有56个类别和4个注释者。

注意：当时我需要一种方法来检测注释者最不一致的地方，以便在每次注释会议后，他们可以专注于为什么不一致，并制定合理的规则来最大化这一统计数据。这对那个目的很有效。

假设A-D是注释者，1-5是类别。这是一个可能的场景。     A      B      C    D     一致性概率1    X      X      X    X        4/42    X      X      X             3/43    X      X                    2/44    X                           1/45 A将此评论标记为1,2,3,4 B->1,2,3，等等。对于每个类别，计算一致性概率。然后将其除以该特定评论标记的唯一类别的数量。因此，对于示例评论，我们有10/16作为注释者的一致性。这是一个介于0和1之间的值。 

如果这对你不适用，那么可以参考(http://www.mitpressjournals.org/doi/pdf/10.1162/coli.07-034-R2) 第567页，该页被第587页的案例研究引用。