我已经花了五天时间几乎没怎么睡觉，现在我已经到了崩溃的边缘。事实上，由于缺乏睡眠，我现在感觉很不舒服。

我已经实现了ID3算法处理两个类别，例如是/否，现在我被分配了一个有三种可能结果的数据集。

数据的一个子集示例：

3.4,5.2,1.4,0.2,BarnOwl2.3,4.5,1.3,0.3,BarnOwl3.4,6,4.5,1.6,SnowyOwl2.9,5.7,4.2,1.3,SnowyOwl2.8,6.4,5.6,2.1,LongEaredOwl3.2,6.4,5.3,2.3,LongEaredOwl2.8,6.2,4.8,1.8,LongEaredOwl2.3,5,3.3,1,SnowyOwl

我打乱了数据并取前100个条目作为训练数据，一个示例分布如下：

{'SnowyOwl': 32, 'BarnOwl': 35, 'LongEaredOwl': 33}

计算结果如下：

Entropy(32SO, 35BO, 33LO) =

= 1.58395

我编写了代码并检查了熵函数，结果没有得到预期范围内的结果

Entropy = [0..1]

而是得到了1.58395

我得到的公式在处理是/否时运作良好（抱歉图片质量不高）

为了确认我的函数计算结果正确，尽管超出了预期范围，我使用了http://www.wolframalpha.com/

请问有人能确认这个公式是正确的吗？如果是，为什么结果会超出我预期的范围？

回答：

一个n值离散随机变量的熵在[0, log2(n)]范围内。这意味着对于三种结果，范围将是[0, \log2(3)] = [0, 1.58496250072]。答案是肯定的，你的熵公式是正确的。

（要理解这一点，请注意当所有结果的概率相同时，熵达到最大值，即1/n。然后-1/n\log2(1/n) - ... -1/n\log2(1/n) = n * 1/n * \log2(n) = log2(n)。另一方面，当一个结果以概率1发生而所有其他结果以概率0发生时，熵将达到最小值：1*log2(1) - 0*log2(0) - ... - 0*log2(0) = 0。这就是为什么范围是[0, log2(n)]。我省略了熵在这些两点达到最大值和最小值的证明。请注意，我设定了0*log2(0):=0，因为log2(0)不存在。在实践中，通常确保求和只在p*log2(p)项上进行，其中p>0。）