贾伟汉的《数据挖掘》第二版（属性选择度量 – 第297至300页）解释了如何计算每个属性（年龄、收入、信用评级）和类别（购买计算机是或否）所获得的信息增益。在这个例子中，每个属性的值都是离散的，例如，年龄可以是青年/中年/老年，收入可以是高/低/中，信用评级可以是良好/优秀等。

我想知道如何将相同的信息增益应用于非离散数据的属性。例如，收入属性可以是任何货币金额，如100.68、120.90等。如果有1000名学生，可能有1000个不同的金额值。

我们如何将相同的信息增益应用于非离散数据？任何教程/示例/视频链接都将非常有帮助。

回答：

当你的目标变量是离散的（分类变量）时，你只需计算你所考虑的左右分支中类别经验分布的熵，并将其加权平均值与未分支时的熵进行比较。

对于像收入这样的连续目标变量，其定义类似于微分熵。为了你的目的，你可以假设你集合中的值服从正态分布，并相应地计算微分熵。来自维基百科的说明：

这只是值的方差的一个函数。请注意，这是以nats而不是bits来衡量的熵。要与上面的香农熵进行比较，你需要进行转换，这只是一个乘法操作。