信息增益 IG(Y|X) = H(Y) - H(Y|X) >= 0，但信息增益率可以小于0吗？
回答：
不可以。
根据维基百科，信息增益率定义为 IGR = IG/IV，其中 IGR 是信息增益率，IG 是信息增益，IV 是信息值（也称为内在值）。
你已经同意 IG >= 0，所以我们只需证明 IV >= 0 即可。
在决策树的背景下，设 Ex 为训练样本集，设 a 为某个特征，设 A 为在 Ex 中随机选择的样本中 a 的值。
那么我们可以说 IV = H(A)，熵的一个特性是非负性，所以我们得到：IV = H(A) >= 0。
或者，我们可以直接从其定义中推导出 IV >= 0（这与证明熵非负的方法非常相似）：
左边的分数中只有集合的大小，因此它是非负的。
右边的分数等于某个集合的大小除以某个超集的大小。因此，这个分数必须是 <= 1。
因此，这个分数的对数必须是 <= 0。
所以整个和是 <= 0，我们有一个负号，因此我们得到 IV >= 0。
注意：可能存在 IGR = 0/0 的情况，因此它是未定义的。这样的例子是当在所有训练样本中 a 的值都相同的时候。
