维基百科上的 ID3 算法定义非常复杂。有没有哪个链接可以用更易于理解的方式解释这个概念？

维基百科有很多复杂的理论和公式。我理解了什么是熵，但我不明白什么是增益。 你的基本解释或指向一些好的链接肯定会帮助我。

回答：

我认为维基百科的页面基本上抓住了要点，尽管一些例子会有所帮助。 你可以查看佛罗里达大学的页面和伦敦帝国学院 (ICL)关于该主题的页面。 当涉及到机器学习和数据挖掘等主题时，您应该始终考虑阅读 @ CMU 的 Andrew Moore 的资料，我发现这些资料非常有帮助。

另外，这是我的一点看法：

熵表示消息中包含的信息（不确定性）的期望值。 由于我们在这里考虑决策树，因此增益是我们在属性上拆分时的熵差异（即，原始熵与不同分支的熵的权重平均值之间的差异）。 由于这是不确定性的减少，因此这只是我们通过在该属性上拆分获得的信息。

此外，我们在学习数据挖掘课程时使用了《数据挖掘：基于教程的方法》作为教材，这是一本很好且易于理解的书籍。