分类中的互信息与预测准确性、回归中的均方误差（MSE）之间有什么关系？在数据挖掘中，是否有可能在互信息低的情况下获得高准确性/低MSE？

回答：

互信息是针对一对概率分布定义的。关于它与其他量的关系，大部分讨论都取决于您如何计算和表示这些概率分布（例如，离散概率分布与连续概率分布）。

给定一组概率分布，分类准确性与互信息之间的关系已在文献中研究过。简而言之，一种量对另一种量设定了界限，至少对于离散概率分布是这样。

我不知道有任何正式的研究探讨MSE与互信息之间的关系。

尽管如此，如果我有一个具体的数据集，并且两个变量的互信息得分很低，但在回归模型中MSE也非常低，我会仔细检查互信息的计算方法。99次中有100次，这种情况的发生是因为使用了原始的香农熵公式（以及由此扩展的互信息），即使这种方法只适用于离散数据，也被用于连续/浮点数据上。