我在Weka上进行了测试，在使用J48和DecisionStump算法的一些数据集中，它们之间没有太大差异。

当通过准确率（正确百分比）比较时，J48算法与DecisionStump算法之间为何没有统计学上的显著差异？我们可以通过检查算法或数据结构来找到它们之间的关系吗？

回答：

DecisionStump旨在作为其他分类器的基本构建块，但也许你的数据恰好可以用一个简单的分类器来很好地建模，在这种情况下，J48将无法找到更好的巧妙答案。这种情况的退化情况包括：

1) DecisionStump总是产生正确的答案，因为其中一个预测因子实际上完全预测了正确答案。

2) 所有预测因子完全无用，在这种情况下，DecisionStump与其他方法没有区别。

我对此并不感到惊讶，因为我不断看到研究表明，没有一种模型比其他模型显著更好。例如，请参见http://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.48.6753的摘要。通常，逻辑回归是“足够好”的分类器之一。