为了提高adaboost分类器（用于图像分类）的准确性，我正在使用遗传编程来推导新的统计测量方法。每当生成一个新特征时，我通过训练adaboost分类器并测试其性能来评估其适应性。但我想知道这个过程是否正确；我的意思是使用单一特征来训练学习模型是否合理。

回答：

你可以基于一个特征构建模型。我假设，你所说的“一个特征”是指R中的一个数字（否则，这将是完全“传统”的用法）。然而，这意味着你在构建一个一维空间的分类器，因此，许多分类器将是多余的（因为这是一个非常简单的问题）。更重要的是，检查你是否能使用一个特定维度正确分类对象并不意味着一旦你使用它们的组合，它就是一个好/坏的特征。特别是可能的情况是：

• 许多特征可能“发现”数据中的相同现象，因此——它们各自单独可以产生好的结果，但一旦结合——它们不会比它们各自更好（因为它们只是捕捉了相同的信息）。
• 特征在组合使用之前可能毫无用处。有些现象只能在多维空间中描述，如果你只分析一维数据——你永远不会发现它们的真正价值，作为一个简单的例子，考虑四个点(0,0),(0,1),(1,0),(1,1)，其中(0,0),(1,1)属于一个类，其余属于另一个类。如果你分别查看每个维度——那么可能达到的最高准确率是0.5（因为你总是在相同点——0和1——上有两个不同类的点）。一旦结合——你可以轻松地将它们分开，因为这是一个xor问题。

总结来说——在一维空间中构建分类器是可以的，但是：

• 这样的问题可以不用“重型机械”来解决。
• 结果不应作为特征选择的基础（或者更严格地说——这可能会非常具有欺骗性）。