假设我有两组不同的特征A和B。我试图确定哪组特征是最好的。由于我的数据集较小，我使用留一法交叉验证作为最终的度量标准。我正在考虑我的实验设置，并在几种方法之间进行选择：
1) 将特征集A提供给我的分类器（可选地进行特征选择），然后将特征集B提供给同一个分类器（也可选地进行特征选择），然后比较这两个分类器之间的留一法交叉验证误差？
2) 将特征集A和B都提供给分类器，然后肯定会进行特征选择，然后根据所选特征得出更高层次的结论。（例如，如果选择了更多来自A的特征，则说明特征集A似乎具有更高的预后价值）
3) 其他我不知道的方法
回答：
你描述的标准程序与方法1非常相似：
- 在特征集
A和B上分别训练两个相同的分类器实例。 - 使用某种形式的交叉验证来评估每个分类器，例如10折交叉验证，或者像你使用的那样留一法交叉验证。
不过，如果你不严格限制于特征集A xor B，那么你可能会通过类似于你在2中描述的方法来推导出一个新的集合C，从而获得更好的结果。
使用留一法交叉验证的结果难以信任，可能使用10折交叉验证会更好。这可能是那些如果能获得更多数据会大有帮助的情况，如果不能，你可能无法进行你的分析。
