在分类任务中,我需要进行特征选择。因此,在featSize = 98
个特征(变量)中,我想知道哪些是适用的。对于每一种组合,我通过调整其超参数来训练分类器。我在使用for
循环时遇到了一个问题:
for b = 1:(2^featSize) - 1 % 这是为了选择特征。例如,[1 0 0]在featSize = 3时选择了三个特征中的第一个。
end
Matlab 给出了警告:警告:for循环迭代次数过多。在9223372036854775806次迭代后停止。
我使用for
循环的方式是否过于繁琐?有没有其他替代方法来完成这一步骤?
回答:
为每一种可能的特征组合构建模型是不可行的。从你的for循环中可以看出,你需要构建指数级数量的模型来覆盖每个特征子集。
有许多实用的特征选择方法可以实现。最接近你的方法的是前向选择。许多算法提供了正则化参数(例如LASSO或岭回归)。这里讨论了一些回归的选项 https://stats.stackexchange.com/questions/127444/a-guide-to-regularization-strategies-in-regression
这个演讲涵盖了特征选择问题的多种方法 https://www.youtube.com/watch?v=JsArBz46_3s&index=21&list=PLGVZCDnMOq0ovNxfxOqYcBcQOIny9Zvb-&t=0s