我有一个包含大约30个特征的数据集，我想找出哪些特征对结果贡献最大。我有5种算法：

1. 神经网络
2. 逻辑回归
3. 朴素贝叶斯
4. 随机森林
5. Adaboost

我读了很多关于信息增益技术的内容，似乎它与所使用的机器学习算法无关。它像是一种预处理技术。

我的问题是，是否最佳做法是为每个算法独立进行特征重要性分析，还是只使用信息增益？如果是的话，每个算法使用的技术是什么？

回答：

首先，必须强调的是，特征选择必须仅基于训练数据进行，即使它是一个独立的算法。在测试时，您将从测试数据集中选择相同的特征。

想到的一些方法包括：

1. 基于互信息的特征选择（例如这里），与分类器无关。
2. 向后或向前选择（见stackexchange问题），适用于任何分类器，但可能成本较高，因为您需要训练/测试许多模型。
3. 作为分类器优化的一部分的正则化技术，例如Lasso或弹性网。后者在高共线性数据集中可能表现更好。
4. 主成分分析或任何其他将特征分组的降维技术（示例）。
5. 一些模型计算潜在变量，您可以使用这些变量来解释，而不是使用原始特征（例如偏最小二乘或典型相关分析）。

特定的分类器可以通过提供有关特征/预测变量的额外信息来帮助解释性，以下是一些例子：

• 逻辑回归：您可以为每个特征获得一个p值。在您的解释中，您可以关注那些“显著”的特征（例如p值<0.05）。（对于两类线性判别分析也是如此）
• 随机森林：可以返回一个变量重要性指数，该指数对变量从最重要到最不重要进行排序。

我有一个包含大约30个特征的数据集，我想找出哪些特征对结果贡献最大。

这将取决于算法。如果您有5种算法，您可能会得到5个略有不同的答案，除非您在分类之前进行特征选择（例如使用互信息）。一个原因是随机森林和神经网络会捕捉到非线性关系，而逻辑回归则不会。此外，朴素贝叶斯对交互作用是盲目的。因此，除非您的研究明确针对这5个模型，否则我建议选择一个模型并继续使用它。