我正在处理一个形状为1,456,354 X 53的机器学习模型。我想对我的数据集进行特征选择。我知道如何使用以下代码在python中进行特征选择。
from sklearn.feature_selection import RFECV,RFElogreg = LogisticRegression()rfe = RFE(logreg, step=1, n_features_to_select=28)rfe = rfe.fit(df.values,arrythmia.values)features_bool = np.array(rfe.support_)features = np.array(df.columns)result = features[features_bool]print(result)然而，我找不到任何文章展示如何在pyspark中执行递归特征选择。
我尝试在pyspark中导入sklearn库，但它提示我找不到sklearn模块。我在谷歌dataproc集群上运行pyspark。
请问有人能帮我在pyspark中实现这个功能吗？
回答：
我们可以在pyspark中尝试以下特征选择方法
- 卡方选择器
- 随机森林选择器
参考资料：
