我正在使用PySpark的ChiSqSelector来选择最重要的特征。代码运行得很好，但是我无法验证我的特征在索引或名称上的具体情况。
所以我的问题是：我如何识别selectedFeatures中的值所指的是什么？
我有以下示例代码，仅使用四个列以便于可视化，但是，我需要对一个包含近100列的DF执行此操作。
df=df.select("IsBeta","AVProductStatesIdentifier","IsProtected","Firewall","HasDetections")from pyspark.ml.feature import VectorAssemblervec_assembler = VectorAssembler(inputCols = ["IsBeta","AVProductStatesIdentifier","IsProtected","Firewall"], outputCol="features")vec_df = vec_assembler.transform(df)selector = ChiSqSelector(featuresCol='features', fpr=0.05, outputCol="selectedFeatures",labelCol= "HasDetections")result = selector.fit(vec_df).transform(vec_df)print(result.show())
然而，当我尝试应用我在这个问题中找到的解决方案时，我仍然无法理解在名称或索引上选定了哪些列。也就是说，哪些特征是被选中的。
model = selector.fit(vec_df)model.selectedFeatures
回答：
首先：请不要使用独热编码特征，ChiSqSelector应直接用于分类（未编码）的列，正如你可以在这里看到的这里。没有独热编码的东西，选择器的使用就非常直接了：
现在让我们看看ChiSqSelector是如何使用的，以及如何按名称查找相关特征。作为使用示例，我将创建一个仅包含2个相关列（AVProductStatesIdentifier和Firewall）的df，另外2个（IsBeta和IsProtected）将是常数：
from pyspark.sql.types import StructType, StructField, IntegerTypefrom pyspark.sql.functions import col, create_map, litfrom itertools import chainimport numpy as npimport pandas as pd#create dfdf_p = pd.DataFrame([np.ones(1000, dtype=int), np.ones(1000, dtype=int), np.random.randint(0,500, 1000, dtype=int), np.random.randint(0,2, 1000, dtype=int) ], index=['IsBeta', 'IsProtected', 'Firewall', 'HasDetections']).Tdf_p['AVProductStatesIdentifier'] = np.random.choice(['a', 'b', 'c'], 1000)schema=StructType([StructField("IsBeta",IntegerType(),True), StructField("AVProductStatesIdentifier",StringType(),True), StructField("IsProtected",IntegerType(),True), StructField("Firewall",IntegerType(),True), StructField("HasDetections",IntegerType(),True), ])df = spark.createDataFrame( df_p[['IsBeta', 'AVProductStatesIdentifier', 'IsProtected', 'Firewall', 'HasDetections']], schema)首先，让我们将列AVProductStatesIdentifier设为分类
mapping = {l.AVProductStatesIdentifier:i for i,l in enumerate(df.select('AVProductStatesIdentifier').distinct().collect())}mapping_expr = create_map([lit(x) for x in chain(*mapping.items())])df = df.withColumn("AVProductStatesIdentifier", mapping_expr.getItem(col("AVProductStatesIdentifier")))现在，让我们组装这些并选择2个最重要的列
from pyspark.ml.feature import VectorAssemblervec_assembler = VectorAssembler(inputCols = ["IsBeta","AVProductStatesIdentifier","IsProtected","Firewall"], outputCol="features")vec_df = vec_assembler.transform(df)selector = ChiSqSelector(numTopFeatures=2,featuresCol='features', fpr=0.05, outputCol="selectedFeatures",labelCol= "HasDetections")model = selector.fit(vec_df)现在执行：
np.array(df.columns)[model.selectedFeatures]结果是
array(['AVProductStatesIdentifier', 'Firewall'], dtype='<U25')这两个非常数列。
