我正在尝试通过对我的数据集应用特征选择方法来找出最有价值的特征。目前我使用的是SelectKBest函数。我可以生成得分值并按我想要的方式对它们进行排序，但我并不完全理解这个得分值是如何计算的。我知道理论上得分高意味着更有价值，但我需要一个数学公式或一个计算得分的例子来深入学习这一点。

bestfeatures = SelectKBest(score_func=chi2, k=10)fit = bestfeatures.fit(dataValues, dataTargetEncoded)feat_importances = pd.Series(fit.scores_, index=dataValues.columns)topFatures = feat_importances.nlargest(50).copy().index.valuesprint("TOP 50 Features (Best to worst) :\n")print(topFatures)

提前感谢

回答：

假设你有一个特征和一个目标，其可能值有3个

X = np.array([3.4, 3.4, 3. , 2.8, 2.7, 2.9, 3.3, 3. , 3.8, 2.5])y = np.array([0, 0, 0, 1, 1, 1, 2, 2, 2, 2])     X  y0  3.4  01  3.4  02  3.0  03  2.8  14  2.7  15  2.9  16  3.3  27  3.0  28  3.8  29  2.5  2

首先我们对目标进行二值化处理

y = LabelBinarizer().fit_transform(y)     X  y1  y2  y30  3.4   1   0   01  3.4   1   0   02  3.0   1   0   03  2.8   0   1   04  2.7   0   1   05  2.9   0   1   06  3.3   0   0   17  3.0   0   0   18  3.8   0   0   19  2.5   0   0   1

然后在特征和目标之间进行点积运算，即按类别值求和所有特征值

observed = y.T.dot(X) >>> observed array([ 9.8,  8.4, 12.6])

接下来计算特征值的总和并计算类别频率

feature_count = X.sum(axis=0).reshape(1, -1)class_prob = y.mean(axis=0).reshape(1, -1)>>> class_prob, feature_count(array([[0.3, 0.3, 0.4]]), array([[30.8]]))

现在像第一步一样进行点积运算，得到期望和观测矩阵

expected = np.dot(class_prob.T, feature_count)>>> expected array([[ 9.24],[ 9.24],[12.32]])

最后我们计算卡方值：

chi2 = ((observed.reshape(-1,1) - expected) ** 2 / expected).sum(axis=0)>>> chi2 array([0.11666667])

我们已经得到了卡方值，现在我们需要判断它有多极端。为此，我们使用类别数 - 1自由度的卡方分布，计算从卡方值到无穷大的面积，以获得卡方值与我们得到的值相同或更极端的概率。这是一个p值。（使用scipy的卡方生存函数）

p = scipy.special.chdtrc(3 - 1, chi2)>>> parray([0.94333545])

与SelectKBest进行比较：

s = SelectKBest(chi2, k=1)s.fit(X.reshape(-1,1),y)>>> s.scores_, s.pvalues_(array([0.11666667]), [0.943335449873492])