我在使用Scikit-learn进行文本分类。我想计算一个（稀疏的）文档-词矩阵中每个属性相对于一个类的信息增益。
- 信息增益定义为
H(Class) - H(Class | Attribute)，其中H是熵。 - 在Weka中，这将使用
InfoGainAttribute来计算。 - 但我在Scikit-learn中没有找到这个度量方法。
（有人建议，上述信息增益的公式与互信息是相同的度量方法。这也符合维基百科中的定义。是否可以使用Scikit-learn中互信息的特定设置来完成这个任务？）
回答：
你可以使用Scikit-learn的mutual_info_classif，这里是一个示例
from sklearn.datasets import fetch_20newsgroupsfrom sklearn.feature_selection import mutual_info_classiffrom sklearn.feature_extraction.text import CountVectorizercategories = ['talk.religion.misc', 'comp.graphics', 'sci.space']newsgroups_train = fetch_20newsgroups(subset='train', categories=categories)X, Y = newsgroups_train.data, newsgroups_train.targetcv = CountVectorizer(max_df=0.95, min_df=2, max_features=10000, stop_words='english')X_vec = cv.fit_transform(X)res = dict(zip(cv.get_feature_names(), mutual_info_classif(X_vec, Y, discrete_features=True) ))print(res)这将输出一个字典，每个属性，即词汇表中的项目作为键，它们的信息增益作为值
这里是输出示例
{'bible': 0.072327479595571439, 'christ': 0.057293733680219089, 'christian': 0.12862867565281702, 'christians': 0.068511328611810071, 'file': 0.048056478042481157, 'god': 0.12252523919766867, 'gov': 0.053547274485785577, 'graphics': 0.13044709565039875, 'jesus': 0.09245436105573257, 'launch': 0.059882179387444862, 'moon': 0.064977781072557236, 'morality': 0.050235104394123153, 'nasa': 0.11146392824624819, 'orbit': 0.087254803670582998, 'people': 0.068118370234354936, 'prb': 0.049176995204404481, 'religion': 0.067695617096125316, 'shuttle': 0.053440976618359261, 'space': 0.20115901737978983, 'thanks': 0.060202010019767334}