我正在进行文本分类。我有大约32K（垃圾邮件和正常邮件）的文件。

import numpy as npimport pandas as pdimport sklearn.datasets as datasetfrom sklearn.feature_extraction.text import CountVectorizerfrom sklearn.feature_extraction.text import TfidfTransformerfrom sklearn.naive_bayes import BernoulliNBfrom sklearn.preprocessing import LabelEncoderimport refrom sklearn.feature_selection import SelectKBestfrom sklearn.feature_selection import chi2from sklearn.linear_model import SGDClassifierfrom BeautifulSoup import BeautifulSoupfrom sklearn.feature_extraction import text from sklearn import cross_validationfrom sklearn import svmfrom sklearn.grid_search import GridSearchCVfrom sklearn.feature_selection import VarianceThreshold# Now load files from spam and hamdata = dataset.load_files("/home/voila/Downloads/enron1/")xData = data.datayData = data.targetprint data.target_namescountVector  = CountVectorizer(decode_error='ignore' , stop_words = 'english')countmatrix = countVector.fit_transform(xData)

countermatrix 将是一个矩阵，其中 countermatrix[i][j] 表示单词 j 在文档 i 中的出现次数

现在我想删除所有在超过80%的文档中出现次数 countermatrix[i][j] > 1（意味着单词过于常见）的特征。

我该如何做呢？

谢谢

回答：

试试这个：

goodwords = ((countmatrix > 1).mean(axis=0) <= 0.8).nonzero()[0]

它首先计算一个布尔矩阵，如果 countmatrix > 1 则为 True，并计算其按列的平均值。如果平均值小于0.8（80%），则 nonzero() 返回对应的列索引。

因此，goodwords 将包含所有不算太频繁的单词的索引。现在你可以简单地通过以下方式减少你的矩阵：

countmatrix = countmatrix[:, goodwords]