我正在尝试使用Sci Kit Learn对单字进行一些分析。我创建了svmlight格式的文件，并尝试运行MultinomialNB() KNeighborsClassifier() 和 SVC()。当我第一次尝试使用单字时，我遇到了X训练维度错误，可能是因为在给定的示例中只包含了在训练拟合中出现的单字。我尝试创建svmlight格式的训练文件，这些文件包括语料库中所有见过的单字的占位符，即使这些单字不在给定的示例中。
问题是这使得训练文件从3 MB膨胀到了300 MB。这导致了sklearn加载文件时的内存错误。有没有办法解决维度不匹配或内存溢出的问题。
X_train, y_train= load_svmlight_file(trainFile)x_test, y_test = load_svmlight_file(testFile)try: clf = MultinomialNB() clf.fit(X_train, y_train) preds = clf.predict(x_test) print('Input data: ' + trainFile.split('.')[0]) print('naive_bayes') print('accuracy: ' + str(accuracy_score(y_test, preds))) if 1 in preds: print('precision: ' + str(precision_score(y_test, preds))) print('recall: ' + str(recall_score(y_test, preds)))except Exception as inst: print 'fail in NB ' + 'Input data: ' + trainFile.split('.')[0] print str(inst) pass2828个测试示例和1212个测试示例，包含18000个不同的单字
编辑：我尝试使用sklearn CountVectorizer，但仍然遇到内存问题。这是做这件事的最佳方式吗？
def fileLoadForPipeline(trainSetFile, valSetFile): with open(trainSetFile) as json_file: tdata = json.load(json_file)with open(valSetFile) as json_file: vdata = json.load(json_file)x_train = []x_val = []y_train = []y_val = []for t in tdata: x_train.append(t['request_text']) y_train.append(t['requester_received_pizza'])for v in vdata: x_val.append(t['request_text']) y_val.append(t['requester_received_pizza'])return x_train, y_train, x_val, y_valdef buildPipeline(trainset, valset, norm):x_train, y_train, x_val, y_val = fileLoadForPipeline(trainset, valset)bigram_vectorizer = CountVectorizer(ngram_range=(1, 2), token_pattern=ur'\b\w+\b', min_df=1)xT = bigram_vectorizer.fit_transform(x_train).toarray()xV = bigram_vectorizer.fit_transform(x_val).toarray()if norm: transformer = TfidfTransformer() xT = transformer.fit_transform(xT) xV = transformer.fit_transform(xV)results = []for clf, name in ((Perceptron(n_iter=50), "Perceptron"), (KNeighborsClassifier(n_neighbors=40), "kNN"), (MultinomialNB), (MultinomialNB(alpha=.01),'MultinomialNB'), (BernoulliNB(alpha=.1),'BernoulliNB'),(svm.SVC(class_weight='auto'),'svc')): print 80 * '=' print name results.append(benchmark(clf))回答：
尝试使用scikit-learn的CountVectorizer，它会为你对原始文本进行特征提取。最重要的是，对一组训练示例调用fit_transform方法会自动执行单字的词袋转换，它会跟踪在训练语料库中发现的所有n个独特词，并将每个文档转换为长度为n的数组，其特征可以是离散的词计数或二进制存在特征（取决于binary选项）。CountVectorizer的优点是它以numpy稀疏矩阵格式存储数据，这使得它非常节省内存，应该能够解决你遇到的任何内存问题。
然后你可以对未来的测试示例调用transform，它会像正常一样进行转换。
这也应该有助于解决任何维度问题，因为CountVectorizer的工作是规范化一切。这里有关于使用方法的具体信息：
http://scikit-learn.org/stable/modules/feature_extraction.html#common-vectorizer-usage
这样做的额外好处是，你可以将这个向量化器与分类器结合使用Pipeline，使拟合和测试更加方便。
