我有一个庞大的数据集要处理，数据集几乎包含120万行，我的目标类别大约有20000个标签。
我在数据上进行文本分类，所以我首先对数据进行了清理，然后对其进行了tfidf向量化处理。
问题在于每当我尝试选择一个模型并拟合数据时，它都会给我一个内存错误。
我当前的电脑是Core i7，配备16GB的内存
vectorizer = feature_extraction.text.TfidfVectorizer(ngram_range=(1, 1), analyzer='word', stop_words= fr_stopwords)datavec = vectorizer.fit_transform(data.values.astype('U'))X_train, X_test, y_train, y_test = train_test_split(datavec,target,test_size=0.2,random_state=0)print(type(X_train))print(X_train.shape)输出: class ‘scipy.sparse.csr.csr_matrix'(963993, 125441)
clf.fit(X_train, y_train)内存错误就发生在这里
我尝试过以下方法：1 – 抽取数据样本，但错误依然存在。
2 – 尝试拟合多种不同的模型，但只有KNN模型能工作（但准确率很低）
3 – 将datavec转换为数组，但这个过程也导致了内存错误
4 – 在不同的模型上使用多处理
5 – 我已经查阅了Stack Overflow上所有类似的提问，但要么答案不清楚，要么与我的问题不完全相关
这是我代码的一部分：
vectorizer = feature_extraction.text.TfidfVectorizer(ngram_range=(1, 1), analyzer='word', stop_words= fr_stopwords) df = pd.read_csv("C:\\Users\\user\\Desktop\\CLEAN_ALL_DATA.csv", encoding='latin-1')classes = np.unique(df['BENEFITITEMCODEID'].str[1:])vec = vectorizer.fit(df['NEWSERVICEITEMNAME'].values.astype('U'))del dfclf = [KNeighborsClassifier(n_neighbors=5), MultinomialNB(), LogisticRegression(solver='lbfgs', multi_class='multinomial'), SGDClassifier(loss="log", n_jobs=-1), DecisionTreeClassifier(max_depth=5), RandomForestClassifier(n_jobs=-1), LinearDiscriminantAnalysis(), LinearSVC(multi_class='crammer_singer'), NearestCentroid(), ]data = pd.Series([])for chunk in pd.read_csv(datafile, chunksize=100000): data = chunk['NEWSERVICEITEMNAME'] target = chunk['BENEFITITEMCODEID'].str[1:] datavec = vectorizer.transform(data.values.astype('U')) clf[3].partial_fit(datavec, target,classes = classes) print("**CHUNK DONE**")s = "this is a testing sentence"svec = vectorizer.transform([s])clf[3].predict(svec) --> memory errorclf[3].predict(svec).todense() --> 完成需要很长时间clf[3].predict(svec).toarrray() --> 完成也需要很长时间还有其他我可以尝试的方法吗？
回答：
TfidfVectorizer包含一个名为max_features的参数，它接受一个整数，这个参数可以帮助我们选择我们想要的矩阵中的特征数量，从而让我们对内存问题有一定的控制权
还值得一提的是，max_df和min_df这两个参数也有助于减小我们的矩阵大小
