我正在尝试将我的文本分类模型保存为一个pickle文件。我有一组特定的预处理步骤，希望将它们保存到最终模型中，以便在预测时应用于未见数据。目前我尝试使用一个包含预处理、应用计数向量化和应用算法的sklearn管道。我的问题是，这种方法是否是将预处理步骤保存到最终模型中的正确方式，还是应该将其保存为一个单独的文件。以下是我的代码

from sklearn import model_selectionX_train, X_test, y_train, y_test = model_selection.train_test_split(df_train.data, df_train.label, test_size=0.2)vect = CountVectorizer(stop_words='english', max_features=10000, , ngram_range=(1,2))X_train_dtm = vect.fit_transform(X_train)X_test_dtm = vect.transform(X_test)from sklearn import metricsfrom sklearn.ensemble import RandomForestClassifierrf_classifier = RandomForestClassifier(n_estimators=100)rf_classifier.fit(X_train_dtm, y_train)rf_predictions = rf_classifier.predict(X_test_dtm)print("RF Accuracy:")metrics.accuracy_score(y_test, rf_predictions)import picklefrom sklearn.pipeline import Pipelinepipe = Pipeline([("prep", prep),("CV", vect), ("RF", rf_classifier)])with open('PII_model.pickle', 'wb') as picklefile:    pickle.dump(pipe, picklefile)

我有一个预处理方法，我会调用它，并将其包含在我的sklearn管道中

prep = prep(df_train)

回答：

一般来说，这是正确的做法。但你可以改进它，从一开始就将所有内容放入管道中：

vect = CountVectorizer(stop_words='english',                        max_features=10000,                        ngram_range=(1,2))rf_classifier = RandomForestClassifier(n_estimators=100)pipe = Pipeline([("prep", prep),("CV", vect), ("RF", rf_classifier)])    pipe.fit(X_train_dtm, y_train)rf_predictions = pipe.predict(X_test_dtm)print("RF Accuracy:")metrics.accuracy_score(y_test, rf_predictions)with open('PII_model.pickle', 'wb') as picklefile:    pickle.dump(pipe, picklefile)

将所有内容放入一个管道的另一个好处是 – 你可以轻松使用GridSearch来调整模型的参数。

在这里你还可以找到关于如何组织混合类型管道的官方文档。