我有一个假新闻检测问题，通过向量化’tweet’列来预测二进制标签”1″和”0″。我使用了三种不同的模型进行检测，但我希望通过集成方法来提高准确性，但它们使用了不同的向量化器。

我有三个KNN模型，前两个模型使用TF-IDF来向量化’tweet’列。

from sklearn.feature_extraction.text import TfidfVectorizer    vector = TfidfVectorizer(max_features =5000, ngram_range=(1,3))    X_train = vector.fit_transform(X_train['tweet']).toarray()    X_test = vector.fit_transform(X_test['tweet']).toarray()

对于第三个模型，我使用fastText进行句子向量化

%%timesent_vec = []for index, row in X_train.iterrows():    sent_vec.append(avg_feature_vector(row['tweet']))%%timesent_vec1 = []for index, row in X_test.iterrows():    sent_vec1.append(avg_feature_vector(row['tweet']))

经过缩放后…我的第三个模型拟合输入如下

scaler.fit(sent_vec)scaled_X_train= scaler.transform(sent_vec)scaled_X_test= scaler.transform(sent_vec1)...knn_model1.fit(scaled_X_train, y_train)

现在我想像这样结合这三个模型，我希望集成方法能像VotingClassifier一样给我多数票，但我不知道如何处理不同的输入（TF-IDF & fastText），还有其他方法可以做到吗？

回答：

你可以创建一个自定义的MyVotingClassifier，它接受已训练的模型而不是尚未训练的模型实例。在VotingClassifier中，sklearn只接受未训练的分类器作为输入并训练它们，然后对预测结果进行投票。你可以创建类似这样的东西。下面的函数可能不是完全精确的函数，但你可以为你的目的创建一个类似的函数如下所示。

from collections import Counterclf1 = knn_model_1.fit(X1, y)clf2 = knn_model_2.fit(X2, y)clf3 = knn_model_3.fit(X3, y)class MyVotingClassifier:    def __init__(self, **models):        self.models = models        def predict(dict_X):        '''        dict_X = {'knn_model_1': X1, 'knn_model_2': X2, 'knn_model_3': X3}        '''        preds = []        for model_name in dict_X:            model = self.models[model_name]            preds.append(model.predict(dict_X[model_name]))        preds = list(zip(*preds))        final_pred = list(map(lambda x: Counter(x).most_common(1)[0][0]))        return final_predensemble_model = MyVotingClassifier(knn_model_1=clf1, knn_model_2=clf2, knn_model_3=clf3)ensemble_model.predict({'knn_model_1': X1, 'knn_model_2': X2, 'knn_model_3': X3}) # 输入预处理后的`X`s