我使用TF-IDF和非TF-IDF特征运行了一个随机森林算法。
总的来说，特征数量大约为130k（在对TF-IDF特征进行特征选择之后），训练集的观测数量大约为120k。
其中大约有500个是非TF-IDF特征。
问题在于，在同一个测试集上，随机森林的准确性
– 仅使用非TF-IDF特征时为87%
– 使用TF-IDF和非TF-IDF特征时为76%
这种准确性的显著下降引发了我的一些疑问。
我用于训练模型的相关代码片段如下：
drop_columns = ['labels', 'complete_text_1', 'complete_text_2']# Split to predictors and targetsX_train = df.drop(columns=drop_columns).valuesy_train = df['labels'].values# Instantiate, train and transform with tf-idf modelsvectorizer_1 = TfidfVectorizer(analyzer="word", ngram_range=(1,2), vocabulary=tf_idf_feature_names_selected)X_train_tf_idf_1 = vectorizer_1.fit_transform(df['complete_text_1'])vectorizer_2 = TfidfVectorizer(analyzer="word", ngram_range=(1,2), vocabulary=tf_idf_feature_names_selected)X_train_tf_idf_2 = vectorizer_2.fit_transform(df['complete_text_2'])# Covert the general features to sparse arrayX_train = np.array(X_train, dtype=float)X_train = csr_matrix(X_train)# Concatenate the general features and tf-idf features arrayX_train_all = hstack([X_train, X_train_tf_idf_1, X_train_tf_idf_2])# Instantiate and train the modelrf_classifier = RandomForestClassifier(n_estimators=150, random_state=0, class_weight='balanced', n_jobs=os.cpu_count()-1)rf_classifier.fit(X_train_all, y_train)就我个人而言，我在代码中（包括上述片段和其他部分）没有发现任何错误。
我提出的解释准确性下降的假设如下。
- 非TF-IDF特征的数量仅为500个（总共130k个特征中的一部分）
- 这意味着在随机森林的每次分裂中，非TF-IDF特征被选中的机会较小（例如由于
max_features等参数） - 因此，如果非TF-IDF特征确实重要，那么它们未被充分考虑就会造成问题。
与此相关的是，当我检查训练后的随机森林的特征重要性时，我发现非TF-IDF特征的重要性非常低（尽管我不确定特征重要性是否是可靠的指标，特别是包含了TF-IDF特征的情况下）。
你能以不同的方式解释我的分类器准确性下降的原因吗？
无论如何，你有什么建议吗？
结合TF-IDF和非TF-IDF特征的其他一些想法如下。
一种选择是使用两个独立的（随机森林）模型 – 一个用于TF-IDF特征，一个用于非TF-IDF特征。然后通过（加权）投票或元分类来组合这两个模型的结果。
回答：
你认为130K个特征对于随机森林来说太多了，这个观点听起来是对的。你没有提到数据集中有多少样本，这对于选择下一步的可能措施至关重要。以下是我想到的一些建议。
如果数据点的数量足够多，你可能想对TF-IDF特征进行某种转换的训练 – 例如，你可能想将这些TF-IDF特征训练成小维度的嵌入，例如64维空间，然后在其上训练一个小型神经网络（甚至可能是线性模型）。在获得嵌入后，你可以使用它们作为转换来为每个样本生成64个额外的特征，以替换随机森林训练中的TF-IDF特征。或者，你也可以直接用一个这样的神经网络架构替换整个随机森林，例如将TF-IDF特征全部合并到几个神经元中，通过全连接层，然后与其他特征连接（基本上与嵌入类似，但作为神经网络的一部分）。
如果你没有足够的数据来训练大型神经网络，也许可以尝试用GBDT集成代替随机森林。它应该比随机森林更能有效地挑选出好的特征，因为随机森林很可能会受到大量噪声无用特征的影响。你也可以先训练一个粗略的版本，然后基于此进行特征选择（同样，我认为它应该比随机森林做得更合理）。
