我在Rapidminer中处理文本分类。我有独立的测试和训练数据集。我使用n折交叉验证对数据集应用了信息增益,但我不清楚如何将其应用于独立的测试集?下方附有图片
在图中,我将第一个“从文件处理文档”的词列表输出连接到了第二个“从文件处理文档”,后者用于测试,但我希望将减少的特征应用到第二个“从文件处理文档”,这可能应该是“按权重选择”(减少维度)操作符返回的结果,但它返回的是权重,我无法将其提供给第二个“从文件处理文档”。我搜索了很多,但没有找到任何能满足我需求的方法?
Rapidminer真的可以有独立的测试/训练数据集并应用特征选择吗?
有没有什么方法可以将这些权重转换成词列表?请不要说写入存储库(我不能这样做)?
在这种情况下,当我有不同的测试/训练数据集并需要应用特征选择时,我如何确保测试/训练数据集具有相同的维度向量?
我真的被困住了,请帮助我…
回答:
在下方的Process Documents
操作符之后,立即插入一个新的Select By Weight
操作符,在Apply Model
之前。使用Multiply
操作符复制Weight By Information Gain
操作符的权重,并将其连接到新的Select By Weight
操作符的输入端。