我正在进行一个项目,需要应用主题模型LDA。由于我的文档都很短,我必须使用Labelled LDA。我在这方面的知识不多,我需要做的就是将LLDA应用到我的数据上。
在网上搜索后,我在Stanford TMT上找到了一个LLDA实现。从《训练一个标记的LDA模型》部分我理解的是:在训练之前,我应该对每个输入文档进行标记。我是否误解了什么?
如果我的理解是正确的,这将涉及到大量的文档标记工作。相反,我能否提供一个单独的主题列表,并在没有标签的情况下训练文档?
回答:
你的理解是正确的:在训练之前,你需要对每个输入文档进行标记。
Labelled LDA是一种监督方法,这意味着你需要一个标记的数据集。
如果你“必须使用Labelled LDA”,你就无法避免获取标记数据集的需要。如果TMT中的LabeledLDA
模型需要一个LabeledLDADocumentParams
对象,而要创建它你需要一个标签数组。所以,不可能在没有标签的情况下训练一个标记的LDA模型。