Doc2vec: Gensim doc2vec模型中只有10个文档向量?

我使用gensim训练了一个doc2vec模型,训练数据是标记过的文档(长度>10)。目标是获取所有训练文档的文档向量,但我在model.docvecs中只能找到10个向量。

训练数据的示例(长度>10)

docs = ['This is a sentence', 'This is another sentence', ....]

经过一些预处理

doc_=[d.strip().split(" ") for d in doc]doc_tagged = []for i in range(len(doc_)):  tagd = TaggedDocument(doc_[i],str(i))  doc_tagged.append(tagd)

标记后的文档

TaggedDocument(words=array(['a', 'b', 'c', ..., ],  dtype='<U32'), tags='117')

训练doc2vec模型

model = Doc2Vec(min_count=1, window=10, size=100, sample=1e-4, negative=5, workers=8)model.build_vocab(doc_tagged)model.train(doc_tagged, total_examples= model.corpus_count, epochs= model.iter)

然后我得到了最终的模型

len(model.docvecs)

结果是10…

我尝试了其他数据集(长度>100, 1000),但len(model.docvecs)的结果相同。所以,我的疑问是:如何使用model.docvecs获取所有向量?(不使用model.infer_vectormodel.docvecs是否设计用于提供所有训练文档的向量?


回答:

问题出在这行代码:

tagd = TaggedDocument(doc[i],str(i))

Gensim的TaggedDocument接受一个标签序列作为第二个参数。当你传递一个字符串'123'时,它会被转换成['1', '2', '3'],因为它被视为一个序列。结果,所有文档都被标记为仅10个标签['0', ..., '9'],以各种组合形式出现。

另一个问题是:你定义了doc_但从未实际使用它,所以你的文档也会被错误地分割。

这里是正确的解决方案:

docs = [doc.strip().split(' ') for doc in docs]tagged_docs = [doc2vec.TaggedDocument(doc, [str(i)]) for i, doc in enumerate(docs)]

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注