我想用fasttext训练我自己的词嵌入。然而，按照教程操作后，我无法正确完成。目前我尝试了以下方法：

输入：

from gensim.models.fasttext import FastText as FT_gensim# Set file names for train and test datacorpus = df['sentences'].values.tolist()model_gensim = FT_gensim(size=100)# build the vocabularymodel_gensim.build_vocab(sentences=corpus)model_gensim

输出：

<gensim.models.fasttext.FastText at 0x7f6087cc70f0>

输入：

# train the modelmodel_gensim.train(    sentences = corpus,     epochs = model_gensim.epochs,    total_examples = model_gensim.corpus_count,     total_words = model_gensim.corpus_total_words)print(model_gensim)

输出：

FastText(vocab=107, size=100, alpha=0.025)

然而，当我尝试查看词汇表中的词时：

print('return' in model_gensim.wv.vocab)

我得到False，即使这个词确实出现在我传递给fasttext模型的句子中。此外，当我检查与“return”最相似的词时，我得到的是字符：

model_gensim.most_similar("return")[('R', 0.15871645510196686), ('2', 0.08545402437448502), ('i', 0.08142799884080887), ('b', 0.07969795912504196), ('a', 0.05666942521929741), ('w', 0.03705815598368645), ('c', 0.032348938286304474), ('y', 0.0319858118891716), ('o', 0.027745068073272705), ('p', 0.026891689747571945)]

使用gensim的fasttext包装器的正确方法是什么？

回答：

gensim的FastText类不接受纯字符串作为其训练文本。相反，它期望接收词列表。如果你传递纯字符串，它们将被视为单个字符的列表，你将得到你看到的那种受限的词汇表。

将你的corpus中的每一项分词成词标记列表，你将得到更接近预期的结果。一种非常简单的方法可能是：

corpus = [s.split() for s in corpus]

但是，通常你还希望对纯文本进行其他处理来正确分词——比如将大小写统一，或者对标点符号进行其他处理等。