背景
我有一些带有样本数据的向量，每个向量都有一个类别名称（地点、颜色、姓名）。
['john','jay','dan','nathan','bob'] -> 'Names'['yellow', 'red','green'] -> 'Colors'['tokyo','bejing','washington','mumbai'] -> 'Places'我的目标是训练一个模型，能够接受新的输入字符串并预测它所属的类别。例如，如果新的输入是“purple”，那么我应该能够预测出正确的类别为‘Colors’。如果新的输入是“Calgary”，它应该预测‘Places’为正确的类别。
方法
我做了一些研究，发现了Word2vec。这个库有一个“similarity”和“mostsimilarity”函数，我可以使用它们。所以我想到了一个蛮力方法如下：
- 接受新的输入。
- 计算它与每个向量中每个词的相似性，并取平均值。
例如，对于输入“pink”，我可以计算它与“names”向量中词的相似性，取平均值，然后对其他两个向量也这样做。相似性平均值最高的向量将是输入所属的正确向量。
问题
鉴于我在NLP和机器学习方面的有限知识，我不确定这是不是最好的方法，因此我在寻求帮助和关于更好解决方案的建议。我对所有建议持开放态度，也请指出我可能犯的任何错误，因为我对机器学习和NLP世界还很陌生。
回答：
如果你正在寻找最简单/最快的解决方案，我建议你使用预训练的词嵌入（Word2Vec或GloVe），并在此基础上构建一个简单的查询系统。这些向量已经在一个巨大的语料库上进行了训练，很可能包含对你的领域数据足够好的近似值。
以下是我的解决方案：
import numpy as np# Category -> wordsdata = { 'Names': ['john','jay','dan','nathan','bob'], 'Colors': ['yellow', 'red','green'], 'Places': ['tokyo','bejing','washington','mumbai'],}# Words -> categorycategories = {word: key for key, words in data.items() for word in words}# Load the whole embedding matrixembeddings_index = {}with open('glove.6B.100d.txt') as f: for line in f: values = line.split() word = values[0] embed = np.array(values[1:], dtype=np.float32) embeddings_index[word] = embedprint('Loaded %s word vectors.' % len(embeddings_index))# Embeddings for available wordsdata_embeddings = {key: value for key, value in embeddings_index.items() if key in categories.keys()}# Processing the querydef process(query): query_embed = embeddings_index[query] scores = {} for word, embed in data_embeddings.items(): category = categories[word] dist = query_embed.dot(embed) dist /= len(data[category]) scores[category] = scores.get(category, 0) + dist return scores# Testingprint(process('pink'))print(process('frank'))print(process('moscow'))为了运行它，你需要从这里下载并解压预训练的GloVe数据（小心，800Mb！）。运行后，它应该会产生类似这样的结果：
{'Colors': 24.655489603678387, 'Names': 5.058711671829224, 'Places': 0.90213905274868011}{'Colors': 6.8597321510314941, 'Names': 15.570847320556641, 'Places': 3.5302454829216003}{'Colors': 8.2919375101725254, 'Names': 4.58830726146698, 'Places': 14.7840416431427}…看起来相当合理。就这样！如果你不需要这么大的模型，你可以根据它们的tf-idf分数来过滤glove中的词。请记住，模型的大小仅取决于你拥有的数据和你可能想要查询的词。
