我是NLP领域的新手，正在尝试进行文本分类工作。在开始工作之前，我知道我们应该进行词嵌入。我的问题是，词嵌入工作应该只在训练数据上进行（这样测试数据的向量就只从训练数据的预训练向量模型中获取），还是应该同时在训练数据和测试数据上进行？

回答：

这是一个非常重要的问题。在神经网络社区中，人们通常的做法是在训练集中设置一个阈值（例如，频率 <= 2），将低于该阈值的词替换为UNK标记。然后在测试时，如果出现一个词与训练集中的词不匹配，就用UNK的表示来替换它。