在使用RNN/GRU/LSTM的机器翻译seq2seq模型中，我们提供源语言的句子，并训练模型将其映射到另一种语言（例如，英语到德语）的一系列单词中。
基本思路是，解码器部分生成一个分类向量（其大小与目标词汇表相同），然后对该向量应用softmax函数并使用argmax获取最可能单词的索引。
我的问题是：考虑到以下因素，目标词汇表的大小是否有上限：
- 性能保持合理（对于更大的向量，softmax将花费更多时间）
- 预测的准确性/正确性可以接受
回答：
词汇表大小的主要技术限制是GPU内存。词嵌入和输出投影是模型中最大的参数。词汇表过大时，你将被迫使用较小的训练批次，这将显著减慢训练速度。
此外，词汇表越大，性能不一定越好。自然语言中的单词分布遵循Zipf定律，这意味着单词的频率随频率排名呈指数下降。随着词汇表大小的增加，你添加的单词在语言中越来越不常见。只有当单词出现在训练数据中时，词嵌入才会更新。对于非常大的词汇表，低频单词的嵌入最终会训练不足，模型也无法正确处理它们。
机器翻译模型通常使用30k到50k个标记的词汇表。不过，这些不是单词，而是所谓的子词。文本使用统计启发式方法进行分割，使得大多数常见单词保持原样，而不常见的单词被分割成子词，最终分割成单个字符。
