序列到序列学习是一种强大的语言翻译机制，尤其是在特定上下文中局部使用时效果显著。

我在这个 pytorch 教程中学习这项任务。

然而，教程没有将数据分为训练和测试集。你可能会认为这不是什么大事，只需将其分开，一部分用于训练，另一部分用于测试。但实际操作并不那么简单。

基本上，教程在处理数据集时会创建已见词汇的索引。这些索引只是简单地存储在字典中。这是在进入编码器RNN之前，只是一个从词汇到数字的简单转换任务。

如果数据被随机分割，会发生的情况是，某个关键词可能不会出现在训练集的句子中，因此可能根本没有索引。如果它在测试时出现，该怎么办？

扩展字典吗？

回答：

序列到序列模型的性能在很大程度上取决于词汇表中唯一词汇的数量。每个唯一词汇都需要在训练集中多次出现，以便模型能够学习其正确用法。出现次数少的词汇无法被模型使用，因为模型无法获取关于这些词汇的足够信息。在实践中，通常会缩小字典的规模，将罕见词汇替换为特殊的“UNK”标记。因此，如果在测试期间出现新词，可以假定它是罕见的（因为它从未出现在训练集中），并将其替换为“UNK”。