我正在处理一个自然语言处理的序列标注问题。我的数据由变长序列组成，(w_1, w_2, ..., w_k)，并有相应的标签(l_1, l_2, ..., l_k)（在这种情况下，任务是命名实体提取）。

我打算使用循环神经网络来解决这个问题。由于序列长度不一，我需要对它们进行填充（我希望批量大小大于1）。我可以选择前置零填充或后置零填充。也就是说，我可以将每个序列变成(0, 0, ..., w_1, w_2, ..., w_k)或者(w_1, w_2, ..., w_k, 0, 0, ..., 0)，以确保每个序列的长度相同。

选择前置填充还是后置填充如何影响结果？

似乎前置填充更为常见，但我找不到解释说明为什么它会更好。由于RNN的特性，我觉得这似乎是一个任意的选择，因为它们在时间步上共享权重。

回答：

通常在RNN中，我们会使用最终的输出或隐藏状态来进行预测（或执行我们试图完成的任何任务）。

如果我们在获取最终输出之前向RNN发送一连串的0（即您描述的后置填充），那么句子中最后一个词的网络隐藏状态可能会在某种程度上被随后输入的零值“冲刷”掉。

因此，直觉上，这可能是前置填充更为流行/有效的原因。