我在阅读著名的论文‘Attention is all you need’。虽然我对大部分主要概念都很清楚，但在几个点上有些困惑
- 编码器如何将使用输入计算出的注意力矩阵传递给解码器？我理解的是它只传递键（Key）与值（Value）矩阵给解码器
- 在测试时，我们从哪里获得解码器的移位输出？
- 由于它一次只能输出一个标记，这个变换器是否需要多次迭代来生成输出序列？如果是，那么如何知道何时停止？
- 在解码器的多头注意力机制中，权重是否经过训练，因为它已经从编码器和掩码多头注意力中获取了Q、K和V？
任何帮助都将不胜感激
回答：
-
编码器传递计算出的’注意力’矩阵。这个注意力矩阵被视为解码器多头注意力模块的’键’与’值’矩阵
-
为什么测试时需要移位输出？实际上不需要，因为在测试时，我们需要从第一个标记开始预测，此时’序列开始’（BOS）标记被视为过去的标记，因此自动左移
-
是的，我们需要反复迭代，一次预测一个标记。如果预测的标记是’序列结束’（EOS），我们就停止
-
这一点不太清楚，但看起来解码器的多头注意力机制似乎没有经过训练
