我在阅读的论文中对此问题没有太明确的答案。当一个模型在被分割成子词的双语语料库上进行训练时，例如通过字节对编码（Byte-Pair Encoding），标准做法是计算子词输出的BLEU分数，还是在将子词重新组合成完整词后计算BLEU分数？

回答：

BLEU分数总是基于完整的标记计算，否则，不同词分割模型之间的BLEU分数将无法比较。即使是微小的分词差异也可能导致最终分数的巨大变化。这在一篇最近的论文中得到了很好的解释，该论文介绍了SacreBLEU，它现在被用作学术论文中报告BLEU分数的标准工具。

如果在BPE子词而不是词上计算BLEU分数，分数会变得人为地高。即使翻译质量相当低，模型通常不会在正确识别单个词方面遇到问题。通常，这只会包含在一元精度中，但当词被分割成多个子词时，它还会提高二元、三元甚至可能四元的精度。