集合变换器的优势在于能够处理大小可变的输入。然而，我认为普通的变换器也应该能够做到这一点。这两种模型之间有什么区别，为什么应该选择其中一种而不是另一种呢？

集合变换器不需要位置编码吗？它是否只是更加模块化，更容易选择你想要使用的部分？

供参考，这里是集合变换器的论文和代码

https://arxiv.org/pdf/1810.00825v3.pdf

https://github.com/arrigonialberto86/set_transformer

回答：

变换器是一种处理元素集合的模型。它的传统用途是处理词语序列，这需要为每个元素添加位置嵌入，使模型不再是置换不变的。默认情况下（不添加位置嵌入），变换器是置换不变的。

变换器是一种由N个注意力块和逐元素MLP（通常带有残差连接）组成的模型架构。由于其置换不变的特性，它适用于处理集合。对于序列，唯一的不同之处在于你需要通过在输入的标记中添加位置嵌入来注入元素位置的信息（使其不再置换不变）。所以，是的，你可以（可以说模型是相同的，只是预处理步骤不同）。