当我在阅读Tomas Mikolov的一篇论文时：http://arxiv.org/pdf/1301.3781.pdf

我对连续词袋模型部分有一个疑问：

提出的第一个架构类似于前馈NNLM，其中移除了非线性隐藏层，并且投影层为所有词共享（不仅仅是投影矩阵）；因此，所有词都被投影到相同的位置（它们的向量被平均）。

我发现有些人提到Word2Vec模型中有隐藏层，但根据我的理解，该模型中只有一个投影层。这个投影层的工作是否与隐藏层相同？

另一个问题是如何将输入数据投影到投影层？

“投影层为所有词共享（不仅仅是投影矩阵）”，这是什么意思？

回答：

从原始论文的第3.1节可以清楚地看出，没有隐藏层：

“提出的第一个架构类似于前馈NNLM，其中移除了非线性隐藏层，并且投影层为所有词共享”。

关于您的第二个问题（共享投影层是什么意思），这意味着您只考虑一个单一的向量，即上下文中所有词向量的中心点。因此，不是将n-1个词向量作为输入，您只考虑一个向量。这就是为什么它被称为连续词袋（因为在大小为n-1的上下文中，词的顺序丢失了）。