我在阅读一些使用深度学习的自然语言处理论文时，发现微调似乎是一个简单但又令人困惑的概念。之前有人问过相同的问题，但仍然不太清楚。

在像Y. Kim, “Convolutional Neural Networks for Sentence Classification,” 和K. S. Tai, R. Socher, 和 C. D. Manning, “Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks,” 这样的论文中提到的将预训练的词嵌入微调为特定任务的词嵌入，只是简要提及，没有深入细节。

我的问题是：

使用word2vec或Glove生成的词嵌入作为预训练的词向量，被用作解析或情感分析等下游任务的输入特征(X)，这意味着这些输入向量被插入到一个新的神经网络模型中用于某个特定任务，在训练这个新模型时，我们可以得到更新的特定任务的词嵌入。

但据我所知，在训练过程中，反向传播所做的只是更新模型的权重(W)，它不会改变输入特征(X)，那么原始的词嵌入到底是如何被微调的呢？这些微调后的向量又是从哪里来的呢？

回答：

是的，如果你将嵌入向量作为你的输入，你就无法轻易地微调嵌入。然而，所有框架都提供某种形式的EmbeddingLayer，它接受一个整数作为输入，这个整数是词/字符/其他输入标记的类别序号，并执行嵌入查找。这样的嵌入层与输入一个独热编码类的全连接层非常相似，但效率更高，因为它只需要在前向和后向传递时获取/更改矩阵中的一行。更重要的是，它允许学习嵌入的权重。

所以经典的方法是将实际的类别而不是嵌入输入到网络中，并在整个网络前添加一个嵌入层，这个嵌入层用word2vec / glove初始化，并继续学习权重。在开始时将它们冻结几次迭代，直到网络的其余部分开始对它们进行合理的处理，然后再开始微调它们，这可能是合理的做法。