当我在学习TensorFlow教程时，注意到在宽与深教程中使用了一种嵌入技巧，具体如下所示。

该教程展示了如何将稀疏特征（通常是一热编码）转换为嵌入向量。我知道有一些方法可以创建这种嵌入，例如词嵌入、PCA或t-SNE或矩阵分解。但在这个教程中，他们并没有展示如何为稀疏向量创建嵌入。或者说，这个教程只是使用了神经网络来完成嵌入吗？

回答：

如果你了解词嵌入，这种转换应该对你来说并不陌生。从“深度模型：带嵌入的神经网络”部分来看：

嵌入值是随机初始化的，并与所有其他模型参数一起训练以最小化训练损失。

本质上，tf.feature_column.embedding_column(occupation, dimension=8)所做的就是创建一个[N, 8]的矩阵，其中N是occupation值的数量，或者如果你使用了哈希分类列，则是桶的数量。每个输入的occupation值就像一个索引，用来选择一个大小为[8]的嵌入向量。网络的其余部分将使用这个[8]向量，而不需要知道N是什么。这个向量通常被称为密集，以强调它与长度为N的一热编码的区别，后者的多数值为零，而[8]向量的所有值都重要。

嵌入是可训练的，因此在随机初始化后，它们会漂移到一些对网络其余部分有用的值。这与word2vec或其他词嵌入非常相似，并且通常是一种非常有效的表示方式：

通过密集嵌入，深度模型可以更好地泛化，并对训练数据中之前未见过的特征对进行预测。