我正在研究词表示的嵌入。在许多深度神经网络库中，它们都支持嵌入层。这是一个非常好的教程。

词嵌入：编码词义

但我仍然不确定如何计算嵌入值。在下面的例子中，即使在任何训练之前，它也输出了某个值。它是否使用了一些随机权重？我理解Embedding(2, 5)的目的，但不确定其初始计算方法。而且我也不确定如何学习其嵌入的权重。

word_to_ix = {"hello": 0, "world": 1}embeds = nn.Embedding(2, 5)  # 词汇表中有2个词，嵌入维度为5lookup_tensor = torch.LongTensor([word_to_ix["hello"]])hello_embed = embeds(autograd.Variable(lookup_tensor))print(hello_embed)--------Variable containing:-2.9718  1.7070 -0.4305 -2.2820  0.5237[torch.FloatTensor of size 1x5]

为了确保我理解正确，我把我的想法分解开来。首先，上面的Embedding(2, 5)是一个形状为(2, 5)的矩阵。

Embedding(2, 5) =  [[0.1,-0.2,0.3,0.4,0.1], [-0.2,0.1,0.8,0.2,0.3]] # 通过某种函数初始化，例如随机正态分布

然后，hello是[1, 0]。然后hello的表示是通过[1, 0].dot(Embedding(2, 5)) = [0.1,-0.2,0.3,0.4,0.1]计算的。这实际上是嵌入的第一行。我理解得对吗？

更新

我找到了一个使用正态分布来初始化其值的嵌入代码。是的，但这只是默认值，我们可以为嵌入层设置任意权重。https://github.com/chainer/chainer/blob/adba7b846d018b9dc7d19d52147ef53f5e555dc8/chainer/links/connection/embed_id.py#L58

回答：

是的。你从随机权重开始。我认为使用截断正态分布比使用普通正态分布更为常见。但这可能没有太大区别。