我正在通过这个教程学习如何使用Elmo嵌入：
https://github.com/allenai/allennlp/blob/master/tutorials/how_to/elmo.md
我特别尝试使用如下所述的交互模式：
$ ipython> from allennlp.commands.elmo import ElmoEmbedder> elmo = ElmoEmbedder()> tokens = ["I", "ate", "an", "apple", "for", "breakfast"]> vectors = elmo.embed_sentence(tokens)> assert(len(vectors) == 3) # 确保ELMo输出的每一层有一个> assert(len(vectors[0]) == len(tokens)) # 向量元素与输入的标记对应> import scipy> vectors2 = elmo.embed_sentence(["I", "ate", "a", "carrot", "for", "breakfast"])> scipy.spatial.distance.cosine(vectors[2][3], vectors2[2][3]) # 最后一层中"apple"和"carrot"之间的余弦距离0.18020617961883545我的总体问题是如何确保使用原始5.5B数据集上的预训练Elmo模型（在这里描述：https://allennlp.org/elmo）？
我不太明白为什么我们必须调用”assert”，或者为什么我们对向量输出使用[2][3]索引。
我的最终目的是平均所有词嵌入以获得句子嵌入，所以我想确保我做得对！
感谢您的耐心，因为我在这方面还是个新手。
回答：
默认情况下，ElmoEmbedder使用1 Bil Word基准测试上的预训练模型的原始权重和选项。大约8亿个标记。要确保使用最大的模型，请查看ElmoEmbedder类的参数。从这里你可能会发现你可以设置模型的选项和权重：
elmo = ElmoEmbedder( options_file='https://s3-us-west-2.amazonaws.com/allennlp/models/elmo/2x4096_512_2048cnn_2xhighway_5.5B/elmo_2x4096_512_2048cnn_2xhighway_5.5B_options.json', weight_file='https://s3-us-west-2.amazonaws.com/allennlp/models/elmo/2x4096_512_2048cnn_2xhighway_5.5B/elmo_2x4096_512_2048cnn_2xhighway_5.5B_weights.hdf5')我从AllenNLP提供的预训练模型表中获取了这些链接。
assert是一种方便的测试和确保变量特定值的方法。这看起来像是一个很好的资源来阅读更多。例如，第一个assert语句确保嵌入有三个输出矩阵。
基于此，我们使用[i][j]索引是因为模型输出3层矩阵（我们选择第i层），并且每个矩阵有n个标记（我们选择第j个），每个长度为1024。请注意代码如何比较”apple”和”carrot”的相似性，这两个都是第4个标记，索引j=3。从示例文档中，i代表以下之一：
第一层对应于不考虑上下文的标记表示，后面是两个LSTM层。请参阅ELMo论文或EMNLP 2018的后续工作，了解每层捕获的信息类型描述。
论文提供了关于这两个LSTM层的详细信息。
最后，如果你有一组句子，使用ELMO你不需要平均标记向量。该模型是一个字符级LSTM，对标记化的整句工作得很好。使用为处理句子集设计的方法之一：embed_sentences()，embed_batch()等。更多信息请查看代码！
