OpenAI 中关于embeddings的教程有很多。我无法理解它们是如何工作的。

参考https://platform.openai.com/docs/guides/embeddings/what-are-embeddings，一个embedding是一个vector或list。将一个字符串传递给embedding模型，模型会返回一个数字（简单来说）。我可以使用这个（这些）数字。

如果我使用一个简单的字符串来获取它的embeddings，我会得到一个巨大的列表

result = get_embedding("I live in space", engine = "textsearchcuriedoc001mc")

打印result时

[5.4967957112239674e-05, -0.01301578339189291, -0.002223075833171606, 0.013594076968729496, -0.027540158480405807, 0.008867159485816956, 0.009403547272086143, -0.010987567715346813, 0.01919262297451496, 0.022209804505109787, -0.01397960539907217, -0.012806257233023643, -0.027908924967050552, 0.013074451126158237, 0.024942029267549515, 0.0200139675289392 , ..... -> 截断了这个长得多的列表 

问题1 – 这个巨大的列表是如何与我的4个单词的文本相关的？

问题2 –

我创建了我想要在查询中使用的文本的embeddings。请注意，它与原始内容的文本I live in space完全相同

queryembedding = get_embedding(        'I live in space',        engine="textsearchcuriequery001mc"    )queryembedding

当我运行cosine similarity时，值是0.42056650555103214。

similarity = cosine_similarity(embeddings_of_i_live,queryembedding)similarity

我得到的值是0.42056650555103214

这个值不应该是1来表示相同的值吗？

回答：

Q1:

这个巨大的列表是如何与我的4个单词的文本相关的？

A1: 假设你想使用OpenAI的text-embedding-ada-002模型。无论你的输入是什么，你总是会得到一个1536维的嵌入向量（即，里面有1536个数字）。你可能熟悉三维空间（即，X, Y, Z）。嗯，这是1536维的空间，很难想象。为什么嵌入向量里正好有1536个数字？因为text-embedding-ada-002模型的输出维度是1536。这是预定义的。

Q2:

我创建了我想要在查询中使用的文本的嵌入。请注意，它与原始内容的文本I live in space完全相同。当我运行余弦相似度时，值是0.42056650555103214。这个值应该是1来表示相同的值吗？

A2: 是的，如果你在两个相同的文本之间计算余弦相似度，值应该是1。请看这里的例子。

关于基于嵌入的语义搜索的例子，请看这个回答。