什么是Tokens、Top K和Top P？

我在学习使用Google AI Studio时，在生成代码片段时遇到了这些术语：

const generationConfig = {  temperature: 1,  topP: 0.95,  topK: 64,  maxOutputTokens: 8192,  responseMimeType: "text/plain",};

我很难理解这些术语的含义。什么是topP、topK和maxOutputTokens？我想了解这些，以便正确使用它们。

回答：

您可以在模型参数文档中找到这些详细信息。

但简而言之：

max output tokens限制了响应的最大长度。您可以直接限制答案的长度（以token为单位）。大致来说，仅供参考，100个token大约相当于60到80个单词。

Gemini是一个生成模型，这意味着从高层次的解释来看，它根据其在特定语言中的语义知识（无论是口语、编程语言等）“创作”（或生成）答案。因此，您可以想象在写句子时有一袋可能的“下一个token”，而top-k和top-p将定制要考虑的可能词汇。

使用top-k，您基本上是限制了可能的token宇宙。如果下一个token可能有200种不同的选择，您就限制在前k个token中。所以top-k = 30意味着模型只考虑可能列表中的前30个token。但在这一步中，下一个token尚未选定。
使用top-p，您将基于累积概率进行限制。意思是：每个token都有一个概率，这个概率与模型之前看到的token后面跟随这个token的频率有关。所以如果您定义top-p = 20，这意味着从您用top-k限制的30个token中，它将生成一个新的列表，其中包含总概率不超过20%的token。例如，如果第一个token的概率为10%，第二个为5%，第三个为4%，第五个为2%——经过top-p分析后的列表将包含第一个、第二个和第三个（10% + 5% + 4%）。在这一步中，下一个token也尚未选定。
最后是temperature参数，它定义了下一个token的选择有多确定性。温度等于0时会选择最确定的选项，即优先级最高的token；温度最大时会选择最随机的下一个token，这意味着即使是概率较低的token也可能被选中。

希望这对您有帮助。

学技术