我正在尝试计算在调用OPENAI时使用的代币的价格。我有一个包含纯文本的txt文件，该文件已上传到Qdrant。当我问以下问题时：
迈克尔·乔丹是谁？
并使用get_openai_callback函数来跟踪代币数量和操作的价格时，输出中的一个关键信息对我来说似乎不合理。
Tokens Used: 85 Prompt Tokens: 68 Completion Tokens: 17Successful Requests: 1Total Cost (USD): $0.00013600000000000003为什么Prompt Tokens的值与输入值不同？我理解的Prompt Token是输入文本中的代币数量：
query = 'Who is Michael Jordan'encoding = tiktoken.encoding_for_model('gpt-3.5-turbo-instruct')print(f"Tokens: {len(encoding.encode(query))}")4但响应中的输出显示为68。我考虑过Prompt Tokens可能是基础代币（txt文件）与问题代币的总和，但计算结果不符。
txt文件中的代币数量： 17
txt文件内容： ‘Michael Jeffrey Jordan is an American businessman and former basketball player who played as a shooting guard’
query + file_token: 21 (4+17)
有谁能帮助我理解定价计算吗？
我尝试搜索OPENAI自己的文档、GitHub和其他论坛，但我认为找到相关信息并不容易，或者这些信息并未对公众开放。我想了解是否是我遗漏了什么，或者这是用户无法访问的计算方法。
更新对于其他用户未来的问题：
import langchain langchain.debug = True运行get_openai_callback()函数，并查看屏幕上显示的整个日志。“prompts”键的值是一个包含字符串的列表，该字符串是关于如何给出响应的指令。这个提示的代币数量就是在Prompt Tokens中显示的值。
回答：
Prompt Tokens包括你的问题和提供的任何上下文，以及API添加的额外系统消息和格式化内容。而Completion Tokens则是生成的响应中的代币。
在你的例子中：
可见查询：迈克尔·乔丹是谁？（4个代币）文件中的文本：Michael Jeffrey Jordan is an American businessman and former basketball player who played as a shooting guard（17个代币）预期：4+17=21个代币。
然而，你看到的提示代币数量是68，因为API为角色、指令和其他元数据添加了代币。要了解确切的代币数量，你可以记录完整的请求负载或使用OpenAI的代币计数工具。这些额外的上下文解释了为什么提示代币数量高于预期。
