我正在尝试计算在调用OPENAI时使用的代币的价格。我有一个包含纯文本的txt文件,该文件已上传到Qdrant。当我问以下问题时:
迈克尔·乔丹是谁?
并使用get_openai_callback
函数来跟踪代币数量和操作的价格时,输出中的一个关键信息对我来说似乎不合理。
Tokens Used: 85 Prompt Tokens: 68 Completion Tokens: 17Successful Requests: 1Total Cost (USD): $0.00013600000000000003
为什么Prompt Tokens的值与输入值不同?我理解的Prompt Token是输入文本中的代币数量:
query = 'Who is Michael Jordan'encoding = tiktoken.encoding_for_model('gpt-3.5-turbo-instruct')print(f"Tokens: {len(encoding.encode(query))}")4
但响应中的输出显示为68。我考虑过Prompt Tokens可能是基础代币(txt文件)与问题代币的总和,但计算结果不符。
txt文件中的代币数量: 17
txt文件内容: ‘Michael Jeffrey Jordan is an American businessman and former basketball player who played as a shooting guard’
query + file_token: 21 (4+17)
有谁能帮助我理解定价计算吗?
我尝试搜索OPENAI自己的文档、GitHub和其他论坛,但我认为找到相关信息并不容易,或者这些信息并未对公众开放。我想了解是否是我遗漏了什么,或者这是用户无法访问的计算方法。
更新对于其他用户未来的问题:
import langchain langchain.debug = True
运行get_openai_callback()
函数,并查看屏幕上显示的整个日志。“prompts”键的值是一个包含字符串的列表,该字符串是关于如何给出响应的指令。这个提示的代币数量就是在Prompt Tokens中显示的值。
回答:
Prompt Tokens包括你的问题和提供的任何上下文,以及API添加的额外系统消息和格式化内容。而Completion Tokens则是生成的响应中的代币。
在你的例子中:
可见查询:迈克尔·乔丹是谁?(4个代币)文件中的文本:Michael Jeffrey Jordan is an American businessman and former basketball player who played as a shooting guard(17个代币)预期:4+17=21个代币。
然而,你看到的提示代币数量是68,因为API为角色、指令和其他元数据添加了代币。要了解确切的代币数量,你可以记录完整的请求负载或使用OpenAI的代币计数工具。这些额外的上下文解释了为什么提示代币数量高于预期。