我试图运行一个类似于OpenAI cookbook中示例的多类别分类问题的微调。在使用fine_tunes.prepare_data
准备好训练和验证的jsonl
文件后,当我尝试运行推荐的fine_tunes.create
命令时,我遇到了以下错误:
如果
compute_classification_metrics
为True
,每个类别必须以不同的标记开头。你可以在https://beta.openai.com/tokenizer?view=bpe.查看你的类别标记化。微调失败。如需帮助,请联系OpenAI并提供你的微调ID。
回答:
看起来这个错误是在完成值超过单个标记时出现的。在将完成值更改为数字ID以确保它们是单个标记后,微调运行正常。
我不确定为什么prepare_data
步骤本身没有报告这个错误,因为我使用了OpenAI命令行工具来准备这些数据。