我认为文档只解释了如何通过API使用模型,但这并不允许有太多的灵活性和自动化。例如,我不知道如何用HuggingFace的一些流行基准来测试我的模型。
回答:
微调OpenAI模型的一般流程包括创建一个账户,拥有一个有效的API密钥,然后使用CLI工具上传用于微调的数据,如下所述:https://beta.openai.com/docs/guides/fine-tuning
然后,要测试问答基准,如SQuAD,你只需下载数据集,创建一个脚本,该脚本获取问题(见下面的JSON片段),并通过调用API(使用curl)将问题输入到你的模型中,如下所述:https://beta.openai.com/docs/api-reference/making-requests
"question": "诺曼人首次获得独立身份是在哪个世纪?","id": "56ddde6b9a695914005b962c","answers": [ { "text": "10世纪", "answer_start": 671 }, { "text": "10世纪上半叶", "answer_start": 649 }, { "text": "10", "answer_start": 671 }, { "text": "10", "answer_start": 671 }],"is_impossible": false