我正在尝试理解如何在新的数据集上训练OpenAI的语言模型。这里有谁有这方面的经验吗？我想用一本教科书来训练GPT-2或GPT-3（虽然我没有GPT-3的API访问权限），然后能够与语言模型“讨论”书中的内容。我认为我不需要更改任何超参数，我只是需要在模型中加入更多数据。
这是可能的吗？
非常感谢任何（包括概念性）的帮助！
回答：
目前，GPT-3没有像我们对GPT-2或GPT-Neo / Neo-X那样进行微调的途径。这是因为该模型被保存在他们的服务器上，必须通过API请求进行操作。Hackernews上的一篇帖子提到，GPT-3的微调正在计划中或正在建设中。
尽管如此，OpenAI的GPT-3提供了答案API，你可以向其提供上下文文档（最多200个文件/1GB）。然后可以使用该API与其进行讨论。
编辑：OpenAI最近推出了微调测试版。https://beta.openai.com/docs/guides/fine-tuning因此，按照链接中的描述进行操作将是回答此问题的更好方式。
