我们可以微调像BERT、GPT-3这样的语言模型。
我能微调GitHub Copilot模型吗？
我已经查看了https://copilot.github.com/上的例子，但找不到具体的细节。
如果有人已经微调过GitHub Copilot，我会非常感激的。
回答：
似乎没有面向用户的功能可以直接微调Copilot。
以下是为什么目前（2022年第二季度）缺少此功能的两个说明。
Copilot功能页面最初包含以下内容：
GitHub Copilot如何随时间改进？
GitHub Copilot实际上并不会测试它所建议的代码，因此这些代码可能无法编译或运行。GitHub Copilot只能保持非常有限的上下文，因此即使是几百行以上的单个源文件也会被截断，只使用紧接前面的上下文。并且GitHub Copilot可能会建议使用旧的或已弃用的库和语言。你可以在任何地方使用这些代码，但你需要自行承担风险。
实际上，Copilot的完成内容总是针对人类的喜好进行优化，而不一定是编译器的喜好。
这是因为语言模型的训练目标（预测文本中的下一个标记）非常擅长捕捉短期依赖性（这解释了生成片段的人类感觉）。
但它在捕捉生成序列的长期、全局、语义属性（如可编译性）方面存在困难。而且没有简单的方法将可编译性作为训练的信号包括进来。
标准方法——使用RL（以可编译性作为奖励）微调语言模型——臭名昭著地导致灾难性遗忘：完成内容的多样性和准确性降低。
Tomek引用了“基于能量的模型在可编译性约束下的代码生成（pdf）”
我们的解决方案（KL-DPG）将生成序列的可编译率从55%提高到70%。
RL微调可以做得更好，但代价是灾难性遗忘。总的来说，能量基础模型（EBMs）在表达序列级别的奇怪约束方面表现出色，这些约束作为自回归语言模型的归一化先验是非常难表达的。
EBMs提供了一种方法，可以将我们的结构化、符号知识注入到大型语言模型中，而不会破坏它们或牺牲它们的神奇能力。
在可控生成方面的进一步应用空间巨大。
所以并不那么容易。
@在“使用GitHub Copilot进行编码”中解释说
我很好奇GitHub团队是否也会开发一种方法来微调GitHub Copilot以适应特定的用例。
例如，可能会有专门针对fastai、JAX等的GitHub Copilot模型。这些模型将在这些库的源代码和使用这些库的代码库上进行微调。
但确保工具不会提供过时的建议仍然是一个挑战。
我认为，对于一个全新的库，如果没有足够的使用它的代码库来进行训练，是不可能提供建议的。此外，对于像fastai这样的情况，其中有旧的API和新的API，在微调模型时，必须过滤掉使用旧API的代码库。
