对于情感分析等任务，尽管只有很小的数据集（5000条评论），我是否应该训练自己的模型，还是应该使用在大得多的数据集上训练但未针对我的数据“专门化”的预训练模型？

另外，我如何在我的数据上训练模型，然后稍后再次使用它？我在考虑一种迭代方法，每个学习周期随机选择我的总数据的一个子集作为训练数据。

回答：

我会这样做：

• 尝试使用预训练模型，看看效果如何
• 如果结果不满意，你可以微调它（参见此教程）。基本上，你是用自己的例子来改变预训练模型的权重。这应该能改善结果，但这取决于你的数据类型以及你能提供多少例子。例子越多，结果应该越好（我建议至少使用10-20k）

另外，我如何在我的数据上训练模型，然后稍后再次使用它？

请注意区分预训练和微调。

预训练需要大量的文本（如数十亿字符），这非常消耗资源，通常你不希望这样做，除非有非常充分的理由（例如，目标语言的模型不存在）。

微调需要的例子要少得多（几万个），通常在一块GPU上不到一天的时间就能完成，并且可以利用其他人创建的预训练模型。

从你写的内容来看，我建议进行微调。

当然，你可以保存模型以备后用，如我在上面链接的教程中所示：

model.save_pretrained("my_imdb_model")