能否请有人用简单直观的方式解释一下多任务学习?或许提供一些现实世界的例子会很有帮助。现在我看到很多人将其用于自然语言处理任务。
回答:
假设你已经为几个不同的领域构建了一个情感分类器。比如,电影、音乐DVD和电子产品。这些领域很容易构建高质量的分类器,因为你从亚马逊上抓取了大量的训练数据。除了每个分类器,你还构建了一个相似度检测器,它可以告诉你给定的一段文本与每个分类器训练的数据集有多相似。
现在你想找出某个未知领域或没有足够好数据集进行训练的文本的情感。那么,我们何不采用三种高质量分类器的分类结果,根据相似度加权组合呢?如果我们要对洗碗机的评论进行分类(不幸的是,没有大型的洗碗机评论语料库),它可能与电子产品最相似,因此电子产品分类器将被赋予最大的权重。另一方面,如果我们要对电视节目的评论进行分类,可能电影分类器会做得最好。