我正在使用多类分类器（通过一对多方法的支持向量机）来对数据样本进行分类。假设我目前有n个不同的类别。
然而，在我面临的场景中，一个新的数据样本可能属于之前未见过的新类别n+1。
所以我认为我需要一种在线学习的形式，因为一开始没有一个适合所有后续数据的明确训练集。相反，我需要SVM能够动态适应未来可能出现的新类别。
因此，我想知道是否以及如何可以…
-
识别一个新的数据样本不完全符合现有类别，而是应该创建一个新类别。
-
将这个新类别整合到现有的分类器中。
我隐约想到了一些可能解决这个问题的思路：
-
如果所有二元SVM分类器（因为在OVA情况下我为每个类别都有一个分类器）对新数据样本的预测概率都不高（例如 > 0.5），我可以假设这个新数据样本可能代表一个新类别。
-
我可以为这个新类别训练一个新的二元分类器，并将其添加到多类SVM中。
然而，这些只是我的初步想法。我想知道是否有更“正确”的方法来解决这个问题，例如使用聚类算法来发现所有类别。
或者，也许我试图使用SVM来解决这种问题的方法根本就不合适？
对此的帮助将不胜感激。
回答：
与任何其他机器学习问题一样，如果你没有质量标准，你就失败了。
当人们说“分类”时，他们想到的是监督学习：有一些真实情况可以用来训练和检查你的算法。如果新类别可以出现，这种真实情况就是模糊的。想象一下，一个类别是“马”，你看到了很多马：黑马、棕马，甚至白马。突然你看到了一只斑马。哇！这是新类别还是只是一个不寻常的马？答案将取决于你如何使用你的类别标签。SVM本身无法决定，因为SVM不使用这些标签，它只是产生它们。决定权在于人类（或者一些知道什么是“好”和“坏”的决策算法，也就是说，它有自己的“损失函数”或“效用函数”）。
所以你需要一个监督者。但是你如何协助这个监督者呢？有两个选项浮现在脑海中：
-
异常检测。这可以帮助你早期发现新类别。在你的算法第一次看到斑马后，它可以发出警报：“这里有不寻常的东西！”例如，在sklearn中可以使用从随机森林到单类SVM的各种算法来检测异常观察。然后你的监督者可以查看它们，并决定它们是否值得形成一个全新的类别。
-
聚类。这可以帮助你做出关于分裂类别的决定。例如，在第一次看到斑马后，你决定不值得创建一个新类别。但随着时间的推移，你的算法积累了数十张它们的图像。所以如果你对所有标记为“马”的观察运行聚类算法，你可能会得到两个明显分离的聚类。再次由监督者决定，是否应该将有条纹的马从普通马中分离出来，形成一个新类别。
如果你希望这个决定完全自动化，你可以在聚类内平均距离与聚类间距离的比率足够低时分裂类别。但这只有在你首先有一个好的距离度量时才有效。而什么是“好”再次由你如何使用你的算法以及你的最终目标来定义。
