我的全卷积网络（FCN）被训练用于检测10个不同的类别，并输出一个500x500x10的矩阵，其中最后的维度表示不同类别的预测概率。
通常，我看到的做法是使用统一的阈值，例如0.5，来将概率矩阵二值化。然而，在我的情况下，这种方法并不完全适用，因为某些类别的IoU在阈值为0.3时会增加，而其他类别则在0.8时效果更好。
因此，我不需要为每个类别任意选择阈值，而是希望采用更具概率性的方法来确定阈值。我考虑过使用条件随机场（CRFs），但这也需要先进行阈值处理。你们有什么建议吗？
举个例子：假设有一张森林的图片，里面有5种不同的鸟。我试图输出一个图像，将森林和这五只鸟进行分割，共6个类别，每个类别有单独的标签。网络输出6个混淆矩阵，表示每个像素属于特定类别的置信度。现在，像素的正确答案并不总是置信度最高的类别。因此，一刀切的方法或最大值方法并不适用。
回答：
CRF后处理方法
使用CRF时，你不需要设置阈值。我对Python中用于CRF的库不太熟悉，但原则上，你需要定义的是：
- 每个节点（像素）的10个类别的概率分布，这只是你的网络的输出。
- 成对势能：10*10的矩阵，其中元素Aij表示一个像素属于类别i，另一个像素属于类别j的配置的“强度”。如果你将对角线上的势能设为一个值alpha（alpha >> 1），其他位置设为1，那么alpha就是正则化力，它能使预测保持一致性（如果像素X属于类别Y，那么X的邻居像素更可能属于相同的类别）。
这只是定义CRF的一种示例。
端到端神经网络方法
在你的网络中添加一个损失函数，该函数会惩罚那些与邻居类别不同的像素。请注意，你仍然需要调整新正则化损失的权重参数。
