我有一个数据集，包含句子及其对应的多标签（例如，一个句子可以属于多个标签）。通过结合使用卷积神经网络和基于语言模型（Word2Vec）的循环神经网络，我能够获得不错的准确率。然而，它在建模输出方面表现得过于出色，这意味着很多标签可能是不正确的，因此输出也是如此。这意味着即使使用了正则化和 dropout，评估也会给出错误的印象，因为我没有真实标签。清理这些标签的成本将是高昂的。因此，我只能探索某种方式来“去噪”这些标签。我查看了诸如从大量噪声标记数据中学习图像分类这样的文献，但它们假设要学习某种输出上的噪声协方差矩阵，我不确定如何在Keras中实现这一点。

有没有人之前处理过多标签文本分类设置中的噪声标签问题（理想情况下使用Keras或类似工具），并且对如何学习一个对噪声标签鲁棒的模型有好的建议？

回答：

cleanlab Python包，pip install cleanlab，我是其作者之一，旨在解决这一任务：https://github.com/cleanlab/cleanlab/。这是一个专业包，用于查找数据集中的标签错误并在噪声标签下进行学习。它可以开箱即用任何scikit-learn模型，并且可以与PyTorch、FastText、Tensorflow等一起使用。

（更新于2022年9月）我已经为这个任务（带有噪声标签的文本分类（标签有时会转换为其他类别））添加了资源：

• 博客：https://cleanlab.ai/blog/label-errors-text-datasets/|
• 可运行的Colab笔记本：https://docs.cleanlab.ai/stable/tutorials/text.html

示例 — 在你的数据集中查找标签错误。

from cleanlab.classification import CleanLearningfrom cleanlab.filter import find_label_issuesfrom cleanlab.count import estimate_cv_predicted_probabilities# 选项1 - 只需一行代码即可用于sklearn兼容模型issues = CleanLearning(sklearnModel, seed=SEED).find_label_issues(data, labels)# 选项2 - 两行代码即可使用任何模型#   只需传入样本外预测概率pred_probs = estimate_cv_predicted_probabilities(data, labels)ordered_label_issues = find_label_issues(    labels=labels,    pred_probs=pred_probs,    return_indices_ranked_by='self_confidence',)

关于如何使用任何模型计算样本外预测概率的详细信息，请点击这里。

示例 — 在噪声标签下进行学习

在噪声标签上训练一个机器学习模型，就像它是在完美标签上训练的一样。

# 代码摘自 https://github.com/cleanlab/cleanlabfrom sklearn.linear_model import LogisticRegression# 在噪声标签上学习，只需三行代码。cl = CleanLearning(clf=LogisticRegression())  # 任何sklearn兼容的分类器cl.fit(X=train_data, labels=labels)# 估计你在使用无错误标签训练时会得到的预测结果。predictions = cl.predict(test_data)

鉴于你也可能在处理图像分类和音频分类，这里有一些关于使用PyTorch进行图像分类和使用SpeechBrain进行音频分类的工作示例。

更多文档请访问这里：docs.cleanlab.ai