我有两个数据集，格式如下：
DATASET 1Training (Class 0: 8982, Class 1: 380)Testing (Class 0: 574, Class 1: 12)DATASET 2Training (Class 0: 8982, Class 1: 380)Testing (Class 0: 574, Class 1: 8)我正在尝试使用Tensorflow构建一个深度前馈神经网络。我的准确率达到了90多分，AUC得分在80多分。当然，由于数据集严重不平衡，这些指标毫无意义。我的重点是获得一个好的召回值，并且我不希望对Class 1进行过采样。我已经尝试调整模型的复杂性，但没有效果，最好的模型仅正确预测了25%的正类。
我的问题是，考虑到这些数据集的分布，在无法获取更多数据的情况下（我无法获取更多数据），构建模型是否徒劳无功，还是有办法处理如此不平衡的数据？
谢谢！
回答：
问题
我可以使用tensorflow来学习大约30:1比例的不平衡分类吗
回答
可以，我已经这样做了。特别是Tensorflow提供了输入权重矩阵的能力。查看tf.losses.sigmoid_cross_entropy，有一个weights参数。你可以输入一个与Y形状匹配的矩阵，并为Y的每个值提供该训练样本应有的相对权重。
找到正确权重的一种方法是尝试不同的平衡，运行你的训练，然后查看你的混淆矩阵以及每个类的精确度与准确率的对比。一旦两个类别的精确度与准确率的比例大致相同，它们就平衡了。
示例实现
这是一个将Y转换为权重矩阵的示例实现，我发现它表现非常好
def weightMatrix( matrix , most=0.9 ) : b = np.maximum( np.minimum( most , matrix.mean(0) ) , 1. - most ) a = 1./( b * 2. ) weights = a * ( matrix + ( 1 - matrix ) * b / ( 1 - b ) ) return weightsmost参数代表考虑的最大分数差异。0.9相当于.1:.9 = 1:9，而.5相当于1:1。低于.5的值不起作用。
