我是机器学习的新手，尝试将文本分类为两类。我的数据集是使用来自医学文本的Tokenizer创建的，数据集不平衡，训练集有572条记录，测试集有471条记录。
对我来说，创建一个能产生多样化预测输出的模型非常困难，几乎所有输出的值都相同。我尝试过使用像这个示例中的模型，并自己调整参数，但输出总是没有意义。
这里是已标记并准备好的数据
这里是脚本：Gist
我使用的样本模型
sequential_model = keras.Sequential([ layers.Dense(15, activation='tanh',input_dim=vocab_size), layers.BatchNormalization(), layers.Dense(8, activation='relu'), layers.BatchNormalization(), layers.Dense(1, activation='sigmoid') ]) sequential_model.summary() sequential_model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['acc']) train_history = sequential_model.fit(train_data, train_labels, epochs=15, batch_size=16, validation_data=(test_data, test_labels), class_weight={1: 1, 0: 0.2}, verbose=1)遗憾的是我无法分享数据集。我也尝试过使用keras.utils.to_categorical处理类别标签，但这并没有帮助
回答：
你的损失曲线是有意义的，因为我们看到网络在训练集上过拟合，而验证曲线呈现出通常的碗形曲线。
为了使你的网络表现得更好，你可以增加网络的深度（更多层）、增加宽度（每层隐藏单元更多）和/或增加更多的非线性激活函数，让你的层能够映射到更广泛的值范围。
此外，我认为你最初得到如此多重复值的原因是你的网络规模。显然，每个数据点大约有20,000个特征（相当大的特征空间）；你的网络规模太小，可能的输出值映射空间因此也较小。我对一些更大的隐藏单元层进行了测试（并增加了层数），发现预测值确实有所变化：[0.519], [0.41], [0.37]…
你的网络性能变化如此大也是可以理解的，因为你拥有的特征数大约是训练集大小的50倍（通常你希望这个比例更小）。请记住，对于如此小的训练和测试数据集，训练过多的轮次（如超过10轮）以期望看到损失的改善并不是好的做法，因为你可能会严重过拟合，这可能表明你的网络需要更宽或更深。
所有这些因素，如层的大小、隐藏单元的大小甚至轮次数，都可以被视为超参数。换句话说，保留一部分训练数据作为验证集的一部分，一次一个地通过每个类别的因素进行优化，以获得最高的验证准确率。公平地说，你的训练集并不是很大，但我认为你应该保留训练集的10-20%作为一种验证集来调整这些超参数，因为你每个数据点的特征数量如此之大。经过这个过程，你应该能够确定你的真实测试准确率。这是我优化网络以获得最佳性能的方式。希望这对你有帮助。
