使用神经网络学习分类值的分布

目标是使用神经网络对一维输入进行分类。需要分类的类别有两个，分别是A和B。每个用于确定类别的输入是一个介于0.0和1.0之间的数字。

类别A的输入值在0到1之间均匀分布，如下所示：

类别B的输入值都在0.4到0.6的范围内，如下所示：

现在我想训练一个神经网络，能够将0.4到0.6范围内的值分类为B，其余的分类为A。所以我需要一个能够近似类别上下界的神经网络。我之前的尝试没有成功——神经网络对任何输入都返回50%的概率，且损失在各轮次中没有减少。

我使用Python中的Tensorflow和Keras训练了以下简单的模型：

model = keras.Sequential([    keras.layers.Dense(1),    keras.layers.Dense(5, activation=tf.nn.relu),    keras.layers.Dense(5, activation=tf.nn.relu),    keras.layers.Dense(2, activation=tf.nn.softmax)])model.compile(optimizer='adam', loss='mean_squared_error', metrics=['accuracy'])

（完整的训练脚本链接见下方）

顺便提一下，我想象中的神经网络应该这样工作：某些神经元只在0.4以下触发，另一些只在0.6以上触发。如果这两个组中的任何一个神经元触发，则为A类，如果两个都没有触发，则为B类。不幸的是，实际情况并非如此。

如何使用神经网络对上述输入进行分类呢？

—

示例脚本：https://pastebin.com/xNJUqXyU

回答：

在你的模型架构中可以进行几处更改。

首先，损失函数不应该使用loss='mean_squared_error'，最好使用loss='binary_crossentropy'，这更适合二分类问题。我在这里不解释其中的区别，这可以在Keras文档中轻松查找。

你还需要更改最后一层的定义。你只需要一个输出节点，它将是属于类别1的概率（因此，为类别0的概率设置节点是多余的），并且你应该使用activation=tf.nn.sigmoid而不是softmax。

你还可以定义类别权重来处理数据的不平衡。鉴于你在这里定义的样本，似乎将类别0的权重设置为类别1的4倍是合理的。

进行所有这些更改后，你应该得到如下结果：

model = keras.Sequential([keras.layers.Dense(1),keras.layers.Dense(5, activation=tf.nn.relu),keras.layers.Dense(5, activation=tf.nn.relu),keras.layers.Dense(1, activation=tf.nn.sigmoid)])model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])model.fit(np.array(inputs_training), np.array(targets_training), epochs=5, verbose=1, class_weight = {0:4, 1:1})

这让我在验证集上获得了96%的准确率，且每次轮次都能减少损失。

（顺便提一下，我觉得决策树在这里会更适合，因为它会像你描述的那样明确地执行分类）