我正在尝试编写一个两层神经网络来训练一个类别标签器。网络的输入是一个包含约1000个样本的150特征列表；所有样本的所有特征都进行了L2归一化处理。

我的输出只有两个，并且应该是互斥的——我只是试图预测这个样本是一还是零。

我的代码相对简单；我将输入数据送入隐藏层，然后将隐藏层送入输出层。由于我真的只是想看到它实际工作，我在每次步骤中都使用整个数据集进行训练。

我的代码如下。根据我参考的其他神经网络实现，我认为这个网络的性能应该随着时间的推移而改善。然而，无论我设置多少个训练轮次，返回的准确率都大约是20%。当改变步骤数时，准确率没有变化，所以我认为我的权重和偏差没有被更新。

我的模型是否有明显遗漏的地方？谢谢！

代码

回答：

我将你的优化器改成了AdamOptimizer（在许多情况下，它的表现比GradientDescentOptimizer更好）。

我还对参数做了一些调整。特别是，我为变量初始化使用了较小的标准差，降低了学习率（因为你的损失不稳定且“跳动不定”），并增加了训练轮次（因为我注意到你的损失持续下降）。

我还减少了隐藏层的尺寸。当数据量不多时，训练具有较大隐藏层的神经网络会更加困难。

关于你的损失，最好对其应用tf.reduce_mean，这样损失将是一个数字。此外，按照ml4294的回答，我使用了softmax而不是sigmoid，所以损失看起来像这样：

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=y_,labels=y))

下面的代码在训练数据上达到了大约99.9%的准确率：

代码