我正在尝试构建一个简单的网络，包含2个输入神经元（加上1个偏置）连接到1个输出神经元，以教它“与”函数。这基于mnist分类示例，因此对于这个任务来说可能过于复杂，但对我来说，这关乎于这种网络的一般结构，所以请不要说“你可以直接用numpy做”或类似的话，对我来说这是关于TensorFlow的神经网络。以下是代码：

import tensorflow as tfimport numpy as nptf.logging.set_verbosity(tf.logging.INFO)def model_fn(features, labels, mode):    input_layer = tf.reshape(features["x"], [-1, 2])    output_layer = tf.layers.dense(inputs=input_layer, units=1, activation=tf.nn.relu, name="output_layer")    if mode == tf.estimator.ModeKeys.PREDICT:        return tf.estimator.EstimatorSpec(mode=mode, predictions=output_layer)    loss = tf.losses.mean_squared_error(labels=labels, predictions=output_layer)    if mode == tf.estimator.ModeKeys.TRAIN:        optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.001)        train_op = optimizer.minimize(loss=loss, global_step=tf.train.get_global_step())        return tf.estimator.EstimatorSpec(mode=mode, loss=loss, train_op=train_op)    eval_metrics_ops = {"accuracy": tf.metrics.accuracy(labels=labels, predictions=output_layer)}    return tf.estimator.EstimatorSpec(mode=mode, predictions=output_layer, loss=loss)def main(unused_arg):    train_data = np.asarray(np.reshape([[0,0],[0,1],[1,0],[1,1]],[4,2]))    train_labels = np.asarray(np.reshape([0,0,0,1],[4,1]))    eval_data = train_data    eval_labels = train_labels    classifier = tf.estimator.Estimator(model_fn=model_fn, model_dir="/tmp/NN_AND")    tensors_to_log = {"The output:": "output_layer"}    logging_hook = tf.train.LoggingTensorHook(tensors=tensors_to_log,every_n_iter=10)    train_input_fn = tf.estimator.inputs.numpy_input_fn(x={"x":train_data}, y=train_labels, batch_size=10, num_epochs=None, shuffle=True)    classifier.train(input_fn=train_input_fn, steps=2000, hooks=[logging_hook])    eval_input_fn = tf.estimator.inputs.numpy_input_fn(x={"x":eval_data}, y=eval_labels, batch_size=1, shuffle=False)    eval_results = classifier.evaluate(input_fn=eval_input_fn)    print(eval_results)if __name__ == "__main__":    tf.app.run()

回答：

我对您的代码做了一些小的修改，使其能够学习and函数：

1) 将您的train_data更改为float32表示。

train_data = np.asarray(np.reshape([[0,0],[0,1],[1,0],[1,1]],[4,2]), dtype=np.float32)`

2) 从输出层移除relu激活函数 – 一般来说，不建议在输出层使用relu。这可能会导致死亡的relu，所有梯度都将为零，从而无法进行任何学习。

output_layer = tf.layers.dense(inputs=input_layer, units=1, activation=None, name="output_layer")

3) 在您的eval_metrics_ops中确保对结果进行四舍五入，以便您可以实际测量准确性：

eval_metrics_ops = {"accuracy": tf.metrics.accuracy(labels=labels, predictions=tf.round(output_layer))}

4) 不要忘记将您定义的eval_metrics_ops参数添加到估计器中：

return tf.estimator.EstimatorSpec(mode=mode, predictions=output_layer, loss=loss, eval_metric_ops=eval_metrics_ops)

此外，要记录最后一层的输出，您应该使用：

tensors_to_log = {"The output:": "output_layer/BiasAdd:0"}