我尝试在TensorFlow上训练一个非常简单的模型。模型接受一个浮点数作为输入，并返回输入值大于0的概率。我使用了一个包含10个隐藏单元的隐藏层。完整代码如下所示：

import tensorflow as tf
import random
# 构建图
x = tf.placeholder(tf.float32, shape = [None,1])
y_ = tf.placeholder(tf.float32, shape = [None,1])
W = tf.Variable(tf.random_uniform([1,10],0.,0.1))
b = tf.Variable(tf.random_uniform([10],0.,0.1))
layer1 = tf.nn.sigmoid( tf.add(tf.matmul(x,W), b) )
W1 = tf.Variable(tf.random_uniform([10,1],0.,0.1))
b1 = tf.Variable(tf.random_uniform([1],0.,0.1))
y = tf.nn.sigmoid( tf.add( tf.matmul(layer1,W1),b1) )
loss = tf.square(y - y_)
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
# 训练
with tf.Session() as sess:
    sess.run(tf.initialize_all_variables())
    N = 1000
    while N != 0:
        batch = ([],[])
        u = random.uniform(-10.0,+10.0)
        if u >= 0.:
            batch[0].append([u])
            batch[1].append([1.0])
        if  u < 0.:
            batch[0].append([u])
            batch[1].append([0.0])
        sess.run(train_step, feed_dict = {x : batch[0] , y_ : batch[1]} )
        N -= 1
    while(True):
        u = raw_input("Give an x\n")
        print sess.run(y, feed_dict = {x : [[u]]})   

问题是，我得到的结果非常不相关。模型没有学到任何东西，返回的概率毫无意义。我尝试调整学习率和改变变量初始化，但没有得到任何有用的东西。你有什么建议吗？

回答：

你只计算了一个概率，但你想要的是有两个类别：

• 大于或等于零。
• 小于零。

因此，网络的输出将是一个包含两个类别概率的形状为二的张量。我在你的例子中将y_重命名为labels：

labels = tf.placeholder(tf.float32, shape = [None,2])

接下来，我们计算网络结果与预期分类之间的交叉熵。正数的类别将是[1.0, 0]，负数的类别将是[0.0, 1.0]。损失函数变为：

cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits, labels)
loss = tf.reduce_mean(cross_entropy)

我将y重命名为logits，因为这是一个更具描述性的名称。

训练这个网络10000步后得到的结果是：

Give an x
3.0
[[ 0.96353203  0.03686807]]
Give an x
200
[[ 0.97816485  0.02264325]]
Give an x
-20
[[ 0.12095013  0.87537241]]

完整代码：

import tensorflow as tf
import random
# 构建图
x = tf.placeholder(tf.float32, shape = [None,1])
labels = tf.placeholder(tf.float32, shape = [None,2])
W = tf.Variable(tf.random_uniform([1,10],0.,0.1))
b = tf.Variable(tf.random_uniform([10],0.,0.1))
layer1 = tf.nn.sigmoid( tf.add(tf.matmul(x,W), b) )
W1 = tf.Variable(tf.random_uniform([10, 2],0.,0.1))
b1 = tf.Variable(tf.random_uniform([1],0.,0.1))
logits = tf.nn.sigmoid( tf.add( tf.matmul(layer1,W1),b1) )
cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits, labels)
loss = tf.reduce_mean(cross_entropy)
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
# 训练
with tf.Session() as sess:
    sess.run(tf.initialize_all_variables())
    N = 1000
    while N != 0:
        batch = ([],[])
        u = random.uniform(-10.0,+10.0)
        if u >= 0.:
            batch[0].append([u])
            batch[1].append([1.0, 0.0])
        if  u < 0.:
            batch[0].append([u])
            batch[1].append([0.0, 1.0])
        sess.run(train_step, feed_dict = {x : batch[0] , labels : batch[1]} )
        N -= 1
    while(True):
        u = raw_input("Give an x\n")
        print sess.run(logits, feed_dict = {x : [[u]]})