我使用TensorFlow编写了一个简单的二元分类器。但是，优化变量的结果总是NaN。以下是代码：

import tensorflow as tf# 输入值
x = tf.range(0., 40.)
y = tf.constant([0., 0., 0., 0., 0., 0., 0., 1., 0., 0.,
                 1., 0., 0., 1., 0., 1., 0., 1., 1., 1.,
                 1., 1., 0., 1., 1., 1., 0., 1., 1., 1.,
                 1., 1., 1., 0., 1., 1., 1., 1., 1., 1.])
# 变量
m = tf.Variable(tf.random_normal([]))
b = tf.Variable(tf.random_normal([]))
# 模型和成本
model = tf.nn.sigmoid(tf.add(tf.multiply(x, m), b))
cost = -1. * tf.reduce_sum(y * tf.log(model) + (1. - y) * (1. - tf.log(model)))
# 优化器
learn_rate = 0.05
num_epochs = 20000
optimizer = tf.train.GradientDescentOptimizer(learn_rate).minimize(cost)
# 初始化变量
init = tf.global_variables_initializer()
# 启动会话
with tf.Session() as sess:
    sess.run(init)
    # 拟合所有训练数据
    for epoch in range(num_epochs):
        sess.run(optimizer)
    # 显示结果
    print("m =", sess.run(m))
    print("b =", sess.run(b))

我尝试了不同的优化器、学习率和测试大小，但似乎都没有效果。有什么建议吗？

回答：

您将m和b初始化为标准差为1，但根据您的数据x和y，可以预期m会显著小于1。您可以将b初始化为零（这对于偏置项来说很常见），并将m的标准差设为更小的值（例如0.0005），同时降低学习率（例如到0.00000005）。通过更改这些值，您可以延迟NaN值的出现，但在我看来，由于您的数据并不适合用线性函数来描述，这些NaN值最终可能会出现。

import tensorflow as tfimport matplotlib.pyplot as plt# 输入值
x = tf.range(0., 40.)
y = tf.constant([0., 0., 0., 0., 0., 0., 0., 1., 0., 0.,
                     1., 0., 0., 1., 0., 1., 0., 1., 1., 1.,
                                      1., 1., 0., 1., 1., 1., 0., 1., 1., 1.,
                                                       1., 1., 1., 0., 1., 1.,
                                                       1., 1., 1., 1.])
# 变量
m = tf.Variable(tf.random_normal([], mean=0.0, stddev=0.0005))
b = tf.Variable(tf.zeros([]))
# 模型和成本
model = tf.nn.sigmoid(tf.add(tf.multiply(x, m), b))
cost = -1. * tf.reduce_sum(y * tf.log(model) + (1. - y) * (1. - tf.log(model)))
# 优化器
learn_rate = 0.00000005
num_epochs = 20000
optimizer = tf.train.GradientDescentOptimizer(learn_rate).minimize(cost)
# 初始化变量
init = tf.global_variables_initializer()
# 启动会话
with tf.Session() as sess:
    sess.run(init)
    # 拟合所有训练数据
    for epoch in range(num_epochs):
        _, xs, ys = sess.run([optimizer, x, y])
    ms = sess.run(m)
    bs = sess.run(b)
    print(ms, bs)
plt.plot(xs,ys)
plt.plot(xs, ms * xs + bs)
plt.savefig('tf_test.png')
plt.show()
plt.clf()