我目前正在重新编写Andrew Ng教授在Coursera上的“机器学习”课程作业，并且在逻辑回归部分遇到了困难。
filename = 'data/ex2data1.txt'data = np.loadtxt(filename, delimiter = ",", unpack = True)# Data matricesxtr = np.transpose(np.array(data[:-1]))ytr = np.transpose(np.array(data[-1:]))# Initial weightsW = tf.Variable(tf.zeros([2,1], dtype = tf.float64))# Biasb = tf.Variable(tf.zeros([1], dtype = tf.float64))# Cost functiony_ = tf.nn.sigmoid(tf.matmul(xtr,W) + b)cost = -tf.reduce_mean(ytr*tf.log(y_) + (1-ytr)*tf.log(1-y_))optimize = tf.train.GradientDescentOptimizer(0.01).minimize(cost)corr = tf.equal(tf.argmax(ytr,1), tf.argmax(y_,1))acc = tf.reduce_mean(tf.cast(corr, tf.float64))init = tf.initialize_all_variables()with tf.Session() as sess: sess.run(init) print(sess.run(cost)) for _ in range(3): sess.run(optimize) print(sess.run(cost))这会产生以下结果：
0.69314718056nannannan成本函数的第一个结果是正确的，但接下来的结果应该是：
3.01331.52070.7336而我得到了一堆NaN。我尝试过降低学习率，但都没有效果。我做错了什么？是否有可能在TensorFlow中重现这个作业？
附注：其他Python解决方案似乎使用了scipy.optimize，但我不知道如何将它与TensorFlow值一起使用，如果可能的话，我希望只使用TensorFlow。
编辑：我也尝试过将偏置设为tf.ones而不是tf.zeros，但这也没有效果。
回答：
你的对数函数没有对输入进行清理。很可能你有负值输入，这会很快使任何浮点数运算变成NaN。
我在Java代码中处理类似领域大量使用对数时所做的操作如下：
- 检查NaN或Infinity，并假设输出为零
- 如果输入为负数，将输出裁剪到某个静态数值，例如log(1e-5) ≈ -11.51
- 否则直接取对数
在Java中，这段代码看起来像这样，应该不难翻译成tf：
public static double guardedLogarithm(double input) { if (Double.isNaN(input) || Double.isInfinite(input)) { return 0d; } else if (input <= 0d || input <= -0d) { // 假设一个相当低的值log(1e-5) ≈ -11.51 return -10d; } else { return FastMath.log(input); } }