我刚开始学习机器学习和TensorFlow。目前我正在尝试按照教程的逻辑创建一个形式为 y = a*x 的简单线性回归模型（这里没有偏置项）。然而，由于某些原因，模型未能收敛到正确的“a”值。我在Excel中创建了数据集。如下所示：
这是我尝试在生成的虚拟数据集上运行TensorFlow的代码。
import tensorflow as tfimport pandas as pdw = tf.Variable([[5]],dtype=tf.float32)b = tf.Variable([-5],dtype=tf.float32)x = tf.placeholder(shape=(None,1),dtype=tf.float32)y = tf.add(tf.matmul(x,w),b)label = tf.placeholder(dtype=tf.float32)loss = tf.reduce_mean(tf.squared_difference(y,label))data = pd.read_csv("D:\\dat2.csv")xs = data.iloc[:,:1].as_matrix()ys = data.iloc[:,1].as_matrix()optimizer = tf.train.GradientDescentOptimizer(0.000001).minimize(loss)sess = tf.InteractiveSession()sess.run(tf.global_variables_initializer())for i in range(10000): sess.run(optimizer,{x:xs,label:ys}) if i%100 == 0: print(i,sess.run(w))print(sess.run(w))以下是ipython控制台的打印输出，可以看到在第10000次迭代后，w的值约为4.53，而不是正确的6。如果有人能解释这里出了什么问题，我将非常感激。我尝试了从0.01到0.0000001的不同学习率，但没有一种设置能使w收敛到6。我读了一些建议说要将特征标准化为标准正态分布，我想知道这种标准化是否必须的？如果不进行标准化，梯度下降法就无法找到解决方案吗？非常感谢！
回答：
这是形状问题：y和label的形状不同（[batch_size, 1] 对 [batch_size]）。在 loss = tf.reduce_mean(tf.squared_difference(y, label)) 中，这会导致TensorFlow以与你期望不同的方式解释数据，可能通过某种广播… 无论如何，结果是你的损失完全不是你想要的损失。
要纠正这一点，只需将
y = tf.add(tf.matmul(x, w), b)替换为
y = tf.add(tf.matmul(x, w), b)y = tf.reshape(y, shape=[-1])我的完整工作代码如下：
import tensorflow as tfimport pandas as pdw = tf.Variable([[4]], dtype=tf.float64)b = tf.Variable([10.0], dtype=tf.float64, trainable=True)x = tf.placeholder(shape=(None, 1), dtype=tf.float64)y = tf.add(tf.matmul(x, w), b)y = tf.reshape(y, shape=[-1])label = tf.placeholder(shape=(None), dtype=tf.float64)loss = tf.reduce_mean(tf.squared_difference(y, label))my_path = "/media/sf_ShareVM/data2.csv"data = pd.read_csv(my_path, sep=";")max_n_samples_to_use = 50xs = data.iloc[:max_n_samples_to_use, :1].as_matrix()ys = data.iloc[:max_n_samples_to_use, 1].as_matrix()lr = 0.000001optimizer = tf.train.GradientDescentOptimizer(learning_rate=lr).minimize(loss)sess = tf.InteractiveSession()sess.run(tf.global_variables_initializer())for i in range(100000): _, loss_value, w_value, b_value, y_val, lab_val = sess.run([optimizer, loss, w, b, y, label], {x: xs, label: ys}) if i % 100 == 0: print(i, loss_value, w_value, b_value) if (i%2000 == 0 and 0< i < 10000): # 我们在一开始使用较小的学习率来避免梯度爆炸。使用梯度裁剪（通过全局规范）会更干净得多 lr*=2 optimizer = tf.train.GradientDescentOptimizer(learning_rate=lr).minimize(loss)print(sess.run(w))