我正在按照Tensorflow示例中的第三个Jupyter笔记本进行学习。

在运行第四个问题时，我尝试实现一个函数来自动构建多个隐藏层，而不需要手动编写每层的配置。

然而，模型运行后精度非常低（10%），所以我认为可能是这个函数与Tensorflow的图构建器不兼容。

我的代码如下：

def hlayers(n_layers, n_nodes, i_size, a, r=0, keep_p=1):  for i in range(n_layers):    if i > 0:      i_size = n_nodes    w = tf.Variable(tf.truncated_normal([i_size, n_nodes]), name=f'W{i}')    b = tf.Variable(tf.zeros([n_nodes]), name=f'b{i}')    pa = tf.nn.relu(tf.add(tf.matmul(a, w), b))    a = tf.nn.dropout(pa, keep_prob=keep_p, name=f'a{i}')    r += tf.nn.l2_loss(w, name=f'r{i}')  return a, rbatch_size = 128num_nodes = 1024beta = 0.01graph = tf.Graph()with graph.as_default():  # 输入数据。对于训练数据，我们使用一个占位符，在运行时将使用训练小批次数据进行填充。  tf_train_dataset = tf.placeholder(    tf.float32,    shape=(batch_size, image_size * image_size),    name='Dataset')  tf_train_labels = tf.placeholder(    tf.float32,    shape=(batch_size, num_labels),    name='Labels')  tf_valid_dataset = tf.constant(valid_dataset)  tf_test_dataset = tf.constant(test_dataset)  keep_p = tf.placeholder(tf.float32, name='KeepProb')  # 隐藏层。  a, r = hlayers(    n_layers=3,    n_nodes=num_nodes,    i_size=image_size * image_size,    a=tf_train_dataset,    keep_p=keep_p)  # 输出层。  wo = tf.Variable(tf.truncated_normal([num_nodes, num_labels]), name='Wo')  bo = tf.Variable(tf.zeros([num_labels]), name='bo')  logits = tf.add(tf.matmul(a, wo), bo, name='Logits')  loss = tf.reduce_mean(    tf.nn.softmax_cross_entropy_with_logits(      labels=tf_train_labels, logits=logits))  # 正则化器。  regularizers = tf.add(r, tf.nn.l2_loss(wo))  loss = tf.reduce_mean(loss + beta * regularizers, name='Loss')  # 优化器。  optimizer = tf.train.GradientDescentOptimizer(0.5).minimize(loss)  # 对训练、验证和测试数据的预测。  train_prediction = tf.nn.softmax(logits)  a, _ = hlayers(    n_layers=3,    n_nodes=num_nodes,    i_size=image_size * image_size,    a=tf_valid_dataset)  valid_prediction = tf.nn.softmax(tf.add(tf.matmul(a, wo), bo))  a, _ = hlayers(    n_layers=3,    n_nodes=num_nodes,    i_size=image_size * image_size,    a=tf_test_dataset)  test_prediction = tf.nn.softmax(tf.add(tf.matmul(a, wo), bo))num_steps = 3001with tf.Session(graph=graph) as session:  tf.global_variables_initializer().run()  print("Initialized")  for step in range(num_steps):    # 在训练数据中选择一个偏移量，这些数据已经被随机化。    # 注意：我们可以在不同epoch之间使用更好的随机化方法。    offset = (step * batch_size) % (train_labels.shape[0] - batch_size)    # 生成一个小批次。    batch_data = train_dataset[offset:(offset + batch_size), :]    batch_labels = train_labels[offset:(offset + batch_size), :]    # 准备一个字典，告诉会话在哪里填充小批次数据。    # 字典的键是图中需要填充的占位符节点，    # 值是需要填充的numpy数组。    feed_dict = {      tf_train_dataset : batch_data,      tf_train_labels : batch_labels,      keep_p : 0.5}    _, l, predictions = session.run(      [optimizer, loss, train_prediction], feed_dict=feed_dict)    if (step % 500 == 0):      print("Minibatch loss at step %d: %f" % (step, l))      print("Minibatch accuracy: %.1f%%" % accuracy(predictions, batch_labels))      print("Validation accuracy: %.1f%%" % accuracy(        valid_prediction.eval(), valid_labels))  print("Test accuracy: %.1f%%" % accuracy(test_prediction.eval(), test_labels))

回答：

问题是由损失函数和权重中的nan引起的，如这个问题中所描述的那样。

通过为每个权重张量根据其维度引入不同的标准差（如这个回答中所述，原文出自He等人[1]），我能够成功地训练网络。

[1]: He等人（2015）深入研究整流器：在ImageNet分类上超越人类水平表现