我目前在Udacity上学习深度学习课程。

我成功构建并训练了一个具有一个隐藏层的 neural network，并在测试数据上获得了93%的准确率。然而，当我在模型中引入L2正则化后，准确率下降到了89%。这是我的正则化出现了问题吗？

beta = 0.01n_hidden_layer = 1024n_input = 784         # 28* 28n_classes = 10# Variablesweights = {    'h1': tf.Variable(tf.truncated_normal([n_input, n_hidden_layer], stddev=0.1)),    'out': tf.Variable(tf.truncated_normal([n_hidden_layer, n_classes], stddev=0.1))}biases = {    'b1': tf.Variable(tf.constant(0.1, shape=[n_hidden_layer])),    'out': tf.Variable(tf.constant(0.1, shape=[n_classes]))}def multilayer_perceptron(x, weights, biases):    # Hidden layer with RELU activation    layer_1 = tf.add(tf.matmul(x, weights['h1']), biases['b1'])    layer_1 = tf.nn.relu(layer_1)    # Output layer with linear activation    out_layer = tf.matmul(layer_1, weights['out']) + biases['out']    return out_layer# Construct model pred = multilayer_perceptron(x, weights, biases)valid_pred = multilayer_perceptron(tf_valid_dataset, weights, biases)test_pred = multilayer_perceptron(tf_test_dataset, weights, biases)# Define loss and optimizer# L' = L + Beta * (0.5 * ||w||^2) l2 = beta * tf.nn.l2_loss(weights['h1']) + beta * tf.nn.l2_loss(weights['out'])loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=pred) + l2)optimizer = tf.train.GradientDescentOptimizer(0.5).minimize(loss)

适当的正则化应该能提高你的验证/测试准确率。

但是当我将beta改为0.001时，我得到了93.7%的准确率。那么，我应该将beta定义为tf.Variable来让它自己调整吗？

回答：

要理解为什么需要调整beta变量，你得明白L2正则化做了什么：它惩罚大的权重！它应该在多大程度上惩罚这些权重取决于具体的应用。有些应用需要比其他应用更大的权重。

beta变量是一个你需要“手动”设置的参数。它不应该被添加为tf.Variable。然而，你可以做的是创建一个快速的超参数搜索，你可以迭代多个beta值来选择最佳值！尝试绘制多个beta值的损失情况来确定哪个值最佳！

如果你有更多问题，请告诉我！