我正在尝试训练一个神经网络，使用监督学习方法，数据集非常大（假设超过100万个样本）。
该神经网络应该解决一个回归问题；它接受4个输入的数值，并预测一个数值。这些值被缩放到0到1之间。
训练集中每个样本看起来像这样：
Input-set->[[0.47860402, 0.31794003, 0.00013333333, 0.00026666667],[0.47860357, 0.31794018, 0.00013333333, 0.00026666667],…[0.47859928, 0.317943, 0.00013333333, 0.00026666667]]Output-Set ->[0.6577210.65772104 0.6577211 ... 0.69796 0.69796 0.69796 ]如您所见，每个数据样本之间的变化非常小，比如在小数点后第六位。我使用了以下模型
model = keras.Sequential([ keras.layers.Dense(50,input_shape=(4,),activation="relu",kernel_initializer ='he_uniform'), keras.layers.BatchNormalization(), keras.layers.Dropout(0.1), keras.layers.Dense(25,activation="relu",kernel_initializer ='he_uniform'), keras.layers.BatchNormalization(), keras.layers.Dropout(0.1), keras.layers.Dense(1,activation="relu"), ])opt = keras.optimizers.Adam(lr=0.005)model.compile(loss='mse',optimizer=opt)我很难找到一个适合解决这个问题的模型。在一些预测中，我得到的是一条直线而不是曲线。
我的问题是，我是否使用了过大的学习率？我应该因为这些微小的变化而使用像0.00001这样的学习率吗？还是有其他问题？我在机器学习方面经验不足，希望这里的专家能给我一些建议 🙂
回答：
显而易见的问题是您在最后的全连接层使用了relu。您需要将最后的全连接层改为线性层。换句话说，如果您在做回归分析，您不需要在最后的全连接层使用像relu这样的非线性函数。
另外，除非您出现了过拟合，否则您真的不需要使用正则化技术，但我在这里没有删除它们。
我更改了模型如下：
model = tf.keras.Sequential([ tf.keras.layers.Dense(50,input_shape=(4,),activation="relu",kernel_initializer ='he_uniform'), tf.keras.layers.BatchNormalization(), tf.keras.layers.Dropout(0.1), tf.keras.layers.Dense(25,activation="relu",kernel_initializer ='he_uniform'), tf.keras.layers.BatchNormalization(), tf.keras.layers.Dropout(0.1), tf.keras.layers.Dense(1), ]) opt = tf.keras.optimizers.RMSprop() # 您也可以使用adammodel.compile(loss='mse',optimizer=opt)一些训练轮次：
Epoch 39/10032/32 [==============================] - 0s 5ms/step - loss: 0.0812 - val_loss: 0.0888Epoch 40/10032/32 [==============================] - 0s 5ms/step - loss: 0.0833 - val_loss: 0.0864预测结果：
y_hat = model.predict(X_test)y_hat[:10]array([[0.47433853], [0.4804499 ], [0.4659953 ], [0.4893798 ], [0.38975602], [0.53456545], [0.5105466 ], [0.45408142], [0.4651251 ], [0.5104909 ]], dtype=float32)