我想让我的神经网络将负值转换为正值。从理论上讲，这可以通过使用ReLU函数和一个节点来实现，该节点学习将输入权重设置为-1（因此负输入乘以-1等于正输入）。

但它一直输出0。以下是代码。我使用-1作为输入值，看看它是否能至少在一个输入上学习。

我尝试增加更多的层，但没有帮助 请看编辑，增加更多的层确实有帮助

train_input = np.asarray([[-1]]*10000) # 输入数组为-1
train_output = np.asarray(map(lambda x: [abs(x[0])] , train_input))
# 定义模型
model = Sequential()
model.add(Dense(1, input_dim=1, kernel_initializer='normal', activation='linear'))
model.add(LeakyReLU(alpha=.001))
model.compile(loss='mean_squared_error', optimizer='adam', metrics=['accuracy'])
# 训练和评估
model.fit(train_input, train_output, epochs=10, batch_size=10, verbose=0)
test_model_output = model.predict(test_input)
print str(test_input[0][0]) + " " + str(test_output[0][0]) + " " +  str(test_model_output[0][0])

我得到的输出如下（第一个值是输入，第二个是预期输出，第三个是模型输出）

-1 1 0.0

编辑我尝试使用随机均匀初始化器，以便初始化负权重，这样确实有效。我明白这应该会让网络学习变得更容易。但我不明白为什么这是必要的。

from keras.initializers import RandomUniform
model.add(Dense(1, input_dim=1, kernel_initializer=RandomUniform(minval=-0.05, maxval=0.05, seed=None), activation='linear'))

编辑2有人提到我没有给数据足够的时间来训练。起初我以为增加10倍的数据量和将批次大小减少10倍（更多迭代）会有效果。没有效果，但是如果我增加10倍的训练轮数（总共100轮），确实有效。所以将初始化的正权重转换为负权重需要很长时间。

回答：

问题是我没有给它足够的时间来训练。虽然这是一个非常基本的功能，但初始化的权重必须从正变为负。

增加训练量（更多的轮数、更小的批次、更多的训练数据）最终导致梯度从正变为负。