我正在用包含负值和正值的数据训练神经网络。

有没有办法将数据直接输入到ReLU网络中，而不需要将所有数据转换为正值，并另外设置一个输入来指示数据是负值还是正值？

我看到的问题是，如果输入层有负输入，除非你将权重初始化为负值，否则ReLU节点永远不会被激活，并且会一直处于“死亡”状态。

回答：

我不太确定你到底在问什么，因为有很多激活函数，你也可以轻松编写自己的。如果你不想自己编写代码，可以尝试一些替代方案：

Leaky ReLU

Parameteric ReLU

基本上，你可以看看这里