使用ReLU的机器学习返回NaN

我正在尝试弄明白整个机器学习的概念，所以我做了一些测试。我想让它学习正弦函数（以弧度角为输入）。神经网络的结构是：

1个输入（弧度角）/ 2个隐藏层 / 1个输出（正弦预测）

我使用的是ReLU作为压缩激活函数，值得注意的是，当我使用Logistic函数替代ReLU时，脚本可以正常工作。

为了实现这一点，我创建了一个从0开始到180结束的循环，并将数字转换为弧度（radian = loop_index*Math.PI/180），然后计算这个弧度角的正弦值，并存储弧度和正弦结果。

因此，我的表格看起来像这样：{input:[弧度角], output:[sin(弧度)]}

for(var i = 0; i <= 180; i++) {    radian = (i*(Math.PI / 180));    train_table.push({input:[radian],output:[Math.sin(radian)]})}

我使用这个表格来训练我的神经网络，采用交叉熵作为损失函数，学习率为0.3，迭代20000次。

问题是它失败了，当我尝试预测任何东西时，它返回”NaN”

我使用的是Synaptic框架（https://github.com/cazala/synaptic），这是我的代码的JSfiddle链接：https://jsfiddle.net/my7xe9ks/2/

回答：

学习率必须经过仔细调整，这个参数非常重要，特别是当梯度爆炸并得到NaN值时。当这种情况发生时，你需要降低学习率，通常是降低到原来的1/10。

在你的具体情况下，学习率太高了，如果你使用0.05或0.01，网络现在可以正常训练和工作。

另外一个重要的细节是你使用交叉熵作为损失函数，这个损失函数用于分类问题，而你面临的是回归问题。你应该使用均方误差损失函数代替。

学技术