我有一个神经网络，包含一个输入层、三个隐藏层神经元和一个输出层。我有720个输入及其对应的目标值，其中540个用于训练，180个用于测试。当我使用Logistic Sigmoid或Tan Sigmoid函数训练网络时，测试时得到的输出值相同，即所有180个输出值都是相同的数字。当我使用线性激活函数时，得到的结果是NaN，因为显然数值变得过高。

在这种情况下，有没有适合使用的激活函数？或者有什么改进措施？我可以根据需要更新问题并提供详细信息和代码。

回答：

当神经网络接收到任意尺度（如在你的例子中大约在0到1000之间）的输入数据时，通常是不稳定的。如果你的输出单元是tanh，它们甚至无法预测-1到1之外的值，或者对于logistic单元是0到1之外的值！

你应该尝试重新 centering/缩放数据（使其均值为零且单位方差——这在数据科学界被称为标准缩放）。由于这是一种无损变换，你可以在训练网络并对数据进行预测后，再转换回原始尺度。

此外，线性输出单元可能是最佳选择，因为它对输出空间不做任何假设，我发现tanh单元在低维输入/隐藏/输出网络的循环神经网络中表现更好。