我无法让TensorFlow的RELU激活函数（无论是tf.nn.relu还是tf.nn.relu6）正常工作，因为激活值和权重中的NaN值会导致我的训练过程失败。
我认为我遵循了所有正确的通用建议。例如，我用以下方式初始化我的权重：
weights = tf.Variable(tf.truncated_normal(w_dims, stddev=0.1))biases = tf.Variable(tf.constant(0.1 if neuron_fn in [tf.nn.relu, tf.nn.relu6] else 0.0, shape=b_dims))并且使用较慢的训练速率，例如：
tf.train.MomentumOptimizer(0.02, momentum=0.5).minimize(cross_entropy_loss)但是，任何深度可观的网络都会导致成本和至少一些权重（至少在它们的摘要直方图中）变成NaN。事实上，成本常常从一开始（在训练之前）就是NaN。
即使我使用L2（约0.001）正则化和丢弃（约50%）时，我也遇到了这些问题。
有什么参数或设置我应该调整以避免这些问题吗？我不知道从哪里开始查找，所以任何建议都会受到欢迎！
回答：
根据He et. al（如lejlot的评论中所建议）的方法，将第l层的权重初始化为均值为零的高斯分布，标准差为
其中nl是输入向量的展平长度，或者
stddev=np.sqrt(2 / np.prod(input_tensor.get_shape().as_list()[1:]))这样初始化的权重通常不会发散。
