在设置神经网络或任何使用梯度下降的数值优化系统时，需要为权重（或系统参数的其他称呼）提供初始值。

一种策略是将它们初始化为随机值（将随机数种子设置为已知值，更改以获得不同的起点）。但这并不总是理想的（例如，我现在正在比较单精度和双精度的准确性，TensorFlow的随机数生成器在每种情况下输出不同的值）。所以我讨论的是初始值将是非随机的情况。

必须提供某个初始值。在没有任何信息指定一个值的情况下，它应该是什么？最明显的值是0.0和1.0。有没有理由偏好其中一个？或者是否有其他一些值由于某些原因往往更可取？

回答：

正如@sascha所观察到的，恒定初始权重通常并不是一个解决方案，因为你必须打破对称性。对于我遇到这个问题时的特定背景，更好的解决方案是：一个随机数生成器，无论类型如何，都能提供相同的序列。

dtype = np.float64# Random number generator that returns the correct type# and returns the same sequence regardless of typedef rnd(shape=(), **kwargs):    if type(shape) == int or type(shape) == float:        shape = shape,    x = tf.random_normal(shape, **kwargs, dtype=np.float64)    if dtype == np.float32:        x = tf.to_float(x)    return x.eval()