我在TensorFlow中创建了一个模型，所有层都使用relu作为激活函数。然而，当批次大小增加到500时，我想更改模型，使得倒数第二层到输出层的激活函数变为sigmoid。

我感到困惑的是，是否需要重新初始化所有变量，因为我在中间更换了优化器？还是保留旧的变量？

回答：

这是一个非常有趣的问题。我认为这取决于你的数据集和模型。

是：或许，你可以将批次大小500之前的权重用作预训练权重，就像深度信念网络（使用RBM）所做的那样。

否：或许，这些预训练权重会损害你的模型，并且可能不如其他好的初始化方法，例如xavier初始化器 https://www.tensorflow.org/versions/r0.8/api_docs/python/contrib.layers.html#xavier_initializer

我认为尝试这两种选项都是值得的。