试图理解Keras优化器中SGD优化代码（源代码）。在get_updates模块中，我们有：
# momentumshapes = [K.int_shape(p) for p in params]moments = [K.zeros(shape) for shape in shapes]self.weights = [self.iterations] + momentsfor p, g, m in zip(params, grads, moments): v = self.momentum * m - lr * g # velocity self.updates.append(K.update(m, v))其中K = keras.backend。现在，由于moments被设置为一个零张量列表，而m是这个列表的迭代，为什么在v = self.momentum * m - lr * g这一行中m不会总是评估为零张量？
我查看了TensorFlow中keras.backend.zeros的代码（源代码），keras.backend.zeros返回tf.zeros，显然它返回一个常量零张量。（编辑：或者如果指定了形状，则返回用tf.zeros初始化的tf.Variable。）
我的直觉是它会返回类似于用零初始化的tf.get_variable()的东西，因此张量不会每次都被覆盖。相反，名称为m的张量只会通过K.update()不断更新。
那么tf.zeros()实际上是否像用零初始化的tf.get_variable()那样行为？我是否遗漏了其他东西？
编辑：所以即使指定了形状，上面链接的源代码似乎仍然返回一个新的张量变量，而不是重用现有的变量（即使用get_variable()），这无论如何看起来都很困难，因为没有指定名称。仍然不明白为什么返回现有变量而不是一个新的零张量变量。
回答：
我想你错过了正确的K.zeros函数。这是Keras 2.1中的源代码（keras/backend/tensorflow_backend.py）：
def zeros(shape, dtype=None, name=None): """实例化一个全零变量并返回它。 # 参数 shape: 整数元组，返回的Keras变量的形状 dtype: 字符串，返回的Keras变量的数据类型 name: 字符串，返回的Keras变量的名称 # 返回 一个填充了`0.0`的变量（包括Keras元数据）。 # 示例 ```python >>> from keras import backend as K >>> kvar = K.zeros((3,4)) >>> K.eval(kvar) array([[ 0., 0., 0., 0.], [ 0., 0., 0., 0.], [ 0., 0., 0., 0.]], dtype=float32) ``` """ if dtype is None: dtype = floatx() tf_dtype = tf.as_dtype(dtype) return variable(tf.constant_initializer(0., dtype=tf_dtype)(shape), dtype, name)如你所见，它实际上返回的是用零初始化的变量，而不是常量零张量。文档也说明了这一点：
实例化一个全零变量并返回它。
编辑：对后续问题的回答。
这实际上是一个非常好的观察：你是对的，后续调用Optimizer.get_updates(loss, params)会创建新的变量，将新的操作分配给self.updates，并将新的权重分配给self.weights。从某种意义上说，get_updates方法是优化器构造函数的一部分。
但它是如何工作的呢：这个方法每个模型实例只调用一次。它返回更新操作的列表，这些操作在不同的批次中多次应用于循环中，但操作本身保持不变。这是Model类的相关代码（keras/engine/training.py）：
def _make_train_function(self): ... if self.train_function is None: ... with K.name_scope('training'): with K.name_scope(self.optimizer.__class__.__name__): training_updates = self.optimizer.get_updates( params=self._collected_trainable_weights, loss=self.total_loss) updates = self.updates + training_updates + self.metrics_updates # 获取损失和指标。每次调用时更新权重。 self.train_function = K.function(inputs, [self.total_loss] + self.metrics_tensors, updates=updates, name='train_function', **self._function_kwargs)self.optimizer.get_updates(...)恰好被调用一次以构建train_function。
请随意检查其他优化器，并确认它们都在get_updates()方法内准备权重和更新操作。
