我对神经网络中与批量大小、轮次以及权重在过程中的分布等术语相关的情况感到困惑。

我想验证我对以下流程顺序的理解是否正确？

假设一个训练/数据点有8个特征（8个输入节点）。我有20个训练/数据点。我选择了批量大小为2。现在我想让模型进行学习。

执行第一个轮次

执行第一个批次    数据点-1：8个特征的值通过8个输入节点。        随机初始化权重        进行前向传播        进行后向传播        后向传播的结果是所有权重都被更新。    数据点-2：8个特征的值通过8个输入节点。        使用从前一个（即数据点-1）后向传播结果中找到的更新权重进行前向传播。        进行后向传播，所有权重再次被更新。执行第二个批次    数据点-3：8个特征通过8个输入节点。        使用从前一个（即数据点-2）后向传播结果中找到的更新节点进行前向传播        进行后向传播，所有权重再次被更新。这个过程继续……直到第一个轮次结束

执行第二个轮次

执行第二个批次    数据点-1：8个特征的值通过8个输入节点。        这次没有随机权重。前向传播使用从第一个轮次最后执行的批次中找到的最后一次后向传播的值        进行后向传播，所有权重再次被更新。这个过程继续……直到第二个轮次结束。

这个过程会持续到达到所需的轮次为止。

回答：

mini-batch处理是错误的：对于一个批次，我们一次计算整个批次的梯度，然后我们将所有梯度相加，然后每批次更新一次权重。

以下是说明简单示例y = W * x的梯度计算d(loss)/d(W)的代码，适用于mini-batch和single输入：

X = tf.placeholder(tf.float32, [None, 1])Y = tf.placeholder(tf.float32, [None, 1])W1 = tf.constant([[0.2]], dtype=tf.float32)out = tf.matmul(X, W1)loss = tf.square(out-Y)#计算相对于权重的误差梯度gradients = tf.gradients(loss, W1)[0]with tf.Session() as sess:sess.run(tf.global_variables_initializer())#提供单个输入print(sess.run([gradients], {X: np.array([[0.1]]), Y:[[0.05]]})) # [[-0.006]]print(sess.run([gradients], {X: np.array([[0.2]]), Y:[[0.1]]}))  #[[-0.024]]#提供组合上述输入的批次print(sess.run([gradients], {X: np.array([[0.1],[0.2]]), Y:[[0.05], [0.1]]}))   # [[-0.03]] 这是上述梯度的总和。