在神经网络中,前向传递和后向传递的含义是什么?
每个人在讨论反向传播和轮次时都会提到这些术语。
我理解前向传递和后向传递一起构成一个轮次。
回答:
“前向传递”是指从输入数据计算输出层值的过程。它是从第一层到最后一层遍历所有神经元的过程。
从输出值计算出一个损失函数。
然后,“后向传递”是指使用梯度下降算法(或类似算法)计算权重变化的过程(实际上是学习)。计算是从最后一层向第一层反向进行的。
后向传递和前向传递一起构成一个“迭代”。
在一个迭代中,通常会处理数据集的一个子集,称为“小批量”或“批量”(不过,”批量”也可能指整个数据集,因此有”小”的前缀)。
“轮次”是指以批量的方式处理整个数据集。
一个轮次包含(数据项总数 / 批量大小)个迭代