神经网络中的前向传递和后向传递是什么?

在神经网络中,前向传递后向传递的含义是什么?

每个人在讨论反向传播和轮次时都会提到这些术语。

我理解前向传递和后向传递一起构成一个轮次。


回答:

“前向传递”是指从输入数据计算输出层值的过程。它是从第一层到最后一层遍历所有神经元的过程。

从输出值计算出一个损失函数。

然后,“后向传递”是指使用梯度下降算法(或类似算法)计算权重变化的过程(实际上是学习)。计算是从最后一层向第一层反向进行的。

后向传递和前向传递一起构成一个“迭代”


在一个迭代中,通常会处理数据集的一个子集,称为“小批量”“批量”(不过,”批量”也可能指整个数据集,因此有”小”的前缀)。

“轮次”是指以批量的方式处理整个数据集。
一个轮次包含(数据项总数 / 批量大小)个迭代

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注