神经网络 – 深度自编码器与堆叠自编码器的区别

免责声明:我也在CrossValidated上发布了这个问题,但没有得到任何关注。如果这里不适合,我会乐意删除它。

据我所知,它们之间的唯一区别在于两种网络的训练方式。深度自编码器的训练方式与单层神经网络相同,而堆叠自编码器则是采用贪婪的逐层训练方法。Hugo Larochelle 在这个视频的评论中证实了这一点。我想知道这是否是唯一的区别,有没有其他指导意见?


回答:

该领域的术语并不固定、清晰和明确定义,不同的研究可能对相同的术语有不同的理解或增加不同的方面。例如讨论如下:

至于自编码器,根据各种来源,深度自编码器堆叠自编码器完全同义的,例如,这里引用自“Hands-On Machine Learning with Scikit-Learn and TensorFlow”的一段话:

就像我们讨论过的其他神经网络一样,自编码器可以有多个隐藏层。在这种情况下,它们被称为堆叠自编码器(或深度自编码器)。

随后,作者讨论了两种训练自编码器的方法,并交替使用这两个术语。

我同意“堆叠”这个词的感知是自编码器可以添加新层而不需要重新训练,但实际上这与现有层是如何训练的(联合还是分开)无关。同样,无论使用何种训练方法,研究人员可能认为它是否足够。所以我不会太关注术语。有一天它们可能会稳定下来,但现在还没有。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注