神经网络 – 深度自编码器与堆叠自编码器的区别

免责声明:我也在CrossValidated上发布了这个问题,但没有得到任何关注。如果这里不适合,我会乐意删除它。

据我所知,它们之间的唯一区别在于两种网络的训练方式。深度自编码器的训练方式与单层神经网络相同,而堆叠自编码器则是采用贪婪的逐层训练方法。Hugo Larochelle 在这个视频的评论中证实了这一点。我想知道这是否是唯一的区别,有没有其他指导意见?


回答:

该领域的术语并不固定、清晰和明确定义,不同的研究可能对相同的术语有不同的理解或增加不同的方面。例如讨论如下:

至于自编码器,根据各种来源,深度自编码器堆叠自编码器完全同义的,例如,这里引用自“Hands-On Machine Learning with Scikit-Learn and TensorFlow”的一段话:

就像我们讨论过的其他神经网络一样,自编码器可以有多个隐藏层。在这种情况下,它们被称为堆叠自编码器(或深度自编码器)。

随后,作者讨论了两种训练自编码器的方法,并交替使用这两个术语。

我同意“堆叠”这个词的感知是自编码器可以添加新层而不需要重新训练,但实际上这与现有层是如何训练的(联合还是分开)无关。同样,无论使用何种训练方法,研究人员可能认为它是否足够。所以我不会太关注术语。有一天它们可能会稳定下来,但现在还没有。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注