我想实现一个感知器网络,遇到了一些小问题。首次实现将非常简单,只包括三层:输入层、一个隐藏层和输出层。我的问题是,在输入层和隐藏层之间的隐藏节点上,多少个突触是最优的?我认为如果每个节点都连接到每个输入节点,这并不经济。
感谢您的评论。
回答:
在非常一般的设置中,您会将每一层的每个节点都连接到下一层的每个节点。这被称为“全连接层”。显然,这不是唯一的选择,随着更高级方法的发展,您会发现更稀疏的连接模式,如感受野、卷积层等。对于简单的实验,从全连接层开始是首选,因为其他连接策略通常对数据有一些假设(如输入的时空关系),而全连接层是一种无假设的、通用的方法。