我在这方面有点困惑。我刚开始学习神经网络,我构建的第一个神经网络使用了每个神经元上的阶跃激活函数和阈值。现在我想实现Sigmoid激活函数,但似乎这种激活函数不使用阈值,只使用神经元之间的权重。但我在查找相关信息时发现确实提到了阈值,只是我找不到它们在激活函数中的位置。
在神经网络的Sigmoid激活函数中是否使用阈值?
回答:
与阶跃激活不同,Sigmoid激活没有明显的跳跃。可以认为阈值是Sigmoid函数值为0.5的点。有些Sigmoid函数在0点达到这个值,而有些则设置为不同的“阈值”。
可以将阶跃函数视为Sigmoid函数的一种,陡度设置为无穷大。在这种情况下,阈值非常明显,而对于陡度较小的Sigmoid函数,阈值可以被认为是函数值为0.5的点,或者是函数最陡的点。