我想知道卷积神经网络中权重和输入的值范围是多少。我的理解如下:
如果输入是一张灰度图像,第一层的输入值将是0-255。但在后续层中,由于使用了sigmoid函数,输入值的范围将变为0-1。
但是权重的范围是多少呢?是0-1,还是可以更高?这会变化很大吗?
回答:
由于使用了sigmoid函数,权重的范围通常是从-∞到+∞,因为-∞的sigmoid值接近0,而+∞的sigmoid值接近1,你需要能够输出接近0和接近1的值作为神经元的输出。
是的,权重可能会有很大变化。神经网络训练得越多,权重就越会接近它们“需要”的值。
例如,如果一个神经元需要输出0,理想的值是-∞,因为sigmoid函数在-∞时的极限是0。训练得越多,权重就越会接近-∞。