通常,学习率是一个我们在开始时决定的值,并且通常它不会随着迭代次数的增加而改变。但在自组织映射(SOM)中,学习率会随迭代次数变化,这是什么原理呢?
据我所知,学习率应该随着迭代次数的增加而减少。这是为什么呢?
回答:
原因相当简单。自组织映射在数学模型方面设计得不够完善,需要降低学习率以确保收敛。换句话说,如果不改变这个值,学习过程可能根本不会停止。这个问题在被称为“主曲线”和“主流形”的更数学化的模型中得到了某种解决,这些模型虽然不太流行,但为学习类似SOM的表示引入了有效的数学方法。