在反向传播训练中，沿着误差曲面进行梯度下降时，隐藏层中拥有大量神经元的网络可能会陷入局部最小值。我读到过，在所有情况下将权重重新初始化为随机数最终可以避免这个问题。这意味着总有一组“正确”的初始权重值。（这样假设安全吗？）

我需要找到或创建一个算法来找到这些权重值。

我尝试过在谷歌上搜索这个算法，也尝试过自己设计，但都没有成功。有人能提出解决方案吗？或许有一个我可以搜索的算法名称？

注意：这是一个常规的前馈三层网络 🙂

注意：我知道有人尝试过使用遗传算法来达到这个目的，但这需要在每次迭代时重新训练网络，当网络足够大时，这会非常耗时。

提前感谢。

回答：

遗憾的是，永远无法保证你不会陷入局部最优值。除非你能证明你试图优化的函数的某些特性，否则局部最优值是存在的，爬山法会受其影响。（而且通常，如果你能证明你需要证明的东西，你也可以选择比神经网络更好的工具。）

一种经典的技术是逐渐降低学习率，然后提高它并再次缓慢降低它，重复几次。提高学习率会降低算法的稳定性，但能使算法有能力跳出局部最优值。这与模拟退火密切相关。

我很惊讶谷歌在这方面没有帮到你，因为这个话题有很多已发表的论文：尝试使用“局部最小值”和“局部最小值问题”这样的术语，结合神经网络和反向传播。你应该能看到许多关于改进的反向传播方法的参考文献。