我正在使用大脑的EM数据集训练一个3D U-Net，目的是对其中的神经元进行分割。在实验过程中，我注意到，网络的不同随机初始化会导致不同的性能表现。我基于平均交并比（mean Intersection over Union）来评估性能，并且观察到性能差异高达5%。

我使用均匀分布的Xavier初始化，并使用1e-4的恒定学习率。

编辑：我想问如何避免这种行为？

回答：

正如@人名所说，不同的随机初始化总是会导致不同的最终权重。这点非常明显，因为初始状态限制了可能的系统轨迹。

如果你阅读介绍Xavier初始化的论文，你会发现众所周知，随机初始化对最终性能有很大的影响（有一篇论文显示，数百次使用随机初始化的训练运行最终都落入不同的局部最小值，但我现在找不到这篇论文）。这就是我们使用像Xavier初始化这样的启发式方法的原因：它们往往能引导到比其他形式的随机初始化更好的局部最小值。

通常，人们会进行多次训练运行（例如10次），并选择最佳的架构，在文章中，有时也会报告平均值。