在调整超参数以提高模型性能时，我注意到每次运行代码得到的分数（因此生成的模型）都不同，尽管我已经固定了所有随机操作的种子。这个问题在使用CPU运行时不会发生。
我通过谷歌搜索发现，这是在使用GPU进行训练时常见的问题。这里有一个非常好且详细的示例，包含简短的代码片段以验证该问题的存在。
他们将非确定性归咎于“tf.reduce_sum”函数。然而，这对我来说并不是问题所在。这可能是因为我使用了不同的硬件（1080 TI）或不同版本的CUDA库或TensorFlow。似乎CUDA库的许多部分都是非确定性的，并且似乎很难准确找出是哪部分以及如何消除它。此外，这可能是设计使然，因此很可能为了非确定性而换来了足够的效率提升。
所以，我的疑问是：
由于GPU在训练神经网络时非常流行，这个领域的人们一定有处理非确定性的方法，因为我看不出否则你是如何可靠地调整超参数的。使用GPU时，处理非确定性的标准方法是什么？
回答：
从TF 2.9 (TF >= 2.9)开始，如果你希望你的TensorFlow模型运行得具有确定性，需要在程序开始时添加以下几行代码。
import tensorflow as tftf.keras.utils.set_random_seed(1)tf.config.experimental.enable_op_determinism()重要说明：第一行设置了以下内容的随机种子：Python、NumPy和TensorFlow。第二行使每个TensorFlow操作具有确定性。
