大家好，我正在尝试使用新的 bfloat16 数据类型变量来训练模型。我知道这在 Google 的 TPU 上是支持的。我想知道是否有人尝试过在 GPU 上（例如 GTX 1080 Ti）进行训练。这是可能的吗？GPU 的张量核心是否支持？如果有任何经验，请分享您的想法。非常感谢！

回答：

我曾在 Tensorflow 的 GitHub 社区中发布了这个问题。这是他们迄今为止的回应 – “对 GPU 的 bfloat16 支持尚未完成，因为设备本身并不原生支持这种数据类型。

为了获得更好的性能，您应该在 GPU 上使用 float32 或 float16（尽管使用 float16 训练模型可能比较困难）。TPU 支持 bfloat16 用于几乎所有操作（但您目前需要将模型迁移到 TPU 上运行）。”