如何设置Keras模型以使用多个TPU进行训练?所有示例都只使用了一个TPU地址。
回答:
显然,使用多个TPU的正确方法是将地址列表传递给解析器:
TPU_ADDRESS1 = 'grpc://10.240.1.2:8470'TPU_ADDRESS2 = 'grpc://10.240.2.2:8470'tpu_model = tf.contrib.tpu.keras_to_tpu_model(model, strategy=tf.contrib.tpu.TPUDistributionStrategy( tf.contrib.cluster_resolver.TPUClusterResolver(tpu = [TPU_ADDRESS1,TPU_ADDRESS2])))
然而,TF 1.13 不支持超过一个TPU