我目前正在试验分布式TensorFlow。我使用了tf.estimator.Estimator类（自定义模型函数）和tf.contrib.learn.Experiment，并成功实现了数据并行执行。
然而，我现在想尝试模型并行执行。我找不到任何相关的示例，除了TensorFlow中模型并行性的实现。但我不确定如何使用tf.estimators来实现这一点（例如，如何处理输入函数？）。
有谁有这方面的经验，或者能提供一个可用的示例吗？
回答：
首先，您应该停止使用tf.contrib.learn.Estimator，转而使用tf.estimator.Estimator，因为contrib是一个实验性模块，那些已经升级到核心API的类（例如Estimator）会自动被弃用。
现在，回到您的主题问题，您可以创建一个分布式模型，并通过tf.estimator.Estimator.__init__的model_fn参数传递它。
def my_model(features, labels, mode): net = features[X_FEATURE] with tf.device('/device:GPU:1'): for units in [10, 20, 10]: net = tf.layers.dense(net, units=units, activation=tf.nn.relu) net = tf.layers.dropout(net, rate=0.1) with tf.device('/device:GPU:2'): logits = tf.layers.dense(net, 3, activation=None) onehot_labels = tf.one_hot(labels, 3, 1, 0) loss = tf.losses.softmax_cross_entropy(onehot_labels=onehot_labels, logits=logits) optimizer = tf.train.AdagradOptimizer(learning_rate=0.1) train_op = optimizer.minimize(loss, global_step=tf.train.get_global_step()) return tf.estimator.EstimatorSpec(mode, loss=loss, train_op=train_op)[...]classifier = tf.estimator.Estimator(model_fn=my_model)上面的模型定义了6层位于/device:GPU:1，以及另外3层位于/device:GPU:2。my_model函数的返回值应该是一个EstimatorSpec实例。完整的可工作示例可以在TensorFlow示例中找到。
