在高流量应用中使用TensorFlow进行实时预测的正确方法是什么？
理想情况下，我希望有一个运行TensorFlow的服务器/集群，监听一个或多个端口，我可以从应用服务器连接到这些端口并获取预测，类似于使用数据库的方式。训练应由定时任务完成，这些任务将训练数据通过网络传输到相同的服务器/集群。
在生产环境中如何实际使用TensorFlow？我是否应该构建一个设置，让Python作为服务器运行，并使用Python脚本获取预测？我对此仍是新手，但我觉得这样的脚本需要打开会话等，这在可扩展性上是不行的。（我指的是每秒数百次的预测）。
任何相关信息的指引将不胜感激。我找不到任何相关资料。
回答：
今天早上，我们的同事在GitHub上发布了TensorFlow Serving，它解决了您提到的一些使用场景。这是一个为TensorFlow设计的分布式包装器，旨在支持高性能的多模型服务。它支持来自应用服务器的批量处理和交互式请求。
