有没有办法将包含我训练好的模型的整个Python脚本编译起来以加快推理速度？似乎加载Python解释器、Tensorflow、numpy等都需要相当长的时间。当服务器需要以非平凡的频率响应请求时，这似乎显得有些慢。

编辑

我知道可以使用Tensorflow Serving，但因为相关的成本问题，我不想使用它。

回答：

如何设置服务器？如果你使用像Django、Flask或Tornado这样的Python框架来设置服务器，你只需要预加载你的模型并将其作为全局变量，然后使用这个全局变量来进行预测。

如果你使用的是其他类型的服务器，你也可以将用于预测的整个Python脚本设置为本地服务器，并在Python服务器和Web服务器之间转换请求或响应。