下图展示了我们公司用于管理模型生命周期的两个流程管道。
- 第一个流程管道“应用程序”与创建承载模型并包含推理逻辑的应用程序组件相关。
- 第二个“模型”流程管道用于生成二进制格式的模型。
模型和应用程序将一起部署到我们的编排器（一个Kubernetes集群）中。
我目前的情况是应用程序逻辑未变，但模型会变化。我可能会遇到下面的情况。
我认为在编排器上管理运行时模型刷新有两种方法（希望有人能建议我一些我没想到的其他可能性）：
- 在应用程序逻辑中；代码通过线程管理刷新，获取新模型。
- 优点：不会生成新的容器
- 缺点：可能引入错误。
- 通过流程管道；管道需要通过事件触发（在我的情况下是Git分支上的合并），并通过执行滚动更新来引入容器。新容器在运行时将加载新模型。
- 优点：现有流程
- 缺点：模型的每个新版本都需要重新构建容器，即使应用程序逻辑未变。
[问题]在这种情况下，是否有最佳实践（可能通过镜像上的标签系统）可以建议我？
谢谢Kipliko
回答：
最无缝的方式是通过k8s/kubectl进行滚动更新。这将需要一个新的容器，但这被认为是最佳实践，因为每个容器保持原子性和可重现性。通过线程更新模型将难以调试。
你可以尝试的另一个方案是使用Istio进行蓝绿部署，并逐步在旧模型和新模型之间转移流量，尽管这需要更多的 overhead。
