我在S3存储桶中存储了预训练的模型文件。我想创建一个服务来加载这个模型并使用它进行推理。

我在AWS生态系统中工作，对于使用ECS还是Sagemaker来部署模型感到困惑？选择其中之一的优缺点有哪些？

回答：

SageMaker的价格较高，但它承担了部署机器学习模型的大部分繁重工作，例如连接各个组件（负载均衡器、gunicorn、CloudWatch、自动扩展…），并且更容易自动化诸如A/B测试等流程。

如果你有一个强大的DevOps团队，并且他们没有更重要的事情要做，你可以构建一个比SageMaker选项更便宜的流程。ECS和EKS也在同时做大量工作，使得自动化机器学习模型部署变得非常容易。然而，它们始终是更通用的，而SageMaker专注于机器学习，对于这些用例会更容易使用。

使用云的 usual pattern 是早期使用托管服务，因为你想快速行动，并且你并不真正知道未来的问题在哪里。一旦系统开始增长，你开始在这里或那里感觉到一些痛点，你可以决定花时间来改进系统的这一部分。因此，如果你不知道优缺点，就从使用更简单的选项开始吧。