我在为SageMaker创建自己的Docker容器时,想知道为什么在执行批量转换任务时,serve命令会创建一个Flask应用来处理数据预测。难道不能简单地解封模型并在需要预测的数据集上运行模型的predict方法吗?我不需要一个Web API/端点。我只需要每天自动生成一次预测。
回答:
这个问题问得好 🙂 使用完全相同的代码进行批量推理和在线推理可以减少开发开销——相同的技术栈可以用于这两种用例——并且还可以减少批处理和在线处理之间结果不同的风险。尽管如此,SageMaker非常灵活,您描述的需求完全可以通过使用训练API来实现。训练API并没有强制要求用于机器学习训练,实际上它是一个非常 versatile的Docker编排器,具有高级日志记录、元数据持久化,并且专为快速和分布式数据摄取而构建。