在Amazon SageMaker中部署时,SageMaker无法提取模型数据归档tar.gz

我在Amazon SageMaker中尝试部署一个现有的Scikit-Learn模型。这是一个在SageMaker上未训练,而是在我的本地机器上训练的模型。

在我的本地(Windows)机器上,我将模型保存为model.joblib,并将模型打包为model.tar.gz。

接下来,我将这个模型上传到了我的S3存储桶(’my_bucket’)中的以下路径s3://my_bucket/models/model.tar.gz。我可以在S3中看到这个tar文件。

但是,当我尝试部署模型时,它不断显示错误消息“无法提取模型数据归档”。

.tar.gz是在我的本地机器上通过在PowerShell命令窗口中运行’tar -czf model.tar.gz model.joblib’生成的。

用于上传到S3的代码

import boto3s3 = boto3.client("s3",               region_name='eu-central-1',               aws_access_key_id=AWS_KEY_ID,               aws_secret_access_key=AWS_SECRET)s3.upload_file(Filename='model.tar.gz', Bucket=my_bucket, Key='models/model.tar.gz')

用于创建估计器和部署的代码:

import boto3from sagemaker.sklearn.estimator import SKLearnModel...model_data = 's3://my_bucket/models/model.tar.gz'sklearn_model = SKLearnModel(model_data=model_data,                             role=role,                             entry_point="my-script.py",                             framework_version="0.23-1")predictor = sklearn_model.deploy(instance_type="ml.t2.medium", initial_instance_count=1)                             

错误消息:

错误消息: UnexpectedStatusException: 错误托管端点sagemaker-scikit-learn-2021-01-24-17-24-42-204: 失败。原因: 无法从URL”s3://my_bucket/models/model.tar.gz”提取容器”container_1″的模型数据归档。请确保URL所在的对象是一个有效的tar.gz归档

有什么方法可以查看为什么归档无效吗?


回答:

我也有类似的问题,并且与Bas(见上面的评论)有类似的解决方案。

我发现问题并不一定在.tar.gz步骤上,这个命令运行良好:

tar -czf <filename> ./<directory-with-files>

而是在上传步骤上。

手动上传到S3应该可以解决这个问题,但是,如果你以编程方式进行这一步,你可能需要仔细检查所采取的步骤。Bas似乎遇到了文件名问题,我的则是关于正确使用boto。这里有一些有效的代码(这里仅限Python,但要注意其他库的类似问题):

bucket = 'bucket-name'key = 'directory-inside-bucket'file = 'the file name of the .tar.gz's3_client = boto3.client('s3')s3_client.upload_file(file, bucket, key)

文档: https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#S3.Client.upload_file

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注