我在Amazon SageMaker中尝试部署一个现有的Scikit-Learn模型。这是一个在SageMaker上未训练,而是在我的本地机器上训练的模型。
在我的本地(Windows)机器上,我将模型保存为model.joblib,并将模型打包为model.tar.gz。
接下来,我将这个模型上传到了我的S3存储桶(’my_bucket’)中的以下路径s3://my_bucket/models/model.tar.gz。我可以在S3中看到这个tar文件。
但是,当我尝试部署模型时,它不断显示错误消息“无法提取模型数据归档”。
.tar.gz是在我的本地机器上通过在PowerShell命令窗口中运行’tar -czf model.tar.gz model.joblib’生成的。
用于上传到S3的代码
import boto3s3 = boto3.client("s3", region_name='eu-central-1', aws_access_key_id=AWS_KEY_ID, aws_secret_access_key=AWS_SECRET)s3.upload_file(Filename='model.tar.gz', Bucket=my_bucket, Key='models/model.tar.gz')
用于创建估计器和部署的代码:
import boto3from sagemaker.sklearn.estimator import SKLearnModel...model_data = 's3://my_bucket/models/model.tar.gz'sklearn_model = SKLearnModel(model_data=model_data, role=role, entry_point="my-script.py", framework_version="0.23-1")predictor = sklearn_model.deploy(instance_type="ml.t2.medium", initial_instance_count=1)
错误消息:
错误消息: UnexpectedStatusException: 错误托管端点sagemaker-scikit-learn-2021-01-24-17-24-42-204: 失败。原因: 无法从URL”s3://my_bucket/models/model.tar.gz”提取容器”container_1″的模型数据归档。请确保URL所在的对象是一个有效的tar.gz归档
有什么方法可以查看为什么归档无效吗?
回答:
我也有类似的问题,并且与Bas(见上面的评论)有类似的解决方案。
我发现问题并不一定在.tar.gz步骤上,这个命令运行良好:
tar -czf <filename> ./<directory-with-files>
而是在上传步骤上。
手动上传到S3应该可以解决这个问题,但是,如果你以编程方式进行这一步,你可能需要仔细检查所采取的步骤。Bas似乎遇到了文件名问题,我的则是关于正确使用boto。这里有一些有效的代码(这里仅限Python,但要注意其他库的类似问题):
bucket = 'bucket-name'key = 'directory-inside-bucket'file = 'the file name of the .tar.gz's3_client = boto3.client('s3')s3_client.upload_file(file, bucket, key)