RunPods Serverless – 在本地使用Docker和GPU测试端点

我正在创建一个自定义容器，以便在Runpods上运行FLUX和Lora，以Stable Diffusion示例作为起点。我成功地在Runpods上部署了我的第一个pod，一切正常。

然而，当我更改代码并希望在重新部署前在本地测试我的端点时，问题就出现了。每次小测试都需要部署到Runpods，这非常耗时。

我在Runpods文档中找到了一个关于本地测试的指南，在这里。不幸的是，它只提供了一个简单的示例，建议直接运行处理函数，如下所示：

python your_handler.py --test_input '{"input": {"prompt": "The quick brown fox jumps"}}'

这对我来说行不通，因为它完全忽略了Docker设置，只是在我的本地Python环境中运行函数。我希望能超越这一点，在本地对Docker镜像进行端到端测试——在我的GPU上——使用与在Runpods上部署时完全相同的依赖和设置。

是否有专门针对Runpods本地测试Docker镜像的文档，或者推荐这种设置的工作流程？

回答：

我用以下命令解决了这个问题

docker run --gpus all -p 8080:8080 -v "$(pwd)/test_input.json:/test_input.json" ${IMAGE_REPO}

此命令将启动端点，运行测试，然后自动终止。请确保将test_input.json文件放置在您的本地目录中。

学技术