我正在进行一个项目，团队使用 FastAPI 和 AzureOpenAI 开发了自定义的 LLM 异步 API 端点，应用程序使用 B2B 令牌来验证用户请求。但现在我们想使用 openai sdk 中的 AsyncAzureOpenAI 客户端来测试这些端点。是否可以在 azure_endpoint 或 base_url 参数中传递自定义端点？如果可以，我需要一个示例。任何帮助都将不胜感激。

LATEST_URL = "http://localhost:8080" model_id = "gpt-4"B2B_token = "xxxx"client = AsyncAzureOpenAI(    azure_endpoint=f"{LATEST_URL}/v1/genai/models/deployments/{model_id}/chat/completions",    max_retries=0,    api_key=B2B_token)But when requesting through clientresponse = await client.chat.completions.create(        messages=[{"role": "user", "content": "Hi"}],        model= model_id,        max_tokens=50,        temperature=0.7,        timeout=30    )

我在 FastAPI 服务器日志中看到，它抛出了 404 错误

INFO:     127.0.0.1:52318 - "POST /v1/genai/models/deployments/gpt-4/chat/completions/openai/chat/completions?api-version=2024-06-01 HTTP/1.1" 404 Not Found

看起来，端点无法找到，因为它在 API 路由中附加了 api-version 作为查询参数，这是未预期的。

回答：

如果你查看 404 错误日志，你会发现调用 Azure OpenAI 端点时 URL 中有重复的路径。

错误日志 URL：

/v1/genai/models/deployments/gpt-4/chat/completions/openai/chat/completions?api-version=2024-06-01

来自 Azure 端点的典型 URL：

/openai/deployments/gpt-4o/chat/completions?api-version=2024-06-01

尝试将客户端中的参数值从：

azure_endpoint=f"{LATEST_URL}/v1/genai/models/deployments/{model_id}/chat/completions",

更新为：

azure_endpoint=f"{LATEST_URL}"

我的建议是从 Azure 的模型部署选项卡中获取完整的端点 URL，然后你可以将其与 FastAPI 的日志进行比较。通常，需要调整本地参数的值以匹配它们：模型 ID、端点 URL 和版本号。