概述

在查看了文档后，发现多轮聊天似乎只针对接收文本提示进行了优化，但显然，这在许多AI产品中都有实现——包括Gemini、Claude、ChatGPT等。

那么，我在这里遗漏了什么？管理/支持与Vertex / Gemini 1.5进行多轮、多模态对话的正确方法是什么？

期望行为

• 使用startChat方法开始多轮聊天。
• 如以下代码块所示，使用多模态输入生成文本（非流式）。

 // 要生成文本输出，请使用文本和图像调用generateContent  const result = await model.generateContent([prompt, imagePart]);

技术栈

• Javascript
• vertexai-preview库（属于"firebase": "^10.12.2",包的一部分）

回答：

在开始新的聊天会话时，您可以提交包含用户/模型定义部分的历史记录，这些部分可以是文本/图像/视频等。

如果我们修改您发送的文档链接中的示例：

const chat = model.startChat({  history: [    {      role: "user",      parts: [        { text: "你好，我家里有两只狗。" },        {          inlineData: {            mimeType: "image/jpeg",            data: `base64-encoded-image-data`,          },        },      ],    },    {      role: "model",      parts: [{ text: "很高兴认识你。你想了解什么？" }],    },  ],  generationConfig: {    maxOutputTokens: 100,  },});

在这里，您可以看到如何在一个响应中包含两个部分。

具体的部分定义 – https://firebase.google.com/docs/reference/js/vertexai-preview.content.md#content_interface

在提交对已开始的聊天对话的回复时也可以这样做 – https://firebase.google.com/docs/reference/js/vertexai-preview.chatsession#chatsessionsendmessage