我从文档中了解到,我的输入应该具有以下格式:
{ "request":{ "contents": [ {"role": "user", "parts": [ {"text": "以下视频和图像样本之间的关系是什么?"} {"fileData": {"fileUri": "gs://cloud-samples-data/generative-ai/video/animals.mp4", "mimeType": "video/mp4"}}, {"fileData": {"fileUri": "gs://cloud-samples-data/generative-ai/image/cricket.jpeg", "mimeType": "image/jpeg"}}]}]}}
由于我只处理文本,所以我忽略了fileData
部分。然而,对于我的用例,我需要提供系统指令和少量示例。我已经查看了文档几个小时,但找不到任何有用的信息。
我尝试了以下数据结构,但它不起作用,因为system
角色不可用。
{ "request":{ "contents": [ {"role": "system", "parts": [{"text": "系统提示"}]}, {"role": "user", "parts": [{"text": "示例输入"}]}, {"role": "assistant", "parts": [{"text": "示例输出"}]}, {"role": "user", "parts": [{"text": "实际查询"}]}, ]}}
接下来我尝试将系统提示添加到第一个示例中,但从输出来看,我的系统提示似乎被忽略了。
{ "request":{ "contents": [ {"role": "user", "parts": [ {"text": "系统提示"}, {"text": "示例输入"}]}, {"role": "assistant", "parts": [{"text": "示例输出"}]}, {"role": "user", "parts": [{"text": "实际查询"}]}, ]}}
我不是100%确定上述方法是否错误,但我宁愿不猜测,而是希望得到一些明确的指导。所以我的问题是,有人知道在Vertex AI中使用少量示例进行批量预测的正确方法吗?顺便提一下,我用于推理的模型是gemini-1.5-flash-002
。
回答:
要在Vertex AI中使用少量示例进行批量预测,请指定您的BigQuery输入表、模型和输出位置。批量预测作业和您的表必须位于同一区域。
这里是一个输入数据的示例(JSON):
{ "contents": [ { "role": "user", "parts": [ { "text": "给我一个香蕉面包的食谱。" } ] } ], "system_instruction": { "parts": [ { "text": "您是一名厨师。" } ] }}
我们没有使用角色:“system”,而是使用了一个“system_instruction”变量,我们可以在其中放置我们想要的系统提示。