我希望使用CLIP来为多模态（图像和文本）数据的每一行获取一个嵌入。

假设我有以下模型：

from PIL import Imageimport torchfrom transformers import CLIPProcessor, CLIPModelimport torchvision.transforms as transformsmodel = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")def convert_image_data_to_tensor(image_data):    return torch.tensor(image_data)dataset = df[['image_data', 'text_data']].to_dict('records')embeddings = []for data in dataset:    image_tensor = convert_image_data_to_tensor(data['image_data'])    text = data['text_data']    inputs = processor(text=text, images=image_tensor, return_tensors=True)    with torch.no_grad():        output = model(**inputs)

我想获取output中计算的嵌入。我知道output有text_embeddings和image_embeddings这两个属性，但我不知道它们后续如何交互。如果我想为每条记录获取一个嵌入，我应该只是将这些属性连接起来吗？是否有另一个属性以某种其他方式结合了这两个属性？

这些是output中存储的属性：

print(dir(output))['__annotations__', '__class__', '__contains__', '__dataclass_fields__', '__dataclass_params__', '__delattr__', '__delitem__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__iter__', '__le__', '__len__', '__lt__', '__module__', '__ne__', '__new__', '__post_init__', '__reduce__', '__reduce_ex__', '__repr__', '__reversed__', '__setattr__', '__setitem__', '__sizeof__', '__str__', '__subclasshook__', 'clear', 'copy', 'fromkeys', 'get', 'image_embeds', 'items', 'keys', 'logits_per_image', 'logits_per_text', 'loss', 'move_to_end', 'pop', 'popitem', 'setdefault', 'text_embeds', 'text_model_output', 'to_tuple', 'update', 'values', 'vision_model_output']

另外，有没有办法指定CLIP输出的嵌入大小？类似于在BERT配置中可以指定嵌入大小那样？

提前感谢任何帮助。如果我误解了任何关键内容，请随时纠正我。

回答：

CLIP的训练方式使得文本和图像嵌入被投影到一个共享的潜在空间中。实际上，模型训练的目标是优化图像-文本的相似性。

因此，CLIP的一个非常典型的用例是基于相似性比较和匹配图像和文本。在你的情况下，你似乎对任何相似性度量不感兴趣。你已经有了图像和文本，并且想要某种联合嵌入表示。所以你描述的方式将两个嵌入连接起来是可以的。另一种方法是取它们的平均值（因为它们在同一个嵌入空间中，这样做是可以的）。

至于嵌入的大小，我认为没有办法改变它，因为它在模型训练时已经硬编码到模型的架构中。你可以尝试使用降维技术，或者在模型上堆叠一个全连接层并调整到你选择的维度后进行微调。