我想知道是否可以结合图像和一些“生物”数据来寻找模式。例如,如果我想知道一张图片是猫还是狗,并且我有:
足够的图像数据来训练我的模型
足够的“生物”数据,例如:
动物的大小尾巴的大小重量身高
谢谢!
回答:
你是在寻找一个简单的“是”或“不是”的回答吗?如果是的话,是的。你完全可以控制你模型的构建,包括你让它们处理什么数据以及你得到什么预测。
如果你实际上想问如何做这件事,那将取决于具体的数据集和应用,但一种方法是使用两个模型,一个专门用于从图像中确定输出标签(猫或狗)——或许可以使用某种简单的卷积神经网络(CNN)。另一个模型将处理文本数据并在其中寻找模式。然后在最后,你可以有一个非AI评估器,将这两个预测简单地结合成一个,或者你可以将这两个模型作为输入到一个简单的神经网络中,该网络将从这两个模型的输出中学习模式。
这只是其中一种可能的方法,正如我所说,具体的实现将取决于许多其他因素。这两个数据集是如何标记的?数据之间是否有联系?也就是说,对于每张图片,你是否有针对该特定图像的文本数据?还是你只是有单独的图片数据集和单独的生物信息数据集?
你可能还需要考虑这种方法的必要性。当前的模型可以以超人的精度从处理图像中预测类别。除非这是为了创建一个更复杂的模型的练习,否则这似乎是多此一举。
PS:在这种情况下,我不会使用“bios”这个术语,我认为这不是一个常见的用法,在Stack Overflow上,它会让人们误以为你在指实际的BIOS。