我想训练一个神经网络,从图像中提取一组(128个)人脸特征。
这些特征是测量诸如眼睛之间的距离,或左眼中间与嘴巴中间点的距离等数值。
我需要这些来找到两张脸之间的差异:通过分析一张照片,我将能够判断它是否是Jhon的照片。
我开始研究时使用了这个链接,其中提到:研究人员发现,最准确的方法是让计算机自己决定要收集哪些测量数据。
好的,所以网络的输出是一个包含128个数字的数组,我会使用某种公式来调整权重,使输出数字尽可能准确。
我应该使用什么作为输入?我的输入节点会是三张照片,就像这篇文章中那样,我将基于照片之间的比较来提取特征吗?
回答:
我的第一个想法是建议你使用像Openface这样的库,它已经用大量的人脸训练过,并且具有你需要的相同128维度的人脸表示。
然而,你提到你想自己训练。我建议你开始研究一下连体神经网络(Siamese Neural Networks)。连体神经网络接收一对图像(真实对 – 例如来自同一个人的图像;冒名顶替对 – 例如来自不同人的图像),并试图学习一种相似性/差异性度量(也称为度量学习)。这对于学习人脸嵌入非常有用,因为你的目标似乎与此相关。它们基本上是学习一种将输入图像映射到“有利于比较”的表示的方法。其他实现(如OpenFace)使用三元嵌入进行训练,其中你接收到的是一个三元组(两个相似的和一个不相似的)。
这里有一些关于开始使用连体网络的参考资料:
- 签名识别(有点旧但有助于理解它们):https://papers.nips.cc/paper/769-signature-verification-using-a-siamese-time-delay-neural-network.pdf
- 用于人脸嵌入的连体网络:http://yann.lecun.com/exdb/publis/pdf/chopra-05.pdf
- 三元嵌入论文:https://arxiv.org/pdf/1503.03832.pdf
请记住,训练这些架构相当困难,因为选择最佳的图像对是问题中非常重要且具有挑战性的一部分。一篇提到了一些关于创建图像对的挑战但与人脸无关的论文是这篇。
希望这对你有帮助!