是否可以将图像特征,例如SIFT特征,输入到TensorFlow中的卷积神经网络模型中?我正在尝试实现这个项目,该项目将灰度图像进行上色。相较于直接将图像输入模型,使用图像特征是否会是更好的选择?附注:我对机器学习是新手,不熟悉创建神经网络模型。
回答:
你可以向TensorFlow的神经网络输入几乎任何东西。如果你对每个像素有额外的特征,那么你可以使用多个通道而不是单一的通道(强度)。
如果你有关于整张图像的额外特征,你可以创建一个单独的输入,并在上层合并这些特征。
关于性能的提升,你应该尝试两种方法。一般来说,直觉上,如果样本数量不多,额外的特征是有帮助的;但如果样本数量很多,神经网络可以自行学习特征,那么额外特征的效果会逐渐减弱。
另外一点:如果你是个新手,我强烈推荐使用更高层次的框架,如keras.io(它是基于TensorFlow的),而不是直接使用TensorFlow。