卷积神经网络的多输入与单一输出?

是否有标准的方法将多张图片输入到CNN中,并最终将信息压缩成一张图片?我正在处理一个HDR数据集,其中包含同一场景的多张图片,并将它们合成为一张噪声较少的图片。

我尝试的方法是将不同的图片设置为通道,但我对这种方法是否合适持怀疑态度,因为输出结果有些奇怪。


回答:

  1. 这是可行的吗?

是的!任何神经网络,无论层数或类型如何,本质上都是一个函数fIO,因此只要你的不同输入属于同一类型,你就可以随意通过网络传递任意数量的输入,并在另一端获得同样数量的输出。这些输出可以通过任何其他函数gO x OO’(可以是加法、张量乘法、拼接或其他更复杂的操作,如另一个神经网络)进行进一步处理。

  1. 这是否合理?

这里没有明确的答案;这在很大程度上取决于你期望你的函数做什么,你的数据是什么,以及你的最终目标是什么。你是否假设所有输入都遵循相同的统计特性或具有相似的底层模式?在这种情况下,你可以认为同一个函数可以对它们进行建模。请记住,通过并行(即异步)应用它们,你的函数对两个输入之间的潜在交叉依赖性是盲目的,这在某些情况下是完全合理的。为了更清楚地说明这一点,如果你的不同输入是单张图片的不同通道,我认为这种方法是错误的;每个通道可能传达不同的信息,而让你的网络对每个通道如何影响其他通道保持无知,同时强迫它使用相同的函数在所有通道上创建有意义的抽象,这听起来不是一个好主意。另一方面,如果你的不同图片是例如从不同角度拍摄的物体照片,并且你应用的子网络是对它们的特征进行某种分类(例如,通过另一个CNN已经获得的特征),那么使用同一个函数对两者进行建模可能是合理的。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注