如何训练人工智能进行视频背景移除和人体提取?
哪种AI算法最适合人体提取?
回答:
我无法说出哪种算法是此任务的最佳选择。由于这基本上是处理图像/视频数据的任务,你可能会首先尝试使用深度学习和卷积神经网络(CNNs)。
你可以单独处理每一帧,或者处理整个视频。中间也有一系列的选项。
单帧
一次处理一帧会使你的问题变得简单。它简化为图像分割/背景分离任务。
你可以从文献中的预训练CNN架构开始,如VGGNet、Inception、Resnet。移除最后几层并将其调整到你的问题上。
缺点是你通过限制自己处理单帧而丢失了很多信息。
小窗口
通过将一些过去(甚至未来)的帧输入到你的架构中,你可以考虑更多的信息。或者你也可以计算一些梯度(如光流)作为特征并添加到你的图像中。
使用这种方法,你仍然可以使用CNN架构。
长序列RNN
如果你想处理更长的序列,并且希望以高效的方式进行,你应该考虑使用递归神经网络(RNN)。你将在时间上进行递归,在空间维度上进行卷积。在我看来,这是此任务的最佳架构。
它还允许对实时视频进行在线处理。