一般来说,更复杂的神经网络(例如,具有128层的对象分类CNN)在训练时需要更多的“资源”(时间、GPU数量)比一个较简单的神经网络(例如,具有32层的对象分类CNN)。我找到一个链接,其中对不同类型的CNN及其训练所需的“资源”进行了非常好的总结:https://adeshpande3.github.io/adeshpande3.github.io/The-9-Deep-Learning-Papers-You-Need-To-Know-About.html
然而,在训练完成后,当我们实际使用这些神经网络时(例如,自动驾驶汽车使用训练好的CNN来帮助导航),更复杂且更准确的神经网络是否需要更多的“计算资源”(可能是CPU、内存等)来运行,而不是较简单、准确度较低的神经网络?
我问的是一个通用问题,神经网络不限于对象分类,也可以包括NLP或其他领域的神经网络。
如果答案是“视情况而定”,您能提供一些更复杂、更准确的神经网络使用更多资源运行的例子吗?与较简单/准确度较低的神经网络相比?
回答:
最近发布的CVPR 2017论文题为现代卷积对象检测器的速度/准确性权衡(Huang等人)比较了不同的特征提取器与一些作者称为“元架构”的神经网络架构。他们比较了这些构建的模型在速度、内存使用和准确性方面的表现。