我对CNN有一定的基本了解。然而，我看到了一篇论文：http://www.cs.tau.ac.il/~wolf/papers/dynconv.pdf，我就在想是否可以让CNN自己决定卷积核的大小和数量（可能不是在同一个CNN中同时决定这两者）。类似的想法之前是否有人尝试过（结果如何）？我是否忽略了关于CNN的某个数学原理，使得这种做法显然不可行？

回答：

对离散对象（整数）进行优化通常是极其困难的，这会导致组合优化，这不是一种可行的学习方法。这就是为什么通常会选择拥有过多的参数、神经元、层或卷积核——然后通过增加复杂度的惩罚，使模型“偏好”尽可能少地使用，而不是尝试对结构进行“适当”的优化。因此，是的，这里存在一个非常重要且重大的数学问题——你无法对架构进行微分，而微分是驱动几乎所有现代机器学习技术（特别是CNN）的关键。

尽管如此，仍有数十篇，甚至数百篇论文尝试通过对这些变量应用各种元优化方法来实现这一点（因为，正如之前所说——你无法应用“良好”的优化，你几乎只能依赖启发式方法）。结果如何？通常你会以巨大的计算成本为代价获得轻微的提升（因为你通常是在训练大量模型而不是单个模型）。因此，我从未见过基于这种方法的真正“最先进的结果”——通常，经过良好建立的架构加上额外的惩罚和通过创建模型集成（如10个神经网络）来减少方差的方式更为强大，尤其是在典型的工程/计算预算下。