随机搜索是机器学习中超参数优化的一种方法。我已经将随机搜索应用于搜索具有RBF核的SVM分类器的最佳超参数。除了连续的Cost和gamma参数外，我还有一个离散参数以及一些参数上的等式约束。

现在，我想进一步开发随机搜索，例如通过自适应随机搜索。这意味着例如调整搜索方向或搜索范围。

有人有关于如何做到这一点的想法吗，或者能否引用一些现有的工作？也欢迎其他改进随机搜索的建议。

回答：

你为什么要重新发明轮子？超参数优化是一个研究得很透彻的话题，至少有几种最先进的方法可以简单地解决SVM的问题，包括：

• 贝叶斯优化（通常通过使用高斯过程建模模型质量），例如bayesopt http://rmcantin.bitbucket.org/html/
• Parzen估计器树（有时对于离散的、复杂的超参数空间效果更好），特别包括在hyperopt中 http://hyperopt.github.io/hyperopt/