vw-hypersearch 是Vowpal Wabbit的一个包装器,旨在优化vw模型中的超参数:正则化率、学习率和衰减、小批量、引导样本大小等。在教程中,vw-hypersearch提供了一个如下示例:
vw-hypersearch 1e-10 5e-4 vw --l1 % train.dat
这里的%
表示要优化的参数,1e-10 5e-4
是搜索区间的下限和上限。该库使用黄金分割搜索方法来最小化迭代次数。
但是,如果我想搜索多个超参数呢?从像这个 github讨论中,我得到一个提示,可能在vw中没有实现多维搜索方法。因此,唯一的出路是编写自己的特定任务优化器。我的理解正确吗?
回答:
现在可以使用位于存储库/vowpal_wabbit/utl/
中的模块vw-hyperopt.py
来实现这一点。
请查看我的拉取请求:https://github.com/JohnLangford/vowpal_wabbit/pull/867
在不久的将来,这将得到更好的文档说明。