我正在尝试在Vowpal Wabbit中实现网格搜索或更复杂的超参数搜索。为此，有没有一种相对简单的方法可以获取在验证集（在vw中称为保留集）上获得的损失函数值？VW肯定已经计算了它，例如，对于每次通过的数量，因为提前停止是根据它的值来决定的。
到目前为止，我通过创建一个单独的验证数据集文件，保存不同模型在这个数据集上的预测，并在python中比较它们的性能来绕过这个问题，从而导致不必要的数据浪费。但也许有办法明确使用vw的保留集得分？
回答：
总结评论，有几种方法可以从VW中获取保留集损失（它们可以结合使用）：
- 在单次通过学习中，VW报告渐进验证损失，简单来说，在足够的例子之后，它会大致收敛到与保留集损失相同的值。
- 在多次通过中，VW报告保留集损失（除非指定了
--holdout_off），基于每个第10个例子（而不是随机的1/10例子）。使用--holdout_period可以指定不同的数字而不是10。 - 参数
--holdout_after=N指定输入数据的前N个例子将用于训练，其余文件作为保留集（而不是每个第10个例子）。 - 可以使用
-p predictions.txt并在VW外部计算损失（通过将predictions.txt与带有金标准标签的输入数据进行比较）。当使用X次通过时，predictions.txt将包含X*输入数据示例数。因此，建议在训练数据上进行训练（可能进行多次通过），将模型保存到文件中，然后仅使用VW进行预测：vw -i trained.model -t -d test.input -p test.predictions。 - 在某些情况下，
--save_per_pass或vw --daemon以及按需保存模型可能会有帮助。 - 为了从命令行舒适地计算保留集（测试）损失和训练损失，可以使用vw-experiment。
