在Vowpal Wabbit中是否有办法计算AUC？

我使用Vowpal Wabbit的一个原因是数据文件非常大。虽然我可以在Vowpal Wabbit环境之外使用其输出计算AUC，但如果数据文件很大，这可能会有问题。

回答：

目前，VW无法报告AUC。更糟糕的是，它无法直接针对AUC进行优化。针对AUC进行优化与在线学习不兼容，但有一些适合优化的AUC近似方法。

关于你的问题，你不需要将带有原始预测的中间文件存储在磁盘上。你可以直接将其管道传输到外部评估工具（在这种情况下是perf）：

vw -d test.data -t -i model.vw -r /dev/stdout | perf -roc -files gold /dev/stdin

编辑：John Langford 确认，通过改变假阳性和假阴性损失的比例，通常可以优化AUC。在VW中，这意味着为正例和负例设置不同的重要性权重。你需要使用保留集（或交叉验证，或用于一次通过学习的渐进验证损失）来调整最佳权重。