我们从搜索引擎查询日志数据中提取了特征，根据Vowpal Wabbit的输入格式，特征文件达到了90.5 GB。这么大的尺寸是因为我们在特征构建中需要冗余。Vowpal Wabbit声称能够在几小时内处理TB级的数据。此外，VW使用了一种几乎不占用RAM的哈希函数。但当我们在我们的数据上使用VW进行逻辑回归时，几分钟内就耗尽了所有RAM，然后就卡住了。我们使用的命令是-

vw -d train_output --power_t 1  --cache_file train.cache -f data.model --compressed --loss_function logistic --adaptive --invariant --l2 0.8e-8 --invert_hash train.model

train_output是我们希望训练VW的输入文件，train.model是训练后预期得到的模型

欢迎任何帮助！

回答：

我发现--invert_hash选项非常耗费资源；尝试不使用这个选项运行。你也可以尝试开启--l1正则化选项来减少模型中的系数数量。

你的模型中有多少特征？每行有多少特征？