bagging/boosting using vowel wabbit

如何在Vowpal Wabbit中使用SVM进行bagging或boosting?

我当前的结果是90%的召回率和10%的精确率。

vw -d train.dat -c compressed --passes 10 --oaa 3 -f train.model --loss_function hinge

我想使用bagging/boosting来提高精确率


回答:

对于boosting,使用--boosting N(最近添加的,所以请使用GitHub上的VW)。对于bagging,使用--bootstrap M。参见Vowpal Wabbit上的梯度提升

我不明白如何为分类成3个类别定义召回率和精确率。假设现在你有一个标准的二元分类(有两个类别:正类和负类),你想优化F1分数(精确率和召回率的调和平均值),并且你的精确率为10%,召回率为90%。因此,只有10%的被预测为正的例子是真正正的。(这可能是由数据不平衡或测试数据中正例的比例与训练数据不同引起的。)在这种情况下,我建议增加负例的重要性权重(参见VW wiki中的[Importance]),或者降低正例的重要性。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注