大多数机器学习分类器在遇到之前从未见过的特征实例时，会将该实例分类为训练数据中最常见的类别。

这似乎并不适用于liblinear-java，我很好奇这是为什么。以下是一些示例代码，我构建了一个样本问题，其中有两个特征，训练数据中0标签的数量是1标签的四倍：

Problem problem = new Problem();problem.l = 5;problem.n = 2;problem.x = new FeatureNode[][] {  new FeatureNode[] { new FeatureNode(1, 1) },    new FeatureNode[] { new FeatureNode(1, 1) },    new FeatureNode[] { new FeatureNode(1, 1) },    new FeatureNode[] { new FeatureNode(1, 1) },    new FeatureNode[] { new FeatureNode(2, 1) },  };problem.y = new int[] {0, 0, 0, 0, 1};Parameter parameter = new Parameter(SolverType.L2R_L2LOSS_SVC, 1.0, 0.01);Model model = Linear.train(problem, parameter);

现在让我们在一个新的特征3上进行测试，这个特征在训练数据中不存在。由于训练模型对特征3一无所知，我原本期望预测的类别会是0，这是训练数据中最常见的类别。

FeatureNode[] instance = new FeatureNode[] { new FeatureNode(3, 1) };int prediction = Linear.predict(model, instance);System.err.println(prediction);

然而，最后一行却打印出1。这是为什么呢？

回答：

我认为这是liblinear命令行版本中的”-B”（偏置）参数旨在解决的问题。如果你直接创建FeatureNode，这个参数是不可用的，但它本质上与在每个FeatureNode[]的开头添加一个new FeatureNode(1, 1)是相同的。如果我遵循这种方法，并在训练和分类过程中都添加一个额外的偏置特征，一切都能正常工作。以下是该代码的外观：

Problem problem = new Problem();problem.l = 5;problem.n = 3;problem.x = new FeatureNode[][] {  new FeatureNode[] { new FeatureNode(1, 1), new FeatureNode(2, 1) },    new FeatureNode[] { new FeatureNode(1, 1), new FeatureNode(2, 1) },    new FeatureNode[] { new FeatureNode(1, 1), new FeatureNode(2, 1) },    new FeatureNode[] { new FeatureNode(1, 1), new FeatureNode(2, 1) },    new FeatureNode[] { new FeatureNode(1, 1), new FeatureNode(3, 1) },  };problem.y = new int[] {0, 0, 0, 0, 1};Parameter parameter = new Parameter(SolverType.L2R_L2LOSS_SVC, 1.0, 0.01);Model model = Linear.train(problem, parameter);FeatureNode[] instance = new FeatureNode[] { new FeatureNode(1, 1), new FeatureNode(4, 1) };int prediction = Linear.predict(model, instance);

为了弄清楚为什么需要偏置特征，我稍微研究了一下liblinear-java的代码。预测代码看起来是这样的：

for (int i = 0; i < nr_w; i++)    dec_values[i] = 0;for (FeatureNode lx : x) {    int idx = lx.index;    // 测试数据的维度可能超过训练数据    if (idx <= n) {        for (int i = 0; i < nr_w; i++) {            dec_values[i] += w[(idx - 1) * nr_w + i] * lx.value;         }    }}

因此，在特征在训练期间从未见过的案例中，我们只得到一个全为零的dec_values（决策值）数组，这意味着所有类别的概率相等。因此，在分类过程中至关重要的是，每个实例中至少有一个在训练期间见过的特征存在。

添加一个具有常数值（例如1）的“偏置”特征可以解决这个问题，使模型能够学习一个默认权重，应用于任何新实例。在上面的代码中，模型为偏置特征学习了一个0.0869565217391306的权重，这意味着模型正确地学会了偏好类别0而不是类别1。