我想在我的程序中使用特征提取，然后估计每个特征的最佳权重，并计算新输入记录的得分。

例如，我有一个释义数据集。这个数据集中的每个记录都是一对句子，两个句子的相似性用0到1之间的值表示。在我提取了例如4个特征后，我用这些特征值和相似性得分创建了一个新数据集。我想使用这个新数据集来学习权重：

释义数据集：

"A problem was solved by a mathematician"; "A mathematician was found a solution for a problem"; 0.9  .  .   

新数据集：

0.42; 0.61; 0.21; 0.73; 0.9.  .

我想使用回归来估计每个特征的权重。我想在程序中使用方程1计算输入句子的相似性：S = W1*F1 + W2*F2 + W3*F3 + W4*F4

我知道回归算法可以用于这项工作，但我不知道如何操作？请指导我完成这项工作？有没有使用回归算法的论文或文档？

回答：

你所寻找的是简单的线性回归（顺便说一下，线性回归不是一种算法，而是一种数据建模方法，算法用于寻找线性回归参数，但回归本身不是算法），但你还应该在你的方程中添加偏置（截距）项，使其变为：

S = w1*f1 + w2*f2 + w3*f3 + w4*f4 + b

或者以向量化格式

s = <F,W> + b

其中<F,W>是你权重和特征的内积，b是偏置（实值变量）

为了统一，你可以添加一个常数值f5=1，并用w5代替b，这样它就变成了

s = <F,W>

你可以使用普通最小二乘法来解决这个问题

W = (F'F)^(-1)F's

这将在平方残差和方面得到最优的线性回归结果。

在每种编程语言中，你都能找到执行线性回归的库，因此你不必自己实现。特别是，库还会处理引入b变量的问题，因此你无需自己实现。