为了提供一些背景信息，我正在尝试进行一些匹配，看看公司是否与另一家公司匹配。我已经对数据进行了特征工程，例如名称匹配、地址匹配、域名匹配等…
在此基础上，我还创建了另一个特征，该特征基于一种方法，该方法结合了名称匹配、地址匹配和域名匹配，并根据我认为在确定匹配时更重要的因素直觉上设置权重。让我们称这个特征为‘最终得分’。这个得分让我对这些是否匹配有一个大致的估计。
现在到了我实现逻辑回归的部分。我尝试使用我工程化的特征构建了一个逻辑回归模型，分别是没有‘最终得分’和有‘最终得分’，结果非常相似。
注意：我确实检查了特征的重要性，它非常重要。
我的问题是，在训练模型时，将‘最终得分’作为逻辑回归模型的特征是否是一个好做法？
回答：
一般来说，你不希望在线性和逻辑回归类型模型中包含高度相关的特征。这对性能没有影响，但会影响你对模型的解释。
这个问题被称为多重共线性，是由参数（系数）的不稳定（高方差）估计引起的。
你可以查看这个答案来了解其原因。
我可以提供一个直观的例子，说明它可能会引起麻烦：
Y = P(足球运动员在比赛中进球的概率)特征向量 = [体重, 身高] # 身高和体重高度相关那么模型可能学到的是：
log(P(进球)/P(未进球)) = 0.55*体重- 0.12*身高 + 偏差# 现在你如何解释身高的负系数？