这是一个非常基础的问题，但我一直找不到足够的理由来说服自己。为什么逻辑回归的似然函数 l(w) 必须使用乘法而不是加法呢？
回答：
你的问题不仅仅局限于逻辑回归的联合似然。你是在问为什么我们用乘法而不是加法来表示联合概率分布。有两点需要注意：
-
当我们假设随机变量是独立时，这一点适用。否则，我们需要使用概率的链式法则来计算条件概率。你可以查看维基百科以获取更多信息。
-
我们使用乘法是因为联合分布就是这样定义的。这里有一个简单的例子：
假设我们有两个概率分布：
X = 1, 2, 3, 每个概率为1/3Y = 0或1, 每个概率为1/2我们想要计算联合似然函数，L(X=x,Y=y)，即X取值x且Y取值y的概率。
例如，L(X=1,Y=0) = P(X=1) * P(Y=0) = 1/6。写成P(X=1) + P(Y=0) = 1/3 + 1/2 = 5/6是没有意义的。
现在，在最大似然估计中，我们只关心某些参数theta的那些值，这些值最大化似然函数。在这种情况下，我们知道如果theta最大化L(X=x,Y=y)，那么同样的theta也会最大化log L(X=x,Y=y)。这就是你可能会看到概率加法发挥作用的地方。
因此我们可以取log P(X=x,Y=y) = log P(X=x) + log P(Y=y)
简而言之
这可以总结为“联合概率代表一个AND”。当X和Y独立时，P(X AND Y) = P(X,Y) = P(X)P(Y)。不要与P(X OR Y) = P(X) + P(Y) - P(X,Y)混淆。
希望这对你有帮助。
