高斯判别分析（GDA）的对数似然函数

我在理解Andrew Ng的CS229笔记中给出的GDA的似然函数时遇到了困难。

l(φ,µ0,µ1,Σ) = log (从i到m的乘积) {p(x(i)|y(i);µ0,µ1,Σ)p(y(i);φ)}

对于线性回归，函数是（从i到m的乘积）p(y(i)|x(i);theta)，这对我来说是合理的。为什么这里的变化是给出p(x(i)|y(i))，并且乘以p(y(i);phi)？提前感谢您的帮助

回答：

第5页的起始公式是

l(φ,µ0,µ1,Σ) = log <从i到m的乘积> p(x_i, y_i;µ0,µ1,Σ,φ)

暂时不考虑参数φ,µ0,µ1,Σ，可以简化为

l = log <乘积> p(x_i, y_i)

使用链式法则，可以将其转换为

l = log <乘积> p(x_i|y_i)p(y_i)

或者

l = log <乘积> p(y_i|x_i)p(x_i).

在第5页的公式中，φ被移到了p(y_i)中，因为只有p(y)依赖于它。

似然函数从联合概率分布p(x,y)开始，而不是从条件概率分布p(y|x)开始，这就是为什么GDA被称为生成模型（从x到y和从y到x建模），而逻辑回归被认为是判别模型（从x到y单向建模）。两者各有优缺点。似乎在下文有关于此的章节。

学技术