我尝试编写一个算法，用于从混合多元正态分布中确定每个类别的$\mu$、$\sigma$和$\pi$。
我部分完成了这个算法，当我将随机猜测值($\mu$、$\sigma$、$\pi$)设置为接近真实值时，它能正常工作。但当我将这些值设置为远离真实值时，算法无法收敛。$\sigma$值会变为0 $(2.30760684053766e-24 2.30760684053766e-24)$。
我认为问题出在我的协方差计算上，我不确定这是否是正确的方法。我在维基百科上找到了这个方法
。如果您能检查我的算法，特别是协方差部分，我将不胜感激。
祝您愉快，谢谢，
2个混合高斯分布 x = [400, 2] (400个点，2维高斯分布)mu = 2 , 2 (第一行是第一个高斯的mu，第二行是第二个高斯的mu) for i = 1 : k gaussEvaluation(i,:) = pInit(i) * mvnpdf(x,muInit(i,:), sigmaInit(i, :) * eye(d)); gaussEvaluationSum = sum(gaussEvaluation(i, :)); %mu计算 for j = 1 : d mu(i, j) = sum(gaussEvaluation(i, :) * x(:, j)) / gaussEvaluationSum; end %sigma计算方法1 %for j = 1 : n % v = (x(j, :) - muNew(i, :)); % sigmaNew(i) = sigmaNew(i) + gaussEvaluation(i,j) * (v * v'); %end %sigmaNew(i) = sigmaNew(i) / gaussEvaluationSum; %sigma计算方法2 sub = bsxfun(@minus, x, mu(i,:)); sigma(i,:) = sum(gaussEvaluation(i,:) * (sub .* sub)) / gaussEvaluationSum; %p计算 p(i) = gaussEvaluationSum / n;回答：
有两点需要注意：即使你正确实现了高斯混合EM算法，你也可能会观察到这种情况，但在你的情况下，代码似乎确实有误。
首先，这是你在拟合高斯混合模型时必须处理的问题。有时混合模型的一个成分可能会坍缩到一个单点上，导致该成分的均值变为该点，variance变为0；这种情况被称为“奇点”。因此，似然性也会趋于无穷大。
查看此幻灯片的第42页：http://www.cs.ubbcluj.ro/~csatol/gep_tan/Bishop-CUED-2006.pdf
你正在评估的似然函数不是对数凹的，因此EM算法在不同的初始值下不会收敛到相同的参数。我上面提供的链接也提供了一些避免这种过拟合问题的解决方案，例如在你的参数上添加先验或正则化项。你也可以考虑多次运行，使用不同的起始参数，并丢弃任何方差为0的成分结果，因为它们可能已经过拟合，或者只是减少你使用的成分数量。
在你的情况下，你的方程是正确的；维基百科上的协方差更新计算与上述链接的第45页上的计算相同。然而，如果你在二维空间中，对于每个成分，均值应该是一个长度为2的向量，协方差应该是一个2×2的矩阵。因此你的代码（对于两个成分）是错误的，因为你使用了一个2×2的矩阵来存储均值和一个2×2的矩阵来存储协方差；它应该是一个2x2x2的矩阵。
