我有D维数据和K个分量。如果我使用具有完全协方差矩阵的模型,参数有多少?如果使用对角协方差矩阵,参数又有多少?
回答:
回答来自 xyLe_ 在 CrossValidated
https://stats.stackexchange.com/a/229321/127305
只需进行简单的计算即可。
对于每个高斯分布,你有:
1. 一个对称的完整 DxD 协方差矩阵,提供 (D*D - D)/2 + D
个参数((D*D - D)/2
是非对角元素的数量,D
是对角元素的数量)
2. 一个 D 维的均值向量,提供 D
个参数
3. 一个混合权重,提供另一个参数
这导致每个高斯分布有 Df = (D*D - D)/2 + 2D + 1
个参数。
鉴于你有 K 个分量,你有 K*Df
个参数。
在对角情况下,协方差矩阵的参数减少到 D
,因为没有非对角元素。
因此得到 Df = 2D + 1
。