最大似然参数估计

给定以下数据集:

颜色 | 大小

红色 | 大

白色 | 小

红色 | 大

红色 | 小

白色 | 大

红色 | 大

以及以下贝叶斯网络: 颜色 –> 大小,我需要找到贝叶斯网络的最大似然参数。估计器会是什么?我不确定如何进行,所以任何帮助都将不胜感激。


回答:

假设你的颜色和大小变量遵循多项分布,你需要估计以下参数 theta:

对于颜色:

  • Theta_red: 红色的概率。
  • Theta_white: 白色的概率。

对于大小:

  • Theta_big|red: 给定红色时为大的概率。
  • Theta_big|white: 给定白色时为大的概率。
  • Theta_small|red: 给定红色时为小的概率。
  • Theta_small|white: 给定白色时为小的概率。

最终只有3个参数,因为

  • theta_white = 1 - theta_red,
  • theta_small|red = 1 - theta_big|red
  • theta_small|white = 1 - theta_big|white

似然度是给定模型时观测数据的概率,在这种情况下,对于一个包含n个颜色和大小观测的数据集:

D = {(color_1, size_1), ..., (color_n, size_n)},

和参数:

theta = {theta_red, theta_big|red, theta_big|white},

似然度由以下给出:

Likelihood

由于我们在这里处理的是给定颜色的颜色和大小的伯努利分布,我们可以这样写:

enter image description here

其中 enter image description here 是红色且小的观测次数,其他M的定义类似。

最后,通过优化似然函数,你可以得到参数估计器:

  • enter image description here
  • enter image description here
  • enter image description here

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注