无法应用MapReduce模型的机器学习算法

论文《多核上的机器学习Map-Reduce》展示了10种可以从MapReduce模型中受益的机器学习算法。关键点是“任何符合统计查询模型的算法都可以写成某种‘求和形式’”,并且可以表示为求和形式的算法可以应用MapReduce编程模型。

对于那些不能表示为求和形式的算法,并不意味着它们不能应用MapReduce模型。有人能指出任何一种不能通过MapReduce模型加速的特定机器学习算法吗?


回答:

当数据中存在计算依赖时,MapReduce不起作用。这一限制使得表示操作结构化模型的算法变得困难。

因此,当面对大规模问题时,我们常常放弃丰富的结构化模型,转而采用过于简单的适合MapReduce抽象的方法 2

在机器学习社区中,许多算法在学习和推理过程中迭代地转换参数,例如,信念传播、期望最大化、梯度下降和吉布斯采样。这些算法迭代地优化一组参数,直到满足某些终止条件 2

如果你在每次迭代中调用MapReduce,是的,我认为你仍然可以加速计算。这里的重点是我们需要一个更好的抽象框架,以便能够拥抱数据的图形结构,表达复杂的调度或自动评估终止条件。

顺便提一下,Graphlab是出于上述原因而提出的替代方案之一 2

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注