我在R中使用gbm库，并且希望利用所有CPU来拟合模型。
gbm.fit(x, y, offset = NULL, misc = NULL,...回答：
对于h2o，例如可以参考他们2013年的这篇博客文章，我引用如下：
在0xdata，我们构建了最先进的分布式算法——最近我们开始构建GBM，这是一种被认为几乎不可能并行化，更不用说分布的算法。我们构建了《统计学习要素II》中展示的算法，作者是Trevor Hastie、Robert Tibshirani和Jerome Friedman，页面387（见本文底部）。算法的大部分是简单的“小”数学，但步骤2.b.ii说“对目标拟合回归树……”，即在内循环中对目标拟合回归树，这些目标随着每次外循环而变化。这就是我们决定进行分布/并行化的地方。
我们构建的平台是H2O，正如之前的博客中所讨论的，它的API专注于进行大规模并行向量操作——而对于GBM（以及随机森林），我们需要进行大规模并行树操作。但实际上不是任何树操作；GBM（和RF）不断构建树——工作总是集中在树的叶子节点上，关于寻找特定叶子节点中训练数据子集的下一个最佳分割点。
代码可以在我们的git上找到：http://0xdata.github.io/h2o/
（编辑：仓库现在位于https://github.com/h2oai/。）
另一个并行GBM实现，我认为是在xgboost中。它的描述如下：
极端梯度提升，这是一种梯度提升框架的高效实现。这是其R接口。该包包括高效的线性模型求解器和树学习算法。该包可以自动在单台机器上进行并行计算，其速度可能比现有的梯度提升包快10倍以上。它支持各种目标函数，包括回归、分类和排序。该包设计得可扩展，因此用户也可以轻松定义自己的目标函数。
