非常感谢您提供的任何帮助。我正在进行一个项目，旨在对一些非常大的数据集进行系统日志异常检测（我们每天聚合约100GB的系统日志）。我们选择的方法需要对每个日志消息的标识符矩阵进行奇异值分解。我们在进展过程中发现，Spark 2.2 提供了一个 computeSVD 函数（我们使用的是 Python API，我们知道这个函数在 Scala 和 Java 中也可用，但我们的目标是使用 Python），但我们目前运行的是 Spark 2.1.1（HortonWorks HDP 2.6.2 发行版）。我询问过是否可以就地升级到 2.1.1 版本，但 2.2 版本尚未在 HDP 上进行测试。

我们也考虑过直接在 Python 中使用 Numpy 来做这件事，但我们担心这样做会破坏 Spark 的无偏性，并可能通过超出 Spark API 而使工作节点过载。在 Spark 2.1.1 的 Python API 中，有没有 SVD 的替代方案？任何建议或指导都将非常受欢迎。谢谢！

还有一个我在最初发帖时忘记提到的问题 – 有没有一种方法可以让我们主要在 Python API 中编写机器学习代码，但可能需要调用那个我们需要的 Scala 函数，返回结果后继续使用 Python？我不知道这是否可行……

回答：

为了结束这个话题，我们最终编写了自己的 SVD 函数，基于以下示例：

Pyspark 和 PCA：我如何提取这个 PCA 的特征向量？我如何计算它们解释了多少方差？

有一些小的调整，我会在我们最终确定后发布，但总体上是相同的。这篇文章是为 Spark 1.5 发布的，我们使用的是 Spark 2.1.1。然而，有人指出 Spark 2.2 包含了一个 computeSVD() 函数 – 不幸的是，在发布这篇文章时，我们使用的 HDP 发行版不支持 2.2 版本。昨天（2017年11月1日），宣布了 HDP 2.6.3 版本，并支持 Spark 2.2。一旦我们升级，我们将把代码转换为利用 Spark 2.2 提供的内置 computeSVD() 函数。感谢所有帮助和指向上述链接的指导，它们非常有帮助！