如何判断在 PySpark 中应该使用稀疏表示还是稠密表示？我了解它们之间的区别（稀疏表示通过只存储非零索引和值来节省内存），但在性能方面，有没有一些通用的启发式规则来指导何时使用稀疏向量而不是稠密向量？

是否存在一个通用的“临界”维度和零值百分比，超过这个界限通常最好使用稀疏向量？如果没有，我应该如何做出决定？谢谢。

回答：

需要记住的是，pyspark.ml.linalg.Vector 和 pyspark.mllib.linalg.Vector 只是 Python 和 Java API 之间的兼容层。它们并不是功能齐全或优化的线性代数工具，你不应该将它们作为这样的工具使用。可用的操作要么不是为性能设计的，要么只是在底层转换为标准的 NumPy 数组。

当与其他 ml / mllib 工具一起使用时，它们会被序列化并转换为 Java 等效物，因此 Python 表示的性能基本上无关紧要。

这意味着真正需要关注的最大问题是存储，一个简单的经验法则是：

• 如果平均有一半的条目为零，最好使用 SparseVector。
• 否则，最好使用 DenseVector。