我正在考虑使用Apache Spark（Java版本）来进行一个项目，但这个项目需要数据处理框架支持嵌套迭代。我还没有找到任何关于这方面的确认，它是否支持呢？另外，有没有使用嵌套迭代的例子？

谢谢！

回答：

几乎任何事情都可以做到，但问题在于什么样的操作模式适合去做。Spark的操作本质上是并行的，而不是迭代的。也就是说，某些操作是并行地对数据的多个部分进行处理，而不是对每个部分顺序地进行处理（然后再重复进行）。

然而，Spark（驱动程序）本身就是一个程序，可以在本地做任何你想做的事情。当然，嵌套循环或其他你喜欢的操作完全可以像在任何Scala程序中一样进行。

我认为你可以使用Spark操作来进行分桶处理，并计算每个桶的汇总统计数据，但其余的简单逻辑可以在驱动程序上本地运行。

所以流程是这样的：

• 广播一个分桶方案
• 根据该方案在分布式操作中进行分桶
• 将小的汇总统计数据拉取到驱动程序
• 更新分桶方案并再次发送
• 重复…