我在做学校项目。有一个用C++编写的视频重复检测应用程序。该应用程序设计为在单台机器上运行，我希望创建一个Spark集群并在该集群下运行此应用程序。这可能吗？难吗？

回答：

让我尝试回答你的问题：

首先，你需要弄清楚这个C++应用程序的格式是什么？

它是源代码还是二进制可执行文件？

• source code

你可以用Java/Scala实现这个算法，并最大限度地利用集群资源，使你的任务比单机版本快得多。

如果你的时间有限，你可以使用gcc编译你的C++源代码，然后按照下面的方法进行。

• binary executable bin

因为Java/Scala字节码（.class格式）在JVM上运行，与机器上的原生代码不兼容，这取决于编译器和操作系统的组合。

在这种情况下，唯一的选择是启动一个新进程来执行C++可执行文件，并通过进程间通信（如管道）获取你想要的结果。

总之，你应该在驱动节点上启动一个新进程来去重你的数据，并使用Spark引擎进行后续的并行计算以加速你的项目。

在Scala或Java中启动新进程非常简单，请参考文档：Process