我在https://spark.apache.org/docs/latest/ml-tuning.html#cross-validation上找到了交叉验证的代码示例

文档中提到：

CrossValidator首先将数据集分割成若干个折叠，这些折叠被用作独立的训练和测试数据集。例如，使用k=3折时，CrossValidator将生成3对（训练，测试）数据集，每对使用2/3的数据用于训练，1/3用于测试。

所以我不明白为什么代码中数据被分成了训练和测试部分：

// Run cross-validation, and choose the best set of parameters.val cvModel = cv.fit(training)// Prepare test documents, which are unlabeled (id, text) tuples.val test = spark.createDataFrame(Seq(  (4L, "spark i j k"),  (5L, "l m n"),  (6L, "mapreduce spark"),  (7L, "apache hadoop"))).toDF("id", "text")// Make predictions on test documents. cvModel uses the best model found (lrModel).cvModel.transform(test)  .select("id", "text", "probability", "prediction")  .collect()  .foreach { case Row(id: Long, text: String, prob: Vector, prediction: Double) =>    println(s"($id, $text) --> prob=$prob, prediction=$prediction")  }

是否可以不分割数据就进行交叉验证并获得预测结果？

回答：

将数据分成training和test是为了避免使用用于调整超参数的数据再次用来评估最终模型的性能。这样做是为了避免在训练过的数据上评估模型，因为那样会过于乐观。

或许把test看作“验证”数据集会更有帮助，因为在每个k折中，training被分割成2/3的训练数据和1/3的测试数据。

这里有一个关于嵌套交叉验证的好解释

另见这个问题，它更好地解释了为什么将数据分成三组可能是有意义的。