我对机器学习还比较新手。我遇到了数据泄漏的概念。文章说，在进行预处理步骤之前应始终分割数据。

我的问题是，像离散化、将类别组合到一个类别以减少基数、将分类变量转换为二进制变量等步骤是否会导致数据泄漏？

我应该在应用这些步骤之前将数据分割为训练集和测试集吗？

另外，为了避免数据泄漏，我需要特别注意哪些主要的预处理步骤？

回答：

这是一个非常有趣的话题，我将尽量简洁明了地解释。数据泄漏是指你的机器学习模型在现实或生产环境中找不到的预测变量上进行训练的状态。如果你在训练数据上执行预处理步骤，那么在测试数据上进行预测时也应该执行相同的步骤，但这并不会导致数据泄漏。一些机器学习库会为你完成这些步骤，例如 R 的 recipes 来自 tidymodels。

回答你的问题，你在进行数据预处理和特征工程时不应该担心数据泄漏，而应该在更早之前，当你定义问题和选择用于训练模型的数据时就加以防范。以下是一个我在实践中反复遇到的例子：

假设你正在拟合一个机器学习模型来预测公司某产品未来一年的销售情况。为了实现这一目标，你使用了该产品的历史数据以及互补和替代产品的数据。模型的训练和测试性能都很好，你计划将模型投入生产，但你面临一个巨大问题：互补和替代产品的数据在一年后才能获得。到那时，进行一年期的预测已经没有意义，因为你已经能够观察到销售数据了。

总之，这种数据泄漏情况可以通过预测你的独立变量来预防，或者只使用不需要更多变量的时序模型。这只是数据泄漏的一种情况，你可以在 Max Kuhn 优秀的书籍 “Feature Engineering and Selection: a practical approach for predictive models” 中找到更多相关内容。