我正在尝试将数据集中的实例分类为两个类别中的一个，即a或b。b类是少数类，仅占数据集的8%。所有实例都被分配了一个id，指示生成数据的主体。由于每个主体生成了多个实例，id在数据集中经常重复出现。
下表仅为示例，实际表格大约有100,000个实例。每个主体id在表中大约有100个实例。如下所示的”larry”，每个主体只与一个类别相关联。
* field * field * id * class ******************************************* 0 * _ * _ * bob * a 1 * _ * _ * susan * a 2 * _ * _ * susan * a 3 * _ * _ * bob * a 4 * _ * _ * larry * b 5 * _ * _ * greg * a 6 * _ * _ * larry * b 7 * _ * _ * bob * a 8 * _ * _ * susan * a 9 * _ * _ * susan * a 10 * _ * _ * bob * a 11 * _ * _ * greg * a ... ... ... ... ...我想使用交叉验证来调整模型，并且必须对数据集进行分层处理，以便每个折叠包含少数类b的一些示例。问题是我还有第二个约束条件，相同的id不能出现在两个不同的折叠中，因为这会泄露关于主体的信息。
我使用的是Python的scikit-learn库。我需要一种方法来结合LabelKFold，它确保标签（id）不会在折叠之间分裂，以及StratifiedKFold，它确保每个折叠具有相似的类别比例。我如何使用scikit-learn实现上述目标？如果在sklearn中无法根据两个约束条件进行分割，我如何有效地手动分割数据集或使用其他Python库进行分割？
回答：
以下内容在索引方面有点棘手（使用像Pandas这样的工具会有所帮助），但概念上很简单。
假设你创建了一个虚拟数据集，其中独立变量只有id和class。此外，在这个数据集中，删除重复的id条目。
对于你的交叉验证，在虚拟数据集上运行分层交叉验证。在每次迭代中：
-
找出哪些
id被选为训练集和测试集 -
返回到原始数据集，并根据需要将属于
id的所有实例插入到训练集和测试集中。
这是有效的，因为：
-
如你所说，每个
id与单一标签相关联。 -
由于我们运行了分层CV，每个类别按比例表示。
-
由于每个
id仅出现在训练集或测试集中（但不是两者兼有），它也被标记了。
