我目前正在处理一个大型的不平衡数据集，我想知道是否可以使用sklearn中的时间序列分割交叉验证方法将我的训练样本分割成多个“折叠”。我希望每个折叠仅包含该特定折叠时间范围内的横截面观测值。
如前所述，我正在处理一个使用Pandas多重索引的不平衡面板数据集。以下是一个可重现的示例，以提供更多直观理解：
arrays = [np.array(['A', 'A', 'A', 'B', 'B', 'C', 'C', 'D', 'D', 'D', 'D']), np.array(['2000-01', '2000-02', '2000-03', '1999-12', '2000-01', '2000-01', '2000-02', '1999-12', '2000-01', '2000-02', '2000-03'])]s = pd.DataFrame(np.random.randn(11, 4), index=arrays)然后看起来如下：
例如，我希望最初将1999-12的所有横截面单位作为训练样本，将2000-01的所有横截面单位作为验证样本。接下来，我希望将1999-12和2000-01的所有横截面单位作为训练样本，将2000-02的所有横截面单位作为验证样本，依此类推。这是否可以使用TimeSeriesSplit函数实现，还是需要寻找其他方法？
回答：
TimeSeriesSplit 是 KFold 的一种变体，它确保每个连续折叠的索引值递增。正如文档中所述：
在每次分割中，测试索引必须高于之前的… [另外] 请注意，与标准的交叉验证方法不同， successive training sets are supersets of those that come before them.
还要记住，KFold 和 TimeSeriesSplit 返回的是索引。你已经有了你想要的索引。
一个问题是在MultiIndex中访问DateTimeIndex切片过于困难和复杂。请参见这里、这里和这里。由于你无论如何都在这个点上提取数据，重置索引和切片似乎是可以接受的。特别是因为重置索引不会就地发生。
最后，我建议将那个类似日期时间的索引转换为实际的日期时间数据类型。
import pandas as pdimport numpy as npimport datetimearrays = [np.array(['A', 'A', 'A', 'B', 'B', 'C', 'C', 'D', 'D', 'D', 'D']), np.array(['2000-01', '2000-02', '2000-03', '1999-12', '2000-01', '2000-01', '2000-02', '1999-12', '2000-01', '2000-02', '2000-03'])]# 将其转换为日期时间arrays[1] = pd.to_datetime(arrays[1])df = pd.DataFrame(np.random.randn(11, 4), index=arrays)df.index.sort_values()folds = df.reset_index() # 重置索引后，df仍然保留其多重索引# 你可以在这些行的末尾添加 .iloc[:, 2:] 以仅获取值# 使用你预定义的条件来访问日期时间fold1 = folds[folds["level_1"] <=datetime.datetime(2000, 1, 1)]fold2 = folds[folds["level_1"] == datetime.datetime(2000, 2, 1)]fold3 = folds[folds["level_1"] == datetime.datetime(2000, 3, 1)]