我使用了提供35 GB内存的TPU。在尝试运行这个代码片段之前，我有20 GB的可用内存。但由于内存不足（提示需要超过35 GB），我无法运行那个代码片段。我使用了一个6 GB的数据集。为什么这个代码占用了那么多空间？我使用了垃圾回收器并删除了之前使用的dataframe。我能做些什么来让这个代码运行起来呢？
可用内存：26.4 GB | 进程大小：156.4 MBGPU 可用内存：16280MB | 使用量：0MB | 使用率 0% | 总量 16280MB
seed = 7test_size = 0.4X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size)gc.collect()model=KNeighborsClassifier(n_neighbors=6,algorithm='kd_tree',n_jobs=25)model.fit(X_train, y_train)回答：
在Python中，数据科学的工作流程通常非常耗费内存。例如，如果你的输入数据X, Y消耗了6GB，那么这行代码
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size)将消耗另外6 GB（每个创建的子集不是原始数组的视图，而是一个具有新内存占用的新数组对象）。
在KNeighborsClassifier内部，可能会制作数据的其他副本（例如，该算法中的代码要求输入数组是连续的C-ordered float64数组，如果你的数据不符合这一标准，将会制作一个副本）。
一般来说，基于numpy的数据科学工作流程的一个好经验法则是，你需要大约4-5倍于你所处理的原始数据大小的内存，除非你非常小心地防止数据复制。
