基本上，我有8GB的CSV数据，我想随机打乱它，以便在我的机器学习模型中进行小批量处理。然而，如果我直接将8GB的数据加载到Python中并进行打乱，显然会遇到内存问题。

但是，如果我分块加载数据然后打乱它，由于数据最初是排序的，数据仍然会保持原来的模式。这是我目前所做的。

import pandas as pd
import numpy as np
# 获取大小等于CHUNK_SIZE的数据
reader = pd.read_csv(path, header=0, iterator=True)
data = reader.get_chunk(CHUNK_SIZE)
# 随机打乱数据
data = np.random.shuffle(data)

有没有什么方法可以快速高效地做到这一点？谢谢。

更新：我大约有30,000,000行数据，并且这些数据按时间排序。

回答：

这里有一个概念…

使用Perl生成30,000,000行的CSV文件 – 在我的Mac上耗时11秒：

perl -E 'for($i=0;$i<30000000;$i++){say "Line $i,field2,field3,",int rand 100}' > BigBoy.csv

样本输出

Line 0,field2,field3,49
Line 1,field2,field3,6
Line 2,field2,field3,15
...
Line 29999998,field2,field3,79
Line 29999999,field2,field3,19

取1%的行并打乱它们 – 耗时3秒，占用15MB的内存：

awk 'rand()>0.99' BigBoy.csv | gshuf > RandomSet.csv

RandomSet.csv包含299,748行：

样本输出

Line 15348259,field2,field3,95
Line 1642442,field2,field3,93
Line 29199452,field2,field3,52

gshuf在Mac上使用homebrew安装：

brew install coreutils