在进行机器学习任务时，我需要处理相当大的数据集。因此，我无法一次性将整个数据集加载到我的算法中。我正在寻找一种方法，可以将数据集分部分地训练我的算法，简单地输入新的数据块是行不通的，因为我的算法会重新拟合，而不会考虑之前的示例。是否有某种方法可以让我向算法输入新数据，同时“记住”之前看到的数据？

编辑：我使用的算法是来自scikit-learn的SGDRegressor。

代码如下：

train = pd.read_csv(os.path.join(dir,"Train.csv"),chunksize = 5000)labels = pd.read_csv(os.path.join(dir,"Labels.csv"),chunksize = 5000)algo = SGDRegressor(n_iter = 75)print("looping for chunks in train")for chunk in train:    algo.fit(train,labels)

回答：

您可以使用partial_fit来向SGDRegressor输入部分训练数据。

请查看示例代码。