我有一个包含两个多维数组[prev_sentences, current_sentences]的训练数据，当我使用简单的model.fit方法时，出现了内存错误。我现在想使用fit_generator，但不知道如何将训练数据分割成批次以供model.fit_generator使用。训练数据的形状为(111356,126,1024)和(111356,126,1024)，y_train的形状为(111356,19)。这是简单fit方法的代码行。

history=model.fit([previous_sentences, current_sentences], y_train,                  epochs=15,batch_size=256,                  shuffle = False, verbose = 1,                  validation_split=0.2,                  class_weight=custom_weight_dict,                  callbacks=[early_stopping_cb])

我从未使用过fit_generator和数据生成器，所以我完全不知道如何分割这些训练数据以使用fit_generator。谁能帮助我使用fit_generator创建批次？

回答：

这是用于将训练数据分割成小批次的数据生成器：

def generate_data(X1,X2,Y,batch_size):  p_input=[]  c_input=[]  target=[]  batch_count=0  for i in range(len(X1)):    p_input.append(X1[i])    c_input.append(X2[i])    target.append(Y[i])    batch_count+=1    if batch_count>batch_size:      prev_X=np.array(p_input,dtype=np.int64)      cur_X=np.array(c_input,dtype=np.int64)      cur_y=np.array(target,dtype=np.int32)      print(len(prev_X),len(cur_X))      yield ([prev_X,cur_X],cur_y )       p_input=[]      c_input=[]      target=[]      batch_count=0  return

这是代替model.fit方法的fit_generator函数调用：

batch_size=256epoch_steps=math.ceil(len(previous_sentences)/ batch_size)hist = model.fit_generator(generate_data(previous_sentences,current_sentences, y_train, batch_size),                steps_per_epoch=epoch_steps,                callbacks = [early_stopping_cb],                validation_data=generate_data(val_prev, val_curr,y_val,batch_size),                validation_steps=val_steps,  class_weight=custom_weight_dict,                 verbose=1)