我有一个二分类问题的数据集，其中两个类别数量相等。由于数据集无法一次性载入内存（400万数据点），我将其存储为HDF5文件，并通过fit_generator逐步读取并输入到一个简单的Keras模型中。问题是使用fit_generator时验证准确率很低，而如果直接使用fit，一切正常。我之前提到数据集无法一次性载入内存，但为了调试和本文的其余部分，我只使用了400万数据点中的10万点。

由于目标是对整个数据集进行分层10折交叉验证，我手动将数据集的索引划分为训练、验证和评估集的索引。我调用fit_generator，使用一个生成器函数，生成覆盖HDF5文件前四分之一、后四分之一等指定索引的训练（或验证）样本和标签批次。

我知道fit_generator的验证部分在底层使用test_on_batch，evaluate_generator也是如此。我也尝试了一种使用train_on_batch和test_on_batch的方法，但结果相同：使用fit_generator及其类似方法时验证准确率很低，而如果将数据集一次性载入内存使用fit，验证准确率很高。在两种情况下（fit与fit_generator）模型是相同的。

数据集和模型

我的调试数据集有约10万个样本和标签（类别0约5万，类别1约5万）。训练和验证在数据集的75%上进行（我有大约6万个样本用于训练，1.5万个用于验证）。两个类别在训练和验证样本中均匀分布。

以下是我使用的非常简单的模型：

input_layer = Input(shape=(2581,), dtype='float32')hidden_layer = Dense(512, activation='relu', input_shape=(2581, 1))(input_layer)output_layer = Dense(1, activation='sigmoid')(hidden_layer)model = Model(inputs=[input_layer], outputs=[output_layer])model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['accuracy'])

fit效果很好…

由于这个小数据集可以轻松载入内存，以下是我如何直接使用上面创建的模型调用fit；train_idx是训练集的索引，valid_idx是验证集的索引：

model.fit(features[train_idx], labels[train_idx],          batch_size=128, epochs=5,          shuffle=True,          validation_data=(features[valid_idx], labels[valid_idx]))

这是我使用fit得到的val_acc：

58847/58847 [==============================] - 4s 70us/step - loss: 0.4075 - acc: 0.8334 - val_loss: 0.3259 - val_acc: 0.8828Epoch 2/558847/58847 [==============================] - 4s 61us/step - loss: 0.2757 - acc: 0.8960 - val_loss: 0.2686 - val_acc: 0.9039Epoch 3/558847/58847 [==============================] - 4s 61us/step - loss: 0.2219 - acc: 0.9212 - val_loss: 0.2162 - val_acc: 0.9227Epoch 4/558847/58847 [==============================] - 4s 61us/step - loss: 0.1855 - acc: 0.9353 - val_loss: 0.1992 - val_acc: 0.9314Epoch 5/558847/58847 [==============================] - 4s 60us/step - loss: 0.1583 - acc: 0.9456 - val_loss: 0.1763 - val_acc: 0.9390

…但fit_generator不行

我期望fit_generator能得到相同的结果：

model.fit_generator(generate_data(hdf5_file, train_idx, batch_size),                    steps_per_epoch=len(train_idx) // batch_size,                    epochs=5,                    shuffle=False,                    validation_data=generate_data(hdf5_file, valid_idx, batch_size),                    validation_steps=len(valid_idx) // batch_size)

但我得到的val_acc在每个周期都是相同的，好像只预测了一个类别：

460/460 [==============================] - 8s 17ms/step - loss: 0.3230 - acc: 0.9447 - val_loss: 6.9277 - val_acc: 0.4941Epoch 2/5460/460 [==============================] - 6s 14ms/step - loss: 0.9536 - acc: 0.8627 - val_loss: 7.1385 - val_acc: 0.4941Epoch 3/5460/460 [==============================] - 6s 14ms/step - loss: 0.8764 - acc: 0.8839 - val_loss: 7.0521 - val_acc: 0.4941Epoch 4/5460/460 [==============================] - 6s 13ms/step - loss: 0.9005 - acc: 0.8885 - val_loss: 7.0459 - val_acc: 0.4941Epoch 5/5460/460 [==============================] - 6s 14ms/step - loss: 0.9259 - acc: 0.8907 - val_loss: 7.0880 - val_acc: 0.4941

请注意以下几点：

• generate_data生成器用于训练和验证。
• 调用fit_generator时设置shuffle=False，因为生成器本身处理了洗牌（无论如何，设置shuffle=True也不会改变val_acc）。

回答：