在tensorflow.keras的官方文档中,
验证数据可以是:Numpy数组或张量的元组(x_val, y_val),或者Numpy数组的元组(x_val, y_val, val_sample_weights),或者数据集。对于前两种情况,必须提供batch_size。对于最后一种情况,可以提供validation_steps。
文档中没有提到生成器是否可以作为验证数据。因此,我想知道验证数据是否可以是一个数据生成器?就像以下代码那样:
net.fit_generator(train_it.generator(), epoch_iterations * batch_size, nb_epoch=nb_epoch, verbose=1, validation_data=val_it.generator(), nb_val_samples=3, callbacks=[checker, tb, stopper, saver])
更新:在keras的官方文档中,内容相同,但增加了另一句话:
- 数据集或数据集迭代器
考虑到
数据集对于前两种情况,必须提供batch_size。对于最后一种情况,可以提供validation_steps。
我认为应该有三种情况。Keras的文档是正确的。所以我将在tensorflow.keras中提交一个问题来更新文档。
回答:
是的,可以使用生成器,这点很奇怪,文档中没有提到,但它确实可以像x
参数一样工作,你也可以使用keras.Sequence
或generator
。在我的项目中,我经常使用keras.Sequence
,它就像一个生成器一样工作。
显示它可以工作的最小工作示例:
import numpy as npfrom tensorflow.keras import Sequentialfrom tensorflow.keras.layers import Dense, Flattendef generator(batch_size): # 创建空数组来包含特征和标签的批次 batch_features = np.zeros((batch_size, 1000)) batch_labels = np.zeros((batch_size,1)) while True: for i in range(batch_size): yield batch_features, batch_labelsmodel = Sequential()model.add(Dense(125, input_shape=(1000,), activation='relu'))model.add(Dense(8, activation='relu'))model.add(Dense(1, activation='sigmoid'))model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])train_generator = generator(64)validation_generator = generator(64)model.fit(train_generator, validation_data=validation_generator, validation_steps=100, epochs=100, steps_per_epoch=100)
100/100 [==============================] – 1s 13ms/step – loss: 0.6689 – accuracy: 1.0000 – val_loss: 0.6448 – val_accuracy: 1.0000 Epoch 2/100 100/100 [==============================] – 0s 4ms/step – loss: 0.6223 – accuracy: 1.0000 – val_loss: 0.6000 – val_accuracy: 1.0000 Epoch 3/100 100/100 [==============================] – 0s 4ms/step – loss: 0.5792 – accuracy: 1.0000 – val_loss: 0.5586 – val_accuracy: 1.0000 Epoch 4/100 100/100 [==============================] – 0s 4ms/step – loss: 0.5393 – accuracy: 1.0000 – val_loss: 0.5203 – val_accuracy: 1.0000