在TensorFlow.keras 2.0中,验证数据可以是生成器吗?

tensorflow.keras的官方文档中,

验证数据可以是:Numpy数组或张量的元组(x_val, y_val),或者Numpy数组的元组(x_val, y_val, val_sample_weights),或者数据集。对于前两种情况,必须提供batch_size。对于最后一种情况,可以提供validation_steps。

文档中没有提到生成器是否可以作为验证数据。因此,我想知道验证数据是否可以是一个数据生成器?就像以下代码那样:

net.fit_generator(train_it.generator(), epoch_iterations * batch_size, nb_epoch=nb_epoch, verbose=1,                  validation_data=val_it.generator(), nb_val_samples=3,                  callbacks=[checker, tb, stopper, saver])

更新:在keras的官方文档中,内容相同,但增加了另一句话:

  • 数据集或数据集迭代器

考虑到

数据集对于前两种情况,必须提供batch_size。对于最后一种情况,可以提供validation_steps。

我认为应该有三种情况。Keras的文档是正确的。所以我将在tensorflow.keras中提交一个问题来更新文档。


回答:

是的,可以使用生成器,这点很奇怪,文档中没有提到,但它确实可以像x参数一样工作,你也可以使用keras.Sequencegenerator。在我的项目中,我经常使用keras.Sequence,它就像一个生成器一样工作。

显示它可以工作的最小工作示例:

import numpy as npfrom tensorflow.keras import Sequentialfrom tensorflow.keras.layers import Dense, Flattendef generator(batch_size): # 创建空数组来包含特征和标签的批次    batch_features = np.zeros((batch_size, 1000))    batch_labels = np.zeros((batch_size,1))    while True:        for i in range(batch_size):            yield batch_features, batch_labelsmodel = Sequential()model.add(Dense(125, input_shape=(1000,), activation='relu'))model.add(Dense(8, activation='relu'))model.add(Dense(1, activation='sigmoid'))model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])train_generator = generator(64)validation_generator = generator(64)model.fit(train_generator, validation_data=validation_generator, validation_steps=100, epochs=100, steps_per_epoch=100)

100/100 [==============================] – 1s 13ms/step – loss: 0.6689 – accuracy: 1.0000 – val_loss: 0.6448 – val_accuracy: 1.0000 Epoch 2/100 100/100 [==============================] – 0s 4ms/step – loss: 0.6223 – accuracy: 1.0000 – val_loss: 0.6000 – val_accuracy: 1.0000 Epoch 3/100 100/100 [==============================] – 0s 4ms/step – loss: 0.5792 – accuracy: 1.0000 – val_loss: 0.5586 – val_accuracy: 1.0000 Epoch 4/100 100/100 [==============================] – 0s 4ms/step – loss: 0.5393 – accuracy: 1.0000 – val_loss: 0.5203 – val_accuracy: 1.0000

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注