在TensorFlow.keras 2.0中,验证数据可以是生成器吗?

tensorflow.keras的官方文档中,

验证数据可以是:Numpy数组或张量的元组(x_val, y_val),或者Numpy数组的元组(x_val, y_val, val_sample_weights),或者数据集。对于前两种情况,必须提供batch_size。对于最后一种情况,可以提供validation_steps。

文档中没有提到生成器是否可以作为验证数据。因此,我想知道验证数据是否可以是一个数据生成器?就像以下代码那样:

net.fit_generator(train_it.generator(), epoch_iterations * batch_size, nb_epoch=nb_epoch, verbose=1,                  validation_data=val_it.generator(), nb_val_samples=3,                  callbacks=[checker, tb, stopper, saver])

更新:在keras的官方文档中,内容相同,但增加了另一句话:

  • 数据集或数据集迭代器

考虑到

数据集对于前两种情况,必须提供batch_size。对于最后一种情况,可以提供validation_steps。

我认为应该有三种情况。Keras的文档是正确的。所以我将在tensorflow.keras中提交一个问题来更新文档。


回答:

是的,可以使用生成器,这点很奇怪,文档中没有提到,但它确实可以像x参数一样工作,你也可以使用keras.Sequencegenerator。在我的项目中,我经常使用keras.Sequence,它就像一个生成器一样工作。

显示它可以工作的最小工作示例:

import numpy as npfrom tensorflow.keras import Sequentialfrom tensorflow.keras.layers import Dense, Flattendef generator(batch_size): # 创建空数组来包含特征和标签的批次    batch_features = np.zeros((batch_size, 1000))    batch_labels = np.zeros((batch_size,1))    while True:        for i in range(batch_size):            yield batch_features, batch_labelsmodel = Sequential()model.add(Dense(125, input_shape=(1000,), activation='relu'))model.add(Dense(8, activation='relu'))model.add(Dense(1, activation='sigmoid'))model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])train_generator = generator(64)validation_generator = generator(64)model.fit(train_generator, validation_data=validation_generator, validation_steps=100, epochs=100, steps_per_epoch=100)

100/100 [==============================] – 1s 13ms/step – loss: 0.6689 – accuracy: 1.0000 – val_loss: 0.6448 – val_accuracy: 1.0000 Epoch 2/100 100/100 [==============================] – 0s 4ms/step – loss: 0.6223 – accuracy: 1.0000 – val_loss: 0.6000 – val_accuracy: 1.0000 Epoch 3/100 100/100 [==============================] – 0s 4ms/step – loss: 0.5792 – accuracy: 1.0000 – val_loss: 0.5586 – val_accuracy: 1.0000 Epoch 4/100 100/100 [==============================] – 0s 4ms/step – loss: 0.5393 – accuracy: 1.0000 – val_loss: 0.5203 – val_accuracy: 1.0000

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注