为什么要使用 tf.data?

我在学习 TensorFlow,tf.data API 让我感到困惑。显然,它在处理大型数据集时表现更好,但使用数据集时,必须将其转换回张量。但为什么不直接使用张量呢?为什么以及在什么时候我们应该使用 tf.data?

为什么 tf.data 不能一次性返回整个数据集,而是通过 for 循环处理?当我只是最小化数据集的一个函数(比如使用 tf.losses.mean_squared_error 时),我通常通过张量或 numpy 数组输入数据,我不知道如何通过 for 循环输入数据。我该怎么做?


回答:

  • tf.data 模块具有特定的工具,可以帮助构建机器学习模型的输入管道。一个输入管道接收原始数据,对其进行处理,然后将其输入到模型中。

我什么时候应该使用 tf.data 模块?

tf.data 模块在你拥有以文件形式的大型数据集时很有用,比如 .csv 或 .tfrecord。 tf.data.Dataset 可以高效地执行样本的洗牌和批处理。对于大型数据集和小型数据集都很有用。它还可以合并训练和测试数据集。

我如何创建批次并遍历它们进行训练?

我认为你可以用 NumPy 和 np.reshape 方法高效地做到这一点。Pandas 可以为你读取数据文件。然后,你只需要一个 for ... in ... 循环来获取每个批次并将其传递给你的模型。

我如何将 NumPy 数据输入到 TensorFlow 模型中?

有两种选择可以使用 tf.placeholder()tf.data.Dataset

  1. tf.data.Dataset 是一个更简单的实现。我建议使用它。此外,它还具有一些很好的方法集。
  2. tf.placeholder 创建一个占位符张量,用于将数据输入到 TensorFlow 图中。这个过程会消耗更多的时间来输入数据。

Related Posts

在使用k近邻算法时,有没有办法获取被使用的“邻居”?

我想找到一种方法来确定在我的knn算法中实际使用了哪些…

Theano在Google Colab上无法启用GPU支持

我在尝试使用Theano库训练一个模型。由于我的电脑内…

准确性评分似乎有误

这里是代码: from sklearn.metrics…

Keras Functional API: “错误检查输入时:期望input_1具有4个维度,但得到形状为(X, Y)的数组”

我在尝试使用Keras的fit_generator来训…

如何使用sklearn.datasets.make_classification在指定范围内生成合成数据?

我想为分类问题创建合成数据。我使用了sklearn.d…

如何处理预测时不在训练集中的标签

已关闭。 此问题与编程或软件开发无关。目前不接受回答。…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注