为什么要使用 tf.data?

我在学习 TensorFlow,tf.data API 让我感到困惑。显然,它在处理大型数据集时表现更好,但使用数据集时,必须将其转换回张量。但为什么不直接使用张量呢?为什么以及在什么时候我们应该使用 tf.data?

为什么 tf.data 不能一次性返回整个数据集,而是通过 for 循环处理?当我只是最小化数据集的一个函数(比如使用 tf.losses.mean_squared_error 时),我通常通过张量或 numpy 数组输入数据,我不知道如何通过 for 循环输入数据。我该怎么做?


回答:

  • tf.data 模块具有特定的工具,可以帮助构建机器学习模型的输入管道。一个输入管道接收原始数据,对其进行处理,然后将其输入到模型中。

我什么时候应该使用 tf.data 模块?

tf.data 模块在你拥有以文件形式的大型数据集时很有用,比如 .csv 或 .tfrecord。 tf.data.Dataset 可以高效地执行样本的洗牌和批处理。对于大型数据集和小型数据集都很有用。它还可以合并训练和测试数据集。

我如何创建批次并遍历它们进行训练?

我认为你可以用 NumPy 和 np.reshape 方法高效地做到这一点。Pandas 可以为你读取数据文件。然后,你只需要一个 for ... in ... 循环来获取每个批次并将其传递给你的模型。

我如何将 NumPy 数据输入到 TensorFlow 模型中?

有两种选择可以使用 tf.placeholder()tf.data.Dataset

  1. tf.data.Dataset 是一个更简单的实现。我建议使用它。此外,它还具有一些很好的方法集。
  2. tf.placeholder 创建一个占位符张量,用于将数据输入到 TensorFlow 图中。这个过程会消耗更多的时间来输入数据。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注