Tensorflow 占位符 vs Tensorflow 常量 vs Numpy 数组

我正在尝试在一个卷积神经网络上进行前向传递,该网络包含一个卷积层,后跟一个池化层,最后是一个整流线性单元(ReLU)激活层。输入数据和卷积层滤波器的详细信息如下:

  • X:4维输入数据,形状为[N, H, W, C],其中N = 60000是批量大小,H = 32是输入图像的高度,W = 32是输入图像的宽度,C = 1是输入图像的通道数。
  • W:4维卷积滤波器,形状为[F, F, C, Cout],其中F = 3是滤波器的高度和宽度,C = 1是输入图像的通道数,Cout = 6是输出图像的通道数。

有三种方法可以实现这一点。

方法1:不使用tf.constant()tf.placeholder()

方法2:使用tf.constant()

方法3:使用tf.placeholder()

方法3(使用tf.placeholder())的运行速度比方法1和方法2快了近4-5倍。所有这些实验都是在NVIDIA GeForce GTX 1080 GPU上进行的。

问题是为什么在方法3中仅使用tf.placeholder()就能比方法1和方法2快近4-5倍?在其底层实现中,tf.placeholder()做了什么,才使得其性能如此出色?


回答:

感谢@y.selivonchyk 提供了宝贵的实验数据,但我想答案并没有详细说明这些结果为何会出现。

我认为这并不完全是因为‘占位符’有多好,而是因为另外两种方法的实现方式不佳。

我猜想方法1和方法2实际上是相同的,方法1可能在底层将数组转换为常量——至少这可以解释它们表现出相同的行为。

方法1和方法2耗时如此之长的原因是constant被显式嵌入到计算图中。因为它们是相当大的张量,这解释了为什么构建图需要这么长时间。然而,一旦图构建完成,后续运行会更快,因为一切都“包含”在其中。一般来说,您应该尽量避免将大量数据包含在图本身中——图理想情况下应该只是计算指令的集合(即Tensorflow操作)。

在方法3中,图构建速度更快,因为我们没有在其中嵌入巨大的数组,只是一个符号占位符。然而,执行速度比方法1和方法2慢,因为每次都需要将值馈送到占位符中(这也意味着如果您在GPU上运行,数据需要传输到GPU上)。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注