我的TensorFlow模型使用tf.random_uniform
来初始化变量。我希望在开始训练时指定范围,因此我为初始化值创建了一个占位符。
init = tf.placeholder(tf.float32, name="init")v = tf.Variable(tf.random_uniform((100, 300), -init, init), dtype=tf.float32)initialize = tf.initialize_all_variables()
我在训练开始时这样初始化变量。
session.run(initialize, feed_dict={init: 0.5})
这会给我以下错误:
ValueError: initial_value must have a shape specified: Tensor("Embedding/random_uniform:0", dtype=float32)
我无法找出传递给tf.placeholder
的正确shape
参数。我认为对于标量,我应该这样做init = tf.placeholder(tf.float32, shape=0, name="init")
,但这会导致以下错误:
ValueError: Incompatible shapes for broadcasting: (100, 300) and (0,)
如果我在调用tf.random_uniform
时用字面值0.5
替换init
,它会工作。
我如何通过feed字典传递这个标量初始值?
回答:
TL;DR: 按如下方式定义init
为标量形状:
init = tf.placeholder(tf.float32, shape=(), name="init")
这看起来像是tf.random_uniform()
的一个不幸的实现细节:它当前使用tf.add()
和tf.multiply()
来将随机值从[-1, +1]重新缩放到[minval
, maxval
],但如果minval
或maxval
的形状未知,tf.add()
和tf.multiply()
无法推断出正确的形状,因为可能涉及广播。
通过定义init
为已知形状(标量是()
或[]
,而不是0
),TensorFlow可以对tf.random_uniform()
结果的形状进行正确的推断,你的程序应该按预期工作。