使用tensorflow构建seq2seq模型时出现错误

我正在尝试理解tensorflow中seq2seq.py文件中定义的seq2seq模型。我使用了从tensorflow附带的translate.py示例中复制的一些代码。我不断遇到相同的错误,并且实在不明白错误的来源。

重现错误的最小代码示例:

import tensorflow as tffrom tensorflow.models.rnn import rnn_cellfrom tensorflow.models.rnn import seq2seqencoder_inputs = []decoder_inputs = []for i in xrange(350):      encoder_inputs.append(tf.placeholder(tf.int32, shape=[None],                                              name="encoder{0}".format(i)))for i in xrange(45):    decoder_inputs.append(tf.placeholder(tf.int32, shape=[None],                                         name="decoder{0}".format(i)))model = seq2seq.basic_rnn_seq2seq(encoder_inputs,                                  decoder_inputs,rnn_cell.BasicLSTMCell(512))

在评估最后一行时我得到的错误(我在python解释器中交互式地评估它):

    >>>  Traceback (most recent call last):      File "<stdin>", line 1, in <module>      File "/tmp/py1053173el", line 12, in <module>      File "/usr/local/lib/python2.7/dist-packages/tensorflow/models/rnn/seq2seq.py", line 82, in basic_rnn_seq2seq        _, enc_states = rnn.rnn(cell, encoder_inputs, dtype=dtype)      File "/usr/local/lib/python2.7/dist-packages/tensorflow/models/rnn/rnn.py", line 85, in rnn        output_state = cell(input_, state)      File "/usr/local/lib/python2.7/dist-packages/tensorflow/models/rnn/rnn_cell.py", line 161, in __call__        concat = linear.linear([inputs, h], 4 * self._num_units, True)      File "/usr/local/lib/python2.7/dist-packages/tensorflow/models/rnn/linear.py", line 32, in linear        raise ValueError("Linear is expecting 2D arguments: %s" % str(shapes))    ValueError: Linear is expecting 2D arguments: [[None], [None, 512]]

我怀疑错误出在我这边:) 顺便说一句,文档和教程真的很好,但序列到序列模型的示例代码(英语到法语的翻译示例)相当密集。你还得在文件之间跳来跳去才能理解发生了什么。至少我好几次在代码中迷失了方向。

在这里,一个构建和训练基本seq2seq模型的最小示例(可能是在一些玩具数据上)将非常有帮助。有人知道这是否已经存在于某个地方吗?

编辑我已经根据@Ishamael的建议修复了上面的代码(意味着没有错误返回)(见下文),但在这个修复版本中仍然有一些不清楚的地方。我的输入是一系列长度为2的实值向量。我的输出是一系列长度为22的二进制向量。我的tf.placeholder代码不应该如下所示吗? (编辑 是的)

tf.placeholder(tf.float32, shape=[None,2],name="encoder{0}".format(i))tf.placeholder(tf.float32, shape=[None,22],name="encoder{0}".format(i))

我还不得不将上面的tf.int32改为tf.float32。因为我的输出是二进制的。对于我的解码器的tf.placeholder,这不应该是tf.int32吗?但如果我这样做,tensorflow又会抱怨。我不确定这背后的推理是什么。

我的隐藏层的尺寸在这里是512。

完整的修复代码

import tensorflow as tffrom tensorflow.models.rnn import rnn_cellfrom tensorflow.models.rnn import seq2seqencoder_inputs = []decoder_inputs = []for i in xrange(350):      encoder_inputs.append(tf.placeholder(tf.float32, shape=[None,512],                                          name="encoder{0}".format(i)))for i in xrange(45):    decoder_inputs.append(tf.placeholder(tf.float32, shape=[None,512],                                         name="decoder{0}".format(i)))model = seq2seq.basic_rnn_seq2seq(encoder_inputs,                                  decoder_inputs,rnn_cell.BasicLSTMCell(512))

回答:

大多数模型(seq2seq也不例外)期望它们的输入是批次的,所以如果你的逻辑输入的形状是[n],那么你将用作模型输入的张量的形状应该是[batch_size x n]。在实践中,形状的第一维通常被省略为None,并在运行时推断为批次大小。

由于seq2seq的逻辑输入是一组数字,因此实际的张量形状应该是[None, input_sequence_length]。所以修复后的代码看起来应该是这样的:

input_sequence_length = 2; # 你的输入序列中一个向量的长度for i in xrange(350):      encoder_inputs.append(tf.placeholder(tf.int32, shape=[None, input_sequence_length],                                              name="encoder{0}".format(i)))

(然后对解码器做同样的事情)

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注