我正在编写一个 tf.data 管道，以便稍后输入到 keras 中。问题是我的数据是以 pickle 文件的形式存在的。我有一份文件名列表传递给 tf data，我打算使用自定义的 tf.py_func 调用 pickle 来加载这些文件。

当我尝试从数据集中构建迭代器时，问题就出现了，抛出了以下错误：

“无法将值 , ), 类型: (tf.float32, tf.float32)> 转换为 TensorFlow DType。”

我认为这是因为 TensorFlow 无法推断加载的 pickle 数据的形状。我对如何继续或这是否在 tf data 中可行感到有些迷茫。

dataset = tf.data.Dataset.from_tensor_slices(dataset_filepath_list)def parse_input_data_function(filename):    # pickle 文件是一个元组，(数据, 标签)    histogram_data, label = pickle.load(open(filename, 'rb'))    histogram_data = historgram_data.transpose(1, 0)    histogram_data = historgram_data.reshape([-1, 8, 32])    return histogram_data.astype('float32'), float(label)dataset = dataset.map(    lambda filename : tuple(tf.py_func(        parse_input_data_function, [filename], [tf.float32, tf.float32])))dataset = dataset.shuffle(len(dataset_filename_list))    .batch(batch_size).repeat()# 错误发生在这一行training_iterator = tf.data.Iterator.from_structure(dataset, dataset.output_shapes)

回答：

您的问题在于向 tf.data.Iterator.from_structure 传递了错误的参数。它应该接受 (output_types, output_shapes)，但您传递的是数据集及其形状。试试这个：

training_iterator = tf.data.Iterator.from_structure(dataset.output_types, dataset.output_shapes)

然后，要将迭代器与相应的数据集一起使用：

input_data, output_data = training_iterator.get_next()train_init = training_iterator.make_initializer(dataset)