问题
数据集可以是由不同类型元组的集合。我可以从一个元组创建一个数据集。
tf.data.Dataset.from_tensors( ([1, 2, 3], 'A'))-----<TensorDataset shapes: ((3,), ()), types: (tf.int32, tf.string)>
我如何从一个元组数组创建一个数据集?
tf.data.Dataset.from_tensors( [ ([1, 2, 3], 'A'), ([4, 5, 6], 'B') ])----ValueError: Can't convert non-rectangular Python sequence to Tensor.
Tensorflow 数据集 IMDB 评论数据集是一个由不同类型元组数组的例子,因此应该有办法实现这一点。
import numpy as npimport tensorflow as tfimport tensorflow_datasets as tfdsimdb, info = tfds.load("imdb_reviews", with_info=True, as_supervised=True)train_data, test_data = imdb['train'], imdb['test']print(train_data.take(2))for text, label in train_data.take(2).as_numpy_iterator(): print("{}, {}".format(text[0:64], label))----<TakeDataset shapes: ((), ()), types: (tf.string, tf.int64)>b'Being a fan of silent films, I looked forward to seeing this pic', 0b"I haven't seen this film in years so my knowledge is a little ru", 1
回答:
在 IMDB 数据集中它能工作是因为它们是分开的特征。如果你的特征也是分开的,你的例子也会工作,即作为多输入。
import numpy as npimport tensorflow as tfinput_1 = np.array(([1, 2, 3], [4, 5, 6]))input_2 = np.array((['A'], ['B']))tf.data.Dataset.from_tensor_slices((input_1, input_2))
<TensorSliceDataset shapes: ((3,), (1,)), types: (tf.int32, tf.string)>
例如:
ds = tf.data.Dataset.from_tensor_slices((input_1, input_2))next(iter(ds))
(<tf.Tensor: shape=(3,), dtype=int32, numpy=array([1, 2, 3])>, <tf.Tensor: shape=(1,), dtype=string, numpy=array([b'A'], dtype=object)>)