Tensorflow: 使用JSON数据进行训练以生成相似的输出

假设你有一组JSON数据，包含生成以下10×5单元格模式的指令，每个单元格可以包含以下字符之一：_ 0 x y z

还假设每个字符可以显示为不同的颜色。

模式1：

_yx_0zzyxx_0__yz_0y_x0_0x000yx_y__x000zxzyyzx_z_0y

模式2：

xx0z00yy_zzzx_0000_x_yxy0y__yx_xz0z__0_yy__x0_0_y_

模式3：

yx0x_xz0_zxz_x0_xxxz_yy0x_0z00zyy0__0zyxz_xy0_0xz0

这些模式是随机生成的，并且都是黑色的，但假设它们是根据某些规则设计的，并且是有颜色的。

第一个模式的JSON数据看起来像这样：

{  width: 10,  height: 5,  cells: [    {      value: '_',      color: 'red'    },    {      value: 'y',      color: 'blue'    }, ...  ]}

如果想要使用这些数据进行训练以生成新的但相似的模式（再次假设这些不是随机生成的），推荐的方法是什么：

读取数据（我想象将JSON放入Example protobuf中，使用tf.parse_example将缓冲区序列化为字符串，然后写入TFRecord文件）
基于这些数据进行训练
根据训练的模型生成新的模式
为生成的模式提供种子数据，例如，第一个单元格是字符”x”，颜色为蓝色。

我希望实现类似于我在艺术/照片风格转换和音乐/MIDI数据中看到的效果（参见：Google Magenta）。在这些情况下，模型在一个独特的艺术作品集或旋律风格上进行训练，并提供一个种子形式的照片或引导旋律，以生成与训练数据相似的内容。

谢谢！

回答：

我不喜欢将数据集预处理成新形式，这使得以后的更改变得困难，并且减缓了未来的开发，在我看来，这就像技术债务。

我的方法是保持JSON的原样，并编写一些简单的Python代码（特别是生成器，这意味着你使用yield而不是return语句）来读取JSON文件并按顺序输出样本。

然后使用tensorflow的Dataset输入管道和Dataset.from_generator(...)从你的输入函数中获取数据。

Dataset管道提供了你需要的所有功能来管理你想要应用的各种转换，你可以轻松地缓冲、打乱、批处理、预取，并将函数映射到你的数据上，这是一个很好的模块化、可测试的框架，可以自然地输入到你的tensorflow模型中。

学技术