我使用Tensorflow进行深度学习工作，但我对Julia在机器学习中的一些功能很感兴趣。在Tensorflow中，有一个明确的标准，即使用协议缓冲区——也就是TFRecords格式，这是将大规模数据集加载到GPU进行模型训练的最佳方式。我一直在阅读Flux、KNET的文档以及其他论坛帖子，寻找是否有关于最有效数据格式的特别建议，但没有找到任何推荐。
我的问题是，对于Julia的机器学习库来说，是否有推荐的数据格式来便于训练？换句话说，是否有明确的应该避免的数据集格式，因为它们的性能较差？
我知道有一个Protobuf.jl库，所以用户仍然可以使用协议缓冲区。我计划暂时使用协议缓冲区，因为这样我就可以在Tensorflow和Julia中使用相同的数据格式。然而，我也发现了一个有趣的Reddit帖子，关于用户如何不使用协议缓冲区而直接使用Julia向量。
https://www.reddit.com/r/MachineLearning/comments/994dl7/d_hows_julia_language_mit_for_ml/
我理解Julia的机器学习库可能对数据存储格式无关紧要。也就是说，无论数据以何种格式存储，数据最终都会被解码成某种向量或矩阵格式。所以在这种情况下，我可以使用任何格式。但我只是想确认我没有在文档或其他地方错过关于使用错误的数据存储格式导致的问题或低性能的信息。
回答：
对于内存使用，只需使用数组和向量。它们只是带有一些元数据的大块连续内存。你无法得到比这更好的了。
对于序列化到另一个Julia进程，Julia会为你处理并使用标准库的Serialization模块。
对于序列化到磁盘，你应该使用Serialization.serialize（可能压缩），或者如果你认为你可能需要从另一个程序读取，或者如果你认为在完成数据之前你可能会更改Julia版本，你可以使用BSON.jl或Feather.jl。
在不久的将来，JLSO.jl将是一个替代Serialization的好选择。
