我有一个包含大量信息的内存库（在一个具有大型字典的类中），需要将其加载到内存中，并在数据编译成这个超大型结构后（高达20GB），根据接收到的信息进行更新。随后，我需要将这个更新后的内存库保存到磁盘，以便以后加载。然而，使用pickle时，我没有找到一种方法可以在序列化数据时流式传输文件（我的内存上限为25.5 GB）。你会注意到，同时拥有20GB的结构和需要序列化的pickle文件，这已经超出了我的内存资源。

有没有一种方法可以让pickle在序列化时流式传输信息，或者我必须自己编写函数将内存写入文件？

有没有办法保持低内存消耗（在进程完成时将内存卸载到磁盘）？

回答：

如果有人想知道，我通过将我的大型内存结构转换为三个较小的内存结构（顺序依赖）来解决这个问题，然后我可以对这些结构进行pickle操作。当我加载内存结构时，我还需要将这些内存重新连接成一个更大的结构。虽然节省的内存不多，但这是我目前能够使用的解决方案。当然，这个解决方案依赖于结构本身。