我在训练一个LSTM网络，想了解在长度为O(1k)或更长的长序列上训练的最佳实践。选择一个合适的minibatch大小有什么好的方法吗？标签分布的不平衡会如何影响这个选择？（在我的场景中，正样本很少）。是否值得努力重新平衡我的数据？谢谢。

回答：

你可能需要重新平衡数据，使其达到50/50的比例。否则，模型可能会偏向某一类别。

至于batch大小，我建议尽可能大，只要能在内存中容纳即可。

我不确定LSTM是否能学习到O(1k)长度的依赖关系，但值得一试。如果你想要处理超长的依赖关系，可以考虑使用类似于wavenet的技术。

https://deepmind.com/blog/wavenet-generative-model-raw-audio/