由于LSTM RNN使用之前的事件来预测当前序列,为什么我们要洗牌训练数据呢?这样做不会破坏训练数据的时间顺序吗?在经过洗牌后的训练数据上训练后,它如何仍然有效地进行预测?
回答:
一般来说,当你洗牌训练数据(一组序列)时,你洗牌的是序列被输入到RNN的顺序,而非单个序列内部的顺序。当你的网络是无状态的,这样做是可以的:
无状态情况:
网络的记忆只在序列持续期间存在。在序列B之前训练序列A并不重要,因为网络的记忆状态不会跨序列保留。
另一方面:
有状态情况:
网络的记忆会跨序列保留。在这种情况下,你不能盲目地洗牌数据并期望获得最佳结果。序列A应该在序列B之前被输入到网络中,因为A在B之前,我们希望网络在评估序列B时能够记住序列A的内容。