我尝试编写了自己的LSTM（长短期记忆）神经网络。我想验证其基本功能是否正常工作。我已经实现了时间反向传播BPTT算法来训练一个单元网络。

单个LSTM单元网络是否能够学习简单的序列，还是需要多个单元？我的网络似乎无法学习像1 0 0 0 1 0 0 0 1 0 0 0 1这样的简单序列。

我按顺序将1和0的序列逐个发送到网络中，并进行前向传播。我记录了每个序列的输出。

在整个序列通过LSTM单元后，我将平均误差信号反馈到单元中，保存单元内部的权重变化到一个单独的集合中，并在所有误差逐一通过并计算每个误差后的新权重后，我将新权重平均起来，得到每个权重的新值。

我做错了什么吗？我非常希望得到任何建议。

非常感谢！

回答：

即使你只是在测试代码的正确性，使用单个单元（一个隐藏单元）也不是一个好主意。即使是如此简单的问题，你也应该尝试使用50个单元。这篇论文：http://arxiv.org/pdf/1503.04069.pdf为你提供了非常清晰的梯度规则来更新参数。话虽如此，即使你的数据集和/或你正在处理的问题是新的LSTM，也没有必要自己实现。你可以从现有的库（Theano, mxnet, Torch等）中选择并进行修改，我认为这是一个更简单的方法，因为它更不容易出错，并且支持GPU计算，这对于在合理的时间内训练LSTM是必不可少的。