我想利用深度学习技术来执行比隐藏马尔可夫模型（这是一个浅层模型）更好的推理任务？我想知道有什么最先进的深度学习模型可以替代隐藏马尔可夫模型（HMM）？我的设置是半监督的。训练数据X(t),Y(t)是一个时间序列，具有显著的时间相关性。此外，还有一个大量的未标记数据，即只有X(t)而没有Y(t）。在阅读了许多论文后，我缩小了范围，选择了以下模型 -> 条件限制玻尔兹曼机（Ilya Sustkever的硕士论文）并使用深度信念网络进行无监督预训练（或使用变分自编码器进行预训练）。我对这个领域非常新奇，不知道这些技术是否已经过时了。
回答：
我想知道有什么最先进的深度学习模型可以替代隐藏马尔可夫模型（HMM）
目前，基于RNN（循环神经网络）和LSTM（长短期记忆）的深度神经网络是最先进的。它们在许多序列问题上表现最佳，从命名实体识别（https://www.quora.com/What-is-the-current-state-of-the-art-in-Named-Entity-Recognition-NER/answer/Rahul-Vadaga）、解析（https://arxiv.org/pdf/1701.00874.pdf）到机器翻译（https://arxiv.org/pdf/1609.08144.pdf）都有应用。这些深度神经网络也被称为序列模型（例如seq2seq，其中输入和输出都是序列，如机器翻译）。
“无监督预训练”
预训练在监督机器学习问题中已不再那么流行，因为现在你可以通过使用并行化的随机重启来达到同样的效果，因为现在有更多（且更便宜）的CPU可用。
最近的一篇论文（Nils Reimers和Iryna Gurevych的《用于序列标记任务的深度LSTM网络的最佳超参数》）对常见NLP任务的各种seq2seq模型进行了很好的比较：https://arxiv.org/pdf/1707.06799.pdf
绝对值得一读。
