如何将RNN应用于序列到序列的NLP任务?

我对NLP任务中的序列到序列RNN感到相当困惑。之前,我已经实现了一些分类任务的神经模型。在这些任务中,模型以词嵌入作为输入,并在网络末端使用softmax层进行分类。但是,神经模型是如何处理序列到序列任务的呢?如果输入是词嵌入,那么神经模型的输出是什么?这些任务的例子包括问答、对话系统和机器翻译。


回答:

你可以使用编码器-解码器架构。编码器部分将你的输入编码成一个固定长度的向量,然后解码器将这个向量解码成你的输出序列,无论这个序列是什么。编码和解码层可以针对你的目标函数共同学习(仍然可以涉及softmax)。查看这篇论文,它展示了这种模型如何在神经机器翻译中使用。这里的解码器一次发出一个词,以生成正确的翻译。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注