我在研究使用RNN进行文本生成，似乎常用的技术是以字符为单位输入文本，并让RNN预测下一个字符。
为什么不使用同样的技术，但使用词而不是字符呢？我认为这是一个更好的技术，因为RNN不会犯拼写错误，而且训练速度会更快。
我是不是遗漏了什么？
此外，是否有可能创建一个词预测RNN，但通过输入预先在word2vec上训练的词，使RNN能够理解它们的含义？
回答：
为什么不使用同样的技术，但使用词而不是字符呢？
基于词的模型和基于字符的模型一样常用。请参见这个问题的例子。但两者之间有几个重要的区别：
- 基于字符的模型更灵活，可以学习使用较少的词和标点符号。Andrej Karpathy的帖子展示了这种模型的有效性。但这也是一项缺点，因为这种模型有时会产生完全无意义的内容。
- 基于字符的模型的词汇量要小得多，这使得训练更容易、更快。由于one-hot编码和softmax损失函数运作良好，无需用嵌入向量和特别设计的损失函数（负采样、NCE等）来复杂化模型。
- 基于词的模型无法生成词汇表外的（OOV）词，它们更复杂且资源需求更高。但它们可以学习语法和语法上正确的句子，并且比基于字符的模型更robust。
顺便说一下，还有一些子词模型，它们介于两者之间。请参见T. Mikolov等人的“Subword language modeling with neural networks”。
此外，是否有可能创建一个词预测RNN，但通过输入预先在word2vec上训练的词，使RNN能够理解它们的含义？
是的，我上面提到的例子正是关于这种类型的模型。
