如何在未指定时查找Keras分词器的”num_words”或词汇量?

如果我在初始化Tokenizer()时没有传递num_words参数,我如何在它用于对训练数据集进行分词后找到词汇量?

之所以这样做,是因为我不希望限制分词器的词汇量,以了解我的Keras模型在不限制词汇量的情况下表现如何。但随后我需要将这个词汇量作为参数传递到模型的第一层定义中。


回答:

所有单词及其索引将存储在一个字典中,您可以使用tokenizer.word_index访问它。因此,您可以根据该字典中元素的数量来查找唯一单词的数量:

num_words = len(tokenizer.word_index) + 1

那个+ 1是因为保留了填充(即索引零)。

注意:这个解决方案(显然)适用于您未设置num_words参数的情况(即您不知道或不想限制单词数量),因为word_index包含了所有单词(而不仅仅是最常见的单词),无论您是否设置了num_words

Related Posts

在使用k近邻算法时,有没有办法获取被使用的“邻居”?

我想找到一种方法来确定在我的knn算法中实际使用了哪些…

Theano在Google Colab上无法启用GPU支持

我在尝试使用Theano库训练一个模型。由于我的电脑内…

准确性评分似乎有误

这里是代码: from sklearn.metrics…

Keras Functional API: “错误检查输入时:期望input_1具有4个维度,但得到形状为(X, Y)的数组”

我在尝试使用Keras的fit_generator来训…

如何使用sklearn.datasets.make_classification在指定范围内生成合成数据?

我想为分类问题创建合成数据。我使用了sklearn.d…

如何处理预测时不在训练集中的标签

已关闭。 此问题与编程或软件开发无关。目前不接受回答。…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注