给定以下代码:

from tensorflow.keras.preprocessing.text import Tokenizersentences = [    'i love my dog',    'I, love my cat',    'You love my dog!']tokenizer = Tokenizer(num_words = 1)tokenizer.fit_on_texts(sentences)word_index = tokenizer.word_indexprint(word_index)

无论是num_words=1还是num_words=100，我在Jupyter笔记本上运行这个单元格时得到的输出都是相同的，我似乎无法理解这在分词中有什么不同。

{‘love’: 1, ‘my’: 2, ‘i’: 3, ‘dog’: 4, ‘cat’: 5, ‘you’: 6}

回答：

word_index 只是将整个文本语料库中传递的单词映射到id的一个简单映射，无论num_words的值是什么。

差异在使用中是显而易见的。例如，如果我们调用texts_to_sequences

sentences = [    'i love my dog',    'I, love my cat',    'You love my dog!']tokenizer = Tokenizer(num_words = 1+1)tokenizer.fit_on_texts(sentences)tokenizer.texts_to_sequences(sentences) # [[1], [1], [1]]

只返回了最常见单词“love”的id

相反

sentences = [    'i love my dog',    'I, love my cat',    'You love my dog!']tokenizer = Tokenizer(num_words = 100+1)tokenizer.fit_on_texts(sentences)tokenizer.texts_to_sequences(sentences) # [[3, 1, 2, 4], [3, 1, 2, 5], [6, 1, 2, 4]]

返回了最常见的100个单词的id