tokenizer = Tokenizer(num_words=my_max)我正在使用keras的预处理Tokenizer来处理用于机器学习模型的文本语料库。Tokenizer的一个参数是num_words，它定义了字典中的单词数量。这个参数应该如何选择？我可以选择一个巨大的数字来确保每个单词都被包含，但某些只出现一次的单词可能如果被归类为简单的“词汇外”标记会更有用。设置这个参数的策略是什么？
我的特定用例是处理推文的模型，每个条目都少于140个字符，并且使用的单词类型有一些重叠。该模型用于一个Kaggle比赛，关于提取体现情感的文本（例如，“我的老板在欺负我”返回“欺负我”）
回答：
这里的基础问题是“哪些类型的单词能建立情感，以及它们在推文中出现的频率如何？”
当然，这个问题没有明确的答案。
我会这样解决这个问题：
- 预处理你的数据，移除连词、停止词和推文中的“垃圾”内容。
- 获取你的语料库中唯一单词的数量。这些单词是否都是传达情感所必需的？
- 分析频率最高的单词。这些单词是否传达情感？它们是否可以在预处理中被移除？Tokenizer记录前N个唯一单词，直到字典中包含num_words个单词，因此这些常见单词更有可能出现在你的字典中。
然后，我会开始尝试不同的值，看看对你的输出的影响。
很抱歉没有“真正的”答案。我认为选择这个值没有单一的正确策略。相反，答案应该来自利用你数据的特性和统计数据。
