我正在尝试使用Spark的MLLib构建一个朴素贝叶斯分类器，该分类器的输入是一组文档。
我想将一些内容作为特征（例如作者、显式标签、隐式关键词、类别），但查看文档后，似乎LabeledPoint只包含双精度浮点数，即看起来像LabeledPoint[Double, List[Pair[Double,Double]]。
然而，我从代码的其他部分得到的输出是类似于LabeledPoint[Double, List[Pair[String,Double]]的形式。
我可以自己进行转换，但这似乎有些奇怪。我应该如何使用MLLib来处理这个问题呢？
我认为答案可能在HashingTF类中（即特征哈希），但我不明白它是如何工作的，似乎它需要某种容量值，但我的关键词和主题列表实际上是无界的（或者更准确地说，在开始时是未知的）。
回答：
HashingTF使用特征哈希技巧将潜在无界数量的特征映射到一个有界大小的向量中。虽然存在特征碰撞的可能性，但通过在构造函数中选择更大的特征数量，可以减小这种可能性。
为了基于特征的内容以及一些元数据（例如，拥有’cats’标签与文档中包含’cats’这个词）创建特征，你可以向HashingTF类输入类似’tag:cats’的内容，这样带有词的标签会哈希到与单词本身不同的槽位中。
如果你已经使用HashingTF创建了特征计数向量，你可以通过将所有大于零的计数设置为1来创建词袋特征。你还可以使用IDF类创建TF-IDF向量，如下所示：
val tfIdf = new IDF().fit(featureCounts).transform(featureCounts)在你的情况下，看起来你已经计算了每个文档的词频。这与HashingTF类不兼容，因为它是设计来为你进行计数的。
这篇论文讨论了为什么在语言应用中特征碰撞不是大问题的一些理由。主要原因是大多数词汇是不常见的（由于语言的特性），并且碰撞与词频无关（由于哈希的特性），因此不太可能那些足够常见以帮助模型的词会哈希到同一个槽位中。
