我想将推文分类到给定的一组类别中，比如{‘体育’, ‘娱乐’, ‘爱情’}等…

我的想法是使用最常用词的词频来帮助解决这个问题。例如，单词’爱情’在’爱情’类别中出现得最频繁，但它也在体育和娱乐中以“我爱这个游戏”和“我爱这部电影”的形式出现。

为了解决这个问题，我设想了一个三轴图，其中x轴值是推文中使用的所有词，y轴值是类别，z轴值是关于词和类别的词频（或某种类型的分数）。我会将推文分解到图表上，然后在每个类别内累加z值。z值总和最高的类别最可能是正确的类别。我知道这可能有些 confusing，所以让我举个例子：

单词’观看’在体育和娱乐中出现很多（“我在看比赛”和“我在看我最喜欢的节目”）…因此，我至少将它缩小到这两个类别。但单词’游戏’在娱乐中不常出现，而’节目’在体育中不常出现。’观看’ + ‘游戏’的Z值在体育类别中最高，而’观看’ + ‘节目’在娱乐类别中最高。

现在你明白了我的想法是如何运作的，我需要帮助整理这些数据，以便机器学习算法能够在给定一个词或一组词时预测类别。我读了很多关于支持向量机（SVMs）的内容，我认为这是可行的方法。我尝试了libsvm，但似乎无法找到一个好的输入集。此外，libsvm不支持非数值，这增加了更多的复杂性。

有什么建议吗？我是否真的需要一个库，还是应该自己编写决策代码？

谢谢大家，我知道这篇文章很长，很抱歉。

回答：

你试图进行文本分类到一组类别中。朴素贝叶斯可以做到这一点。实际上，它是你的想法的统计学对应物。它假设文本中词的频率是类别的独立指示器，并基于这一假设给出每个类别的概率。在实践中它表现得很好；我相信Weka有一个实现。