我想使用一种监督学习算法，根据句子中是否存在某些词来预测一组句子的二元函数（真或假）。
理想情况下，我希望避免硬编码用于决定输出的词集，以便算法能自动学习哪些词（一起？）最可能触发特定的输出。
http://shop.oreilly.com/product/9780596529321.do（《集体智能编程》）在第4章中有一个名为“从点击中学习”的部分，描述了如何通过在神经网络中使用一层隐藏节点来实现这一点，每种新的输入词组合都会增加一个新的隐藏节点。
同样，可以为训练数据集中的每个词创建一个特征，并使用这些特征训练几乎任何经典的机器学习算法。添加新的训练数据将生成新的特征，这将需要我从头开始重新训练算法。
这引出了我的问题：
- 如果每次扩展训练数据集时都必须从头开始重新训练，这是否真的是一个问题？
- 对于这种类型的问题，更有经验的机器学习用户会推荐使用哪种算法？
- 在选择一种算法而不是另一种时，我应该使用什么标准？（除了实际尝试所有算法并查看它们在精确度/召回率指标上的表现之外）
- 如果你处理过类似的问题，关于用2-gram扩展特征（如果存在特定2-gram则为1，否则为0）有什么看法？3-gram呢？
回答：
如果你想找到通常一起出现的词，你可以研究主题建模的总体领域。
最简单的方法是使用潜在语义分析（http://en.wikipedia.org/wiki/Latent_semantic_analysis），这只是对术语文档矩阵应用奇异值分解。你接下来需要进行一些额外的后续分析以适应你的特定结果。
一个更复杂、也更复杂的方法是使用潜在 Dirichlet 分配（http://en.wikipedia.org/wiki/Latent_Dirichlet_allocation）
就添加新特征（词）而言，只要你打算重新训练，这是可以的。你还可以使用TF/IDF来为表示矩阵时赋予该词一个值（而不是仅仅使用1或0）。
我不知道你想用哪种编程语言来做这件事，但我知道在Java和Python中都有可以完成上述所有操作的库。
