我正在自动化一个通过短信（但这并不重要）向真实用户提问的流程。这些问题需要是“是”或“不是”的答案，但用户可能会以多种方式回答，比如：当然、目前不行、是的、永远不会，或者其他任何他们可能的回答方式。我希望尝试解析这些文本，并判断它是否是一个“是”或“不是”的回答（当然，这并不总是准确的）。

我认为这种任务的想法和概念可能已经存在，因为这似乎是AI的一个常见任务，但我不知道它可能被称为什么，所以我无法找到如何实现它的信息。所以我的问题是，是否已经开发出用于这种解析的算法，如果有，我可以在哪里找到更多关于如何实现它们的信息？

回答：

这可以被视为一个二元（是或不是）分类任务。你可以编写基于规则的模型或基于统计的模型来进行分类。

基于规则的模型就像是if answer in ["never", "not at this time", "nope"] then answer is "no"。当垃圾邮件过滤器刚出现时，它们包含了很多这样的规则。

基于统计的模型在这里可能更合适，因为编写自己的规则会变得乏味，而且对新情况的处理也不如统计模型好。

为此，你需要标记一个训练数据集。经过一些预处理（如将所有单词小写化，去除标点符号，甚至可能进行一些词干提取）后，你可以得到一个数据集，如下所示：

0 | never in a million years0 | never1 | yes sir1 | yep1 | yes yes yeah0 | no way

现在你可以在这一组数据上运行分类算法，如朴素贝叶斯或逻辑回归（在你将单词向量化之后，无论是二进制的，即单词是否存在，单词计数，即术语频率，还是tfidf浮点数，这可以防止对较长答案和常见词的偏见），并学习哪些单词更常属于哪个类别。

在上面的例子中，yes将与正面回答（1）强烈相关，而never将与负面回答（0）强烈相关。你可以使用n-gram，所以not no将被视为支持正面类的单一标记。这被称为词袋方法。

为了应对拼写错误，你可以在预处理步骤中添加一个拼写检查器，如Aspell。你也可以使用字符向量化器，因此像nno这样的词将被解释为nn和no，你可以捕捉到像hellyes这样的错误，并且可以信任你的用户会重复拼写错误。如果5个用户对never这个词犯了neve的拼写错误，那么neve这个标记将自动开始计入负面类（如果被标记为这样）。

你可以自己编写这些算法（朴素贝叶斯是可行的，Paul Graham写了几篇关于如何用贝叶斯定理分类垃圾邮件的易懂文章，几乎每个机器学习库都有关于如何做这件事的教程），或者使用像Scikit-Learn（MultinomialNB, SGDclassifier, LinearSVC等）或Vowpal Wabbit（逻辑回归，量化损失等）这样的库或程序。