我正在编写一个机器人，它将分析帖子并从数据库中回复一些模糊相关的字符串。我并不追求连贯性，只是追求某种模糊的相似性，这种相似性能够让人觉得像一个对该主题不太了解，但又足够有知识尝试回复的人。有什么方法可以帮助我选择合适的回复？

我想到的一个方法是创建一个词汇表，检查帖子中包含哪些词汇表中的元素，然后根据这些结果从数据库中获取回复。这种粗略的方法大约有 10% 的成功率（基于对 100 个随机帖子的回复）。我可以增加词汇表中的单词数量，但这种方法有其局限性。有没有更好的方法？

(P. S. 数据库相当大 — 大约有 50 万条回复)

回答：

首先，我认为除非你准备编写大量的代码，否则你所能期望的最佳答案率大概是 50%。

如果你愿意深入研究一些统计数据，请查看词频-逆文档频率。 基本上，你将使用不常见词语的频率来确定哪些关键词对文档至关重要，并使用它作为tf-idf算法的输入，以提取出具有相同关键词的其他回复。

然后，你可以将其与白名单和黑名单技术进一步结合使用，以忽略常用词语并优先考虑某些关键词。 之后，你可以不断调整这些列表，以在你看到算法工作时增强它。

还有一些更简单的字符串度量标准，可用于测试基本相似性。看看这个字符串度量标准列表。