我正在进行一个机器学习项目，数据来自社交媒体，主题是关于新冠疫情下的抑郁症。然而，当我阅读一些获取的数据时，我注意到尽管文本（约1-5%）提到了与新冠相关的关键词，但这些文本的上下文实际上与疫情无关，它们讲述的是从5岁到27岁的人生故事，而不是新冠如何影响他们的生活。我想要使用并寻找的是一些文本，这些文本告诉人们新冠如何使抑郁症恶化等。有没有一种通用的方法来清理那些上下文与新冠无关（或异常值）的不相关数据？或者保留它们在数据集中是否可以，因为它们只占1-5%？

回答：

我想你想要的是主题建模，或者可能是文本排名算法，或者肯定是这类的东西。查看下面的链接，了解一些可以去哪里寻找的想法。

https://monkeylearn.com/keyword-extraction/

词袋模型在应用于自然语言处理任务时存在许多弱点，尤其是图排名算法如TextRank能够解决的问题。TextRank能够整合词序信息。词袋模型只是指一个矩阵，其中行是文档，列是词。矩阵中文档与词的匹配值，可以是文档中词出现的计数或使用tf-idf。词袋矩阵然后被提供给机器学习算法。使用词计数或tf-idf，我们只能识别文档中的关键单词术语。

另请查看下面的链接。

https://towardsdatascience.com/topic-modeling-quora-questions-with-lda-nmf-aff8dce5e1dd

您可以在该链接中找到示例中使用的样本数据，直接在下面。

https://raw.githubusercontent.com/susanli2016/NLP-with-Python/master/data/quora_sample.csv