我试图使用scikit-learn中的Kmeans将纯文本文档聚类到两个类别中。
这是我的使用场景。我将接收到一些样本集，这些样本集将被标记为“重要”和“非重要”。
在scikit-learn的示例中，数据集是来自新闻组的预定义格式：
dataset = fetch_20newsgroups(subset='all', categories=categories, shuffle=True, random_state=42)我想做的是从文本文件中接收数据（20newsgroups看起来根本不是文本文件，我甚至无法解压它）。
我不清楚的是fetch_20newsgroups的数据结构及其工作原理。我应该如何将文本文件转换为fetch_20newsgroups提供的所需格式？
谢谢
@[隐藏人名]
回答：
scikit-learn自带的20个新闻组数据集加载器会从原始网站http://kdd.ics.uci.edu/databases/20newsgroups/20newsgroups.html下载文本文档存档，并将其以压缩格式缓存到$HOME/scikit_learn_data文件夹中。有关更多详细信息，请查看20个新闻组数据集加载器的源代码。
要将你自己的文本文件集加载为scikit-learn的“bunch”对象，你可以直接使用sklearn.datasets.load_files函数，并指向正确的文件夹。
如果你的数据已经分类为2个类别（例如，两个名为“重要”和“非重要”的子文件夹），那么你需要使用的不是无监督的聚类算法，而是一种监督的分类算法，如MultinomialNB（多项式朴素贝叶斯）、LinearSVC（线性支持向量机）或LogisticRegression（逻辑回归），如文本分类示例中所示。
如果你不知道哪个文档属于哪个类别，但想将你的语料库分成两组相似的文档，那么你可以使用无监督的聚类算法，如KMeans，但你得到的两个聚类非常不可能与你的“重要”和“非重要”概念相匹配。
