我想开始开发一个使用机器学习的应用程序。我希望对文本进行分类 – 垃圾邮件或非垃圾邮件。我有两个文件 – spam.txt 和 ham.txt – 每个文件包含数千个句子。如果我想使用一个分类器，比如说 LogisticRegression。

例如，我在网上看到的，为了拟合我的模型，我需要这样做：

`lr = LogisticRegression()model = lr.fit(X_train, y_train)`

那么我的问题来了，X_train 和 y_train 到底是什么？我如何从我的句子中获取它们？我在网上搜索过，没有理解，这是我的最后一次尝试，我对这个话题还很新。谢谢你！

回答：

根据文档（见这里）：

• X 对应于形状为 (n_samples, n_features) 的浮点特征矩阵（即你的训练集的设计矩阵）
• y 是形状为 (n_samples,) 的浮点目标向量（标签向量）。在你的例子中，标签 0 可能对应于垃圾邮件示例，而 1 对应于非垃圾邮件

现在的问题是如何从文本数据中获得浮点特征矩阵。

一种常见的方案是使用tf-idf向量化（更多信息见这里），这在sklearn 中可用。

可以通过 sklearn 的Pipeline API 将向量化与逻辑回归链接起来。

代码大致如下所示

from itertools import chainfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.pipeline import Pipelinefrom sklearn.linear_model import LogisticRegressionimport numpy as np# 准备字符串数据with open('spam.txt', 'r') as f:   spam = f.readlines()with open('ham.txt', 'r') as f:   ham = f.readlines()text_train = list(chain(spam, ham))# 准备标签labels_train = np.concatenate((np.zeros(len(spam)),np.ones(len(ham))))# 构建管道vectorizer = TfidfVectorizer()regressor = LogisticRegression()pipeline = Pipeline([('vectorizer', vectorizer), ('regressor', regressor)])# 拟合管道pipeline.fit(text_train, labels_train)# 测试预测test = ["Is this spam or ham?"]pipeline.predict(test) # 值在 [0,1] 中