我是Python和Scikit-learn库的新手。目前我需要处理一个NLP项目，首先需要通过独热编码来表示一个大型语料库。我已经阅读了Scikit-learn关于预处理的OneHotEncoder的文档，然而，似乎这并不符合我的理解。

基本的想法类似于以下内容：

• 1000000 星期日；0100000 星期一；0010000 星期二；…0000001 星期六；

如果语料库只有7个不同的词，那么我只需要一个7位的向量来表示每个单词。然后，一个完整的句子可以通过所有向量的结合来表示，即一个句子矩阵。然而，我在Python中尝试过，似乎行不通…

我该如何解决这个问题？我的语料库中有大量不同的词汇。

顺便说一下，如果向量中大部分是零，我们可以使用Scipy.Sparse来减小存储空间，例如CSR格式。

因此，我的整个问题是：

如何使用OneHotEncoder表示语料库中的句子，并将其存储在稀疏矩阵中？

谢谢大家。

回答：

为了使用OneHotEncoder，你可以将文档分割成标记，然后将每个标记映射到一个id（对于相同的字符串，id总是相同的）。然后将OneHotEncoder应用到这个列表上。结果默认是一个稀疏矩阵。

两个简单文档A B和B B的示例代码：

from sklearn.preprocessing import OneHotEncoderimport itertools# 两个示例文档docs = ["A B", "B B"]# 将文档分割成标记tokens_docs = [doc.split(" ") for doc in docs]# 将标记列表列表转换为一个扁平的标记列表# 然后创建一个将词映射到词id的字典，# 如这里的{A: 1, B: 2}all_tokens = itertools.chain.from_iterable(tokens_docs)word_to_id = {token: idx for idx, token in enumerate(set(all_tokens))}# 将标记列表转换为标记-id列表，例如这里的[[1, 2], [2, 2]]token_ids = [[word_to_id[token] for token in tokens_doc] for tokens_doc in tokens_docs]# 将标记-id列表列表转换为独热表示vec = OneHotEncoder(n_values=len(word_to_id))X = vec.fit_transform(token_ids)print X.toarray()

打印（每篇文档的独热向量以连接形式呈现）：

[[ 1.  0.  0.  1.] [ 0.  1.  0.  1.]]