我目前正在使用sklearn（我还是个初学者），我想训练和测试一个非常简单的分类器。

我的训练和测试数据的结构如下：

 ----|----|----|----|----|----|------|----|----|----|-------    f1 | f2 | f3 | c1 | c2 | c3 | word | c4 | c5 | c6 | label    ----|----|----|----|----|----|------|----|----|----|------- 

其中：

f1: 特征1，二进制数值类型，如0f2: 特征2，二进制数值类型，如1f3: 特征3，二进制数值类型，如0c1: 上下文1，字符串类型，如"from"c2: 上下文2，字符串类型，如"this"c3: 上下文3，字符串类型，如"website"word: 上下文的中心词（字符串），如"http://.."c4: 上下文4，字符串类型c5: 上下文5，字符串类型c6: 上下文6，字符串类型label: 这是分类器需要训练和预测的标签（字符串），如："URL"（我只有三种类型的标签：REF, IRR, DATA）

我想做的是将我的上下文字符串特征转换为数值特征。每个字符串字段最多由一个单词组成。

主要目标是为每个上下文和单词字符串分配一个数值，以使系统正常工作。我的想法是可以定义一个词汇表，如下所示：

{ from, website, to, ... }

并将这个词汇表提供给DictVectorizer，但我不确定如何操作。

我真正想做的是生成大量的二进制特征：在问题单词之前紧接着的单词“from”是一个特征；在单词之后两个位置的单词“available”是另一个特征。但我真的不知道如何实现。

这是我尝试做的事情：

#我尝试读取训练csv文件：train = pd.read_csv('train.csv')#删除标签字段：train_X = train.drop(['label'],axis=1)#获取其他参数：train_y = train.label.values#然后我将pandas的数据类型转换为字典： train_X = train_X.to_dict('r')#然后我尝试对所有数据进行向量化：vec = DictVectorizer()train_X = vec.fit_transform(train_X).toarray()

显然，这没有成功。因为上下文和单词字段可能是一个非常大的单词，比如一个URL。

有什么建议吗？我接受各种解决方案。

非常感谢你。

回答：

如果唯一单词是有限的，你可以使用pandas做类似的事情。

mapping_dict = {'word1':0,                'word2':1,                'word3':3  }df[col] = df[col].str.map(mapping_dict)