我正在尝试使用UCI库中的汽车评估数据集,我想知道是否有方便的方法在sklearn中将分类变量二值化。一种方法是使用DictVectorizer或LabelBinarizer,但这样我会得到k个不同的特征,而为了避免共线性,你应该只有k-1个。我猜我可以编写自己的函数并删除一列,但这种记录工作很繁琐,有没有简单的方法来执行这种转换并得到一个稀疏矩阵作为结果?
回答:
DictVectorizer是生成分类变量的一热编码的推荐方法;你可以使用sparse
参数来创建一个稀疏的CSR矩阵,而不是一个密集的numpy数组。我通常不关心多重共线性,我在使用的方法中(即LinearSVC、SGDClassifier、基于树的方法)没有注意到问题。
修改DictVectorizer以删除每个分类特征的一列应该不是问题——你只需在fit
方法结束时从DictVectorizer.vocabulary
中删除一个术语即可。(欢迎随时提交拉取请求!)