我的数据框df
中有三种类型的分类数据。
df['Vehicles Owned'] = [1,2,3+,2,1,2,3+,2]df['Sex'] = ['m','m','f','m','f','f','m','m']df['Income'] = [42424,65326,54652,9463,9495,24685,52536,23535]
对于df['Vehicles Owned']
,我应该怎么处理?(使用独热编码、标签编码,还是保持现状,将3+转换为整数?我已经使用了整数值,因为它们是有顺序的,寻求建议)
对于df['Sex']
,我应该使用标签编码还是独热编码?(因为没有顺序,我已经使用了独热编码)
df['Income']
有很大的变化。所以我应该将它转换为区间并使用独热编码来解释low
、medium
、high
收入吗?
回答:
我推荐如下处理方法:
-
对于
sex
,使用独热编码,即使用一个布尔变量来表示is_female
或is_male
;对于n个类别,你需要n-1个独热编码变量,因为第n个变量与前n-1个线性相关。 -
对于
vehicles_owned
,如果你想保持顺序,我建议将你的变量从[1,2,3,3+]
重新映射到[1,2,3,4]
并作为整数变量处理,或者映射到[1,2,3,3.5]
作为浮点数变量处理。 -
对于
income
:你可能应该保持它为浮点数变量。某些模型(如GBT模型)可能会在内部进行某种分箱处理。如果你的收入数据碰巧呈现指数分布,你可以尝试对其取log
。但我并不推荐在你自己的特征工程中将其转换为区间。
对于所有这些处理的元建议是,建立一个你有信心的交叉验证方案,尝试不同的特征工程决策,然后根据你的交叉验证性能指标做出最终决定。
最后,关于使用哪个库/函数,我更喜欢pandas的get_dummies
,因为它允许你在最终特征矩阵中保持列名信息,如下所示:https://stackoverflow.com/a/43971156/1870832