LabelEncoding() vs OneHotEncoding() (sklearn,pandas) 建议

我的数据框df中有三种类型的分类数据。

df['Vehicles Owned'] = [1,2,3+,2,1,2,3+,2]df['Sex'] = ['m','m','f','m','f','f','m','m']df['Income'] = [42424,65326,54652,9463,9495,24685,52536,23535]

对于df['Vehicles Owned'],我应该怎么处理?(使用独热编码、标签编码,还是保持现状,将3+转换为整数?我已经使用了整数值,因为它们是有顺序的,寻求建议)

对于df['Sex'],我应该使用标签编码还是独热编码?(因为没有顺序,我已经使用了独热编码)

df['Income']有很大的变化。所以我应该将它转换为区间并使用独热编码来解释lowmediumhigh收入吗?


回答:

我推荐如下处理方法:

  • 对于sex,使用独热编码,即使用一个布尔变量来表示is_femaleis_male;对于n个类别,你需要n-1个独热编码变量,因为第n个变量与前n-1个线性相关。

  • 对于vehicles_owned,如果你想保持顺序,我建议将你的变量从[1,2,3,3+]重新映射到[1,2,3,4]并作为整数变量处理,或者映射到[1,2,3,3.5]作为浮点数变量处理。

  • 对于income:你可能应该保持它为浮点数变量。某些模型(如GBT模型)可能会在内部进行某种分箱处理。如果你的收入数据碰巧呈现指数分布,你可以尝试对其取log。但我并不推荐在你自己的特征工程中将其转换为区间。

对于所有这些处理的元建议是,建立一个你有信心的交叉验证方案,尝试不同的特征工程决策,然后根据你的交叉验证性能指标做出最终决定。

最后,关于使用哪个库/函数,我更喜欢pandas的get_dummies,因为它允许你在最终特征矩阵中保持列名信息,如下所示:https://stackoverflow.com/a/43971156/1870832

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注