我有一个包含大约10万条记录的客户购买模式数据集。数据集中包含以下信息:
- 年龄(连续值,从2到120),但我计划将其分类为年龄范围。
- 性别(0或1)
- 地址(只能是六种类型,或者我也可以用1到6的数字来表示)
- 偏好商店(只能从7家商店中选择),这是我的分类问题。
因此,我的任务是根据客户的年龄、性别和地址来分类和预测他们偏好的商店。我尝试使用了朴素贝叶斯和决策树,但它们的分类准确率略低。
我也在考虑使用逻辑回归,但对于像性别和地址这样的离散值,我不太确定。此外,我还考虑使用支持向量机(SVM)并尝试一些核技巧,但尚未尝试。
那么,您建议使用哪种机器学习算法来提高这些特征的分类准确率呢?
回答:
问题在于您将标称变量表示为连续尺度,这在使用机器学习方法时会强加一个(虚假的)顺序关系。例如,如果您将地址编码为六个可能的整数,那么地址1与地址2的距离就比它与地址3、4、5、6的距离更近。这在尝试学习任何东西时都会引起问题。
相反,将您的6值分类变量转换为六个二进制变量,每个分类值一个。您的原始特征将产生六个特征,其中只有一个会始终处于激活状态。另外,保持年龄为整数值,因为将其变为分类会丢失信息。
至于方法,起初不太可能有太大区别。选择对您来说最容易实现的方法即可。然而,在对测试集运行之前,请确保在开发集上运行某种交叉验证参数选择,因为所有算法的参数都会显著影响学习准确率。