如何清理带有文本数据的数据集并用于分类

我正在处理一个包含许多缺失值和更多分类值的数据集,用于性别分类。我应该如何将分类值转换为数值,哪种算法可以提高准确性?https://github.com/lakshmipriya04/py-sample/


回答:

分类变量编码有两种类型:创建哑变量和通过标签编码进行编码。

哑变量的缺失值将显示为每组哑变量列的空向量。对于标签编码,缺失值可能是一个特定的类别(标签)。

要解决缺失值问题,您可以通过平均值(数值)或众数(分类)来填补缺失值。在此之前,创建一个额外的缺失值指示列是有用的,该列在值缺失时为1,否则为0。

通过填补缺失值,任何机器学习分类器都可以使用。尝试使用SVC(因为您进行的是二元分类),并从简单的逻辑回归开始。

如果不填补缺失值,只有XGBoost可以帮助您(它允许数据集中有缺失值)。

但您面临的稍微不同的问题是需要预处理文本。请阅读有关自然语言处理(NLP)的内容。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注