如何使用回归器为多个列填补缺失值?

这是一个我拥有的大数据集的示例。

想象一下,我有一个包含不同列的数据框,每个列在某些部分都有缺失值(NaN)。

import pandas as pdimport numpy as npfrom sklearn.ensemble import RandomForestRegressordf = pd.DataFrame({'a':[0.3, 0.2, 0.5, 0.1, 0.4, 0.5, np.nan, np.nan, np.nan, 0.6, 0.3, 0.5],                   'b':[4, 3, 5, np.nan, np.nan, np.nan, 5, 6, 5, 8, 7, 4],                   'c':[20, 25, 35, 30, 10, 18, 16, 22, 26, np.nan, np.nan, np.nan]})

我想使用RandomForestRegressor来预测这些缺失值,例如,使用其他列作为特征。换句话说,当我看到一个样本中有NaN时,我想使用其他两个列的值作为特征来预测这个缺失值。

我通常可以为一个独特的特征这样做,但我希望有一种自动化的方法来为每个列这样做。

谢谢你。


回答:

你可以使用sklearn中的IterativeImputer,并在estimator参数中提供RandomForestRegressor

import pandas as pdimport numpy as npfrom sklearn.ensemble import RandomForestRegressorfrom sklearn.experimental import enable_iterative_imputerfrom sklearn.impute import IterativeImputerdf = pd.DataFrame({'a':[0.3, 0.2, 0.5, 0.1, 0.4, 0.5, np.nan, np.nan, np.nan, 0.6, 0.3, 0.5],                   'b':[4, 3, 5, np.nan, np.nan, np.nan, 5, 6, 5, 8, 7, 4],                   'c':[20, 25, 35, 30, 10, 18, 16, 22, 26, np.nan, np.nan, np.nan]})imp_mean = IterativeImputer(estimator=RandomForestRegressor(), random_state=0)imp_mean.fit(df)display(pd.DataFrame(imp_mean.transform(df)))

这将返回以下数据框,其中NaN值已被相应填补:

0   1   20   0.300   4.00    20.001   0.200   3.00    25.002   0.500   5.00    35.003   0.100   3.69    30.004   0.400   5.53    10.005   0.500   5.78    18.006   0.389   5.00    16.007   0.455   6.00    22.008   0.463   5.00    26.009   0.600   8.00    21.0210  0.300   7.00    16.9211  0.500   4.00    29.98

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注