目前,我正在尝试从一个大型的numpy数组中去除NaN值。如果我使用sklearn的Imputer,它会假设数组中的某些列仅包含NaN值并丢弃它们——尽管只有前几行符合这一假设。
我认为这种行为应该是一个bug,因此,我无法使用这个工具(不出所料,我需要那些被丢弃的列)。但如果我手动使用中位数方法,最终得到的数组完全没有变化。:(
这是我的代码,x_train是一个numpy数组:
x_train = x_train.Tfor column in x_train: median = column[int(len(column)/2)] column[column == np.nan] = median column[column == np.inf] = 0 column[column == -np.inf] = 0x_train = x_train.T
在操作前后打印数组的第一行,结果得到两行完全相同的数据:
[ 4.40572853e-01 4.39998817e-01 4.44360730e-01 4.01524000e+02 4.01524000e+02 4.01524000e+02 4.83419270e-02 4.82160365e-02 4.91767511e-02 nan nan nan nan nan nan 3.33333333e+01 3.33333333e+01 3.33333333e+01 nan nan nan]
我在这里错过了什么?我做了很多谷歌搜索,如果答案已经存在,那我一定是完全找错了方向。非常感谢任何帮助。
回答:
列未排序且包含NaN值,因此你应该使用np.nanmean()
。并且你应该使用np.isnan()
而不是==
。
x_train = np.array([[np.inf, 1, 1, np.nan], [2, 2, np.nan, 2,], [10, np.nan, 10, 10]])print(x_train)x_train = x_train.Tfor column in x_train: # median = column[int(len(column)/2)] median = np.nanmedian(column) # column[column == np.nan] = median column[np.isnan(column)] = median column[column == np.inf] = 0 column[column == -np.inf] = 0x_train = x_train.Tprint(x_train)
输出结果为
[[ inf 1. 1. nan] [ 2. 2. nan 2.] [ 10. nan 10. 10.]][[ 0. 1. 1. 6. ] [ 2. 2. 5.5 2. ] [ 10. 1.5 10. 10. ]]