我在训练模型之前使用z-score来归一化我的数据。当我每天进行预测时,每天的观测数据非常少,可能只有十几个。我的问题是,我可以只对测试数据本身进行归一化,还是应该将其附加到整个训练集上进行归一化?
我问这个的原因是,归一化是基于均值和标准差的,显然,如果我的数据集只有少数几个观测值,均值和标准差可能会看起来非常不同。
回答:
在使用与测试集数据分布非常不同的训练数据训练的模型上进行预测显然不是一个好主意。我建议使用训练数据的均值和标准差来归一化你的测试集。
我在训练模型之前使用z-score来归一化我的数据。当我每天进行预测时,每天的观测数据非常少,可能只有十几个。我的问题是,我可以只对测试数据本身进行归一化,还是应该将其附加到整个训练集上进行归一化?
我问这个的原因是,归一化是基于均值和标准差的,显然,如果我的数据集只有少数几个观测值,均值和标准差可能会看起来非常不同。
回答:
在使用与测试集数据分布非常不同的训练数据训练的模型上进行预测显然不是一个好主意。我建议使用训练数据的均值和标准差来归一化你的测试集。