我在R语言中使用randomForest包，并采用滚动窗口方法来预测金融时间序列（股票）的回报。为此，我开发了一系列特征，我的目标是了解这些特征的相对预测能力。

我的挑战在于，我无法使用随机森林的变量重要性功能，因为我的大多数特征与其近期历史数据有很高的相关性。例如，移动平均值跨越数天的窗口，这意味着它包含了数据集中多个观测值的信息。

这意味着随机森林生成的袋外样本将与用于训练模型的样本内特征相关。因此，从中获得的变量重要性将过于乐观并存在过拟合问题。

我认为的解决方案是通过在样本外测试集上计算变量重要性，而不是使用袋外交叉验证。目标是确保与训练集绝对没有相关性。

我的问题是：在R语言中是否存在一个包，可以从测试集而不是标准的袋外交叉验证集中计算和提取变量重要性？如果没有，您能建议一种实现这一目标的方法吗？感谢您的帮助。

回答：

哇，你考虑到了这些与样本内特征的相关性，真是太棒了。

确实，在测试集上运行变量重要性是一个更好的主意。我认为你可以很容易地自己编写这个程序。这里有一些伪代码

check baseline performance metricfor variable in variables:    random shuffle variable    check performance metric    save performance metric to diskbarplot(performance metrics)

你的性能指标可以是任何东西：交叉熵、准确率、ROC-AUC等等