我正在使用一些生物实验数据训练一个ANN。简要来说，我的输入数据集（特征）包括不同样本（细胞系）的基因水平（RNA表达水平）。在这个数据集中，我有相同生物样本的重复测量，这意味着我对同一细胞系或被认为是相同的细胞系的RNA表达水平进行了两次（或更多次）测量。为了提高ANN的灵活性，我将所有不同的测量（不同的细胞系、同一细胞系的不同测量等）作为不同的样本包含在训练集中，而不是计算平均值并只使用该平均值（对于同一细胞系的不同测量）。

我想知道是否可以使用同一细胞系不同测量的平均值作为我的验证测试——你觉得呢？这是一个回归ANN，标签是蛋白质结构。

回答：

你不能这样做。

验证（和测试）集的核心思想是它们必须完全由未见过的数据组成；在这里并非如此，因为用于计算平均值的数据在训练期间已经被使用过。

过去有很多可怕的故事（包括研究论文！），那些天真地认为他们可以在特征选择过程中包含验证/测试集的人，只要他们不使用这些数据来拟合模型。他们受到了严重的伤害。关于一些案例，请查看我的博客文章如何不进行特征选择！；关于在这种情况下可能出现的问题的一个简单可复制的Python示例（简而言之：一切都可能出错），请查看我在特征选择应该在训练-测试分割之前还是之后进行？的回答

第二个关键（但常常是隐含的）思想是你的验证/测试集必须与你的训练数据质量上相似，即理论上它们必须来自相同的生成数据的概率分布。而可以争论的是，你的单个样本的分布与它们的平均值的分布并不相同。