交叉验证:查找测试集的行索引,这些索引不属于训练集

我需要做的第一步是从一个numpy矩阵中随机选择(有放回)50行,用于训练一个线性分离器。

然后,我需要使用未被选中的行来测试这个线性分离器。

对于第一部分,其中A是我的完整数据矩阵,我这样做:

A_train = A[np.random.randint(A.shape[0],size=50),:]

但目前我没有有效的方法来找到:

A_test = ...

其中A_test不包含与A_train相同的行。我该怎么做呢?

这个问题的关键是A是一个n x m的矩阵,而不是一维矩阵…


回答:

你可以使用np.setdiff1d来查找不在你的训练集中包含的行索引:

import numpy as npgen = np.random.RandomState(0)n_total = 1000n_train = 800train_idx = gen.choice(n_total, size=n_train)test_idx = np.setdiff1d(np.arange(n_total), train_idx)

有放回抽样的一个后果是,测试集中可包含的样本数量会根据训练集中重复样本的数量而变化:

print(test_idx.size)# 439

如果你希望确保测试集的大小一致,你可以从不在训练集中的索引集合中重新抽样有放回地选择:

n_test = 200test_idx2 = gen.choice(test_idx, size=n_test)

如果你实际上不关心有放回抽样,那么一个更简单的选项是生成所有索引的随机排列,然后取前N个作为训练样本,其余的作为测试样本:

idx = gen.permutation(n_total)train_idx, test_idx = idx[:n_train], idx[n_train:]

或者你可以使用np.random.shuffle直接对数组的行进行原地洗牌。


我还应该指出,scikit-learn有各种便捷方法用于将数据划分为训练集和测试集,以进行交叉验证的目的。

Related Posts

Keras Dense层输入未被展平

这是我的测试代码: from keras import…

无法将分类变量输入随机森林

我有10个分类变量和3个数值变量。我在分割后直接将它们…

如何在Keras中对每个输出应用Sigmoid函数?

这是我代码的一部分。 model = Sequenti…

如何选择类概率的最佳阈值?

我的神经网络输出是一个用于多标签分类的预测类概率表: …

在Keras中使用深度学习得到不同的结果

我按照一个教程使用Keras中的深度神经网络进行文本分…

‘MatMul’操作的输入’b’类型为float32,与参数’a’的类型float64不匹配

我写了一个简单的TensorFlow代码,但不断遇到T…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注