如何在PyTorch中使用WeightedRandomSampler平衡(过采样)不平衡数据?

我有一个两类问题,我的数据非常不平衡。其中一类有232550个样本,另一类有13498个样本。PyTorch的文档和互联网告诉我应该在DataLoader中使用WeightedRandomSampler类来解决这个问题。

我尝试使用WeightedRandomSampler,但总是遇到错误。

    trainratio = np.bincount(trainset.labels)    classcount = trainratio.tolist()    train_weights = 1./torch.tensor(classcount, dtype=torch.float)    train_sampleweights = train_weights[trainset.labels]    train_sampler = WeightedRandomSampler(weights=train_sampleweights,     num_samples = len(train_sampleweights))    trainloader = DataLoader(trainset, sampler=train_sampler,     shuffle=False)

我无法理解为什么在初始化WeightedRandomSampler类时会遇到这个错误?

我尝试了其他类似的解决方法,但到目前为止,所有尝试都产生了一些错误。我应该如何实现这一点来平衡我的训练、验证和测试数据?

目前遇到的错误是:

train__sampleweights = train_weights[trainset.labels] ValueError: too many dimensions ‘str’


回答:

问题出在trainset.labels的类型上。为了修复这个错误,可以将trainset.labels转换为浮点数类型。

Related Posts

如何对SVC进行超参数调优?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

如何在初始训练后向模型添加训练数据?

我想在我的scikit-learn模型已经训练完成后再…

使用Google Cloud Function并行运行带有不同用户参数的相同训练作业

我正在寻找一种方法来并行运行带有不同用户参数的相同训练…

加载Keras模型,TypeError: ‘module’ object is not callable

我已经在StackOverflow上搜索并阅读了文档,…

在计算KNN填补方法中特定列中NaN值的”距离平均值”时

当我从头开始实现KNN填补方法来处理缺失数据时,我遇到…

使用巨大的S3 CSV文件或直接从预处理的关系型或NoSQL数据库获取数据的机器学习训练/测试工作

已关闭。此问题需要更多细节或更清晰的说明。目前不接受回…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注