希望能得到帮助解决一个奇怪的CNN训练问题。
我正在训练一个Resnet分类器来预测来自约10k图像数据集的4个类别的图像。代码非常简单。这是Resnet/CNN设置部分：
############################################### LOAD RESNET ################################################device = torch.device("cuda" if torch.cuda.is_available() else "cpu")model = models.resnet50(pretrained=True)# for param in model.parameters(): param.requires_grad = False # model.fc = nn.Sequential(nn.Linear(2048, 512), nn.ReLU(), #nn.Dropout(0.2), nn.Linear(512, 10), nn.LogSoftmax(dim=1))# criterion = nn.NLLLoss()# optimizer = optim.Adam(model.fc.parameters(), lr=0.003)# move model to gpumodel.to(device) 这是训练阶段（它将数据分批处理为500张图像并打乱测试数据集）以及一些经过几个epoch后的准确率结果：
trainloader, testloader, n_batches = make_trainloader(all_data, vals, batch_size=500, randomize=True) ... for inputs, labels in trainloader: ... inputs, labels = inputs.to(device), labels.to(device) ... # PREDICT; outputs = model(inputs)...epoch #: 12Loss: 0.1689 Acc: 0.9400labels: tensor([0, 0, 1, 0, 3, 0, 0, 2, 1, 2], device='cuda:0')predictions: tensor([0, 0, 1, 0, 3, 0, 0, 2, 1, 2], device='cuda:0') 奇怪的是，我似乎无法对单张图像进行良好的预测，只能在大批量混合类别的数据上进行预测。例如，如果我提供来自类别1的500张图像，预测结果是随机的，但如果我提供来自4个类别的混合的500张图像（就像训练期间一样），预测结果非常好（就像训练期间一样）。
似乎我对如何在单张图像上使用Resnet分类器感到困惑，尽管它似乎确实学会了预测输入数据的各个标签（见上面的标签和预测输出）。或者我的分类器不是在学习单张图像，而是在学习图像组，我不确定。
任何帮助或指导都将不胜感激（我可以提供更多代码，但不想让消息太长）。这是预测代码：
# Predictrandomize = False# load data from aboveinputs = test_data[:2000]vals_inputs = test_vals[:2000]print ("test data size: ", vals_inputs.shape)trainloader, testloader, n_batches = make_trainloader(inputs, vals_inputs, batch_size=500, randomize=randomize)for inputs, labels in trainloader: # load to device inputs, labels = inputs.to(device), labels.to(device) # PREDICT; outputs = model(inputs) _, preds = torch.max(outputs, 1) print ("prediction: ", preds[:10]) print ("labels: ", labels[:10]) ...test data size: torch.Size([2000])prediction: tensor([1, 1, 2, 1, 2, 3, 2, 3, 2, 3], device='cuda:0')labels: tensor([0, 0, 0, 0, 0, 0, 0, 0, 0, 0], device='cuda:0')0 Loss: 3.2936 Acc: 0.1420prediction: tensor([1, 3, 3, 3, 3, 1, 2, 1, 1, 2], device='cuda:0')labels: tensor([1, 1, 1, 1, 1, 1, 1, 1, 1, 1], device='cuda:0')0 Loss: 2.1462 Acc: 0.2780prediction: tensor([3, 3, 1, 2, 0, 1, 2, 1, 3, 2], device='cuda:0')labels: tensor([2, 2, 2, 2, 2, 2, 2, 2, 2, 2], device='cuda:0')0 Loss: 2.1975 Acc: 0.2560相比之下，当我简单地打乱数据时，准确率非常高：
# Predictrandomize = True...test data size: torch.Size([2000])prediction: tensor([0, 0, 3, 2, 0, 2, 0, 3, 0, 2], device='cuda:0')labels: tensor([0, 0, 3, 2, 0, 2, 0, 3, 0, 2], device='cuda:0')0 Loss: 0.1500 Acc: 0.9580prediction: tensor([0, 3, 3, 3, 0, 0, 3, 2, 3, 3], device='cuda:0')labels: tensor([0, 2, 3, 0, 0, 0, 3, 2, 0, 3], device='cuda:0')0 Loss: 0.1714 Acc: 0.9340prediction: tensor([3, 3, 2, 2, 3, 1, 3, 0, 2, 2], device='cuda:0')labels: tensor([3, 3, 2, 2, 3, 1, 3, 0, 2, 2], device='cuda:0')0 Loss: 0.1655 Acc: 0.9400回答：
在测试前需要调用model.eval()。（并在训练前通过调用model.train()将其改回）
在训练模式下，BatchNorm将通过均值和方差来标准化你的特征。你可以预期一个所有类别都是1的批次与一个混合类别的批次会有非常不同的统计数据。
