我已经在Linux上使用Pytorch一段时间了，最近决定尝试在我的Windows桌面上让更多的脚本在GPU上运行。自从尝试以来，我注意到在相同的脚本上，GPU执行时间与CPU执行时间之间存在巨大的性能差异，我的GPU明显比CPU慢。为了说明这一点，我使用了一个教程程序，地址在这里（https://pytorch.org/tutorials/beginner/pytorch_with_examples.html#pytorch-tensors）

我将Epoch的数量从500增加到5000，因为我听说第一次CUDA调用由于初始化原因非常慢。然而，性能问题仍然存在。

使用device = torch.device("cpu")时，最终输出的时间通常在3到4秒之间，而device = torch.device("cuda:0")则需要大约13到15秒的时间来执行

我已经以多种不同的方式重新安装了Pytorch（当然是先卸载了之前的安装），但问题仍然存在。我希望有人能帮我，如果我可能错过了一些设置（没有安装其他API/程序）或者在代码中做错了什么。

Python: v3.6

Pytorch:v0.4.1

GPU: NVIDIA GeForce GTX 1060 6GB

任何帮助将不胜感激 :slight_smile:

回答：

当你使用较小的批次大小在GPU上运行时，可能会比较昂贵。如果你向GPU输入更多的数据，也就是增加批次大小，那么你可能会观察到数据显著增加。是的，GPU在使用float32时比使用double性能更好。试试这个

**

N, D_in, H, D_out = 128, 1000, 500, 10dtype = torch.float32

**