我知道训练模型时需要GPU,但模型训练完成后,部署这个已训练的模型时是否也需要GPU呢?例如,我有一个带自动驾驶功能的汽车模型,用于预测和决策……预测时也需要GPU吗?
特别是在强化学习的情况下
回答:
严格来说,训练时是否需要GPU取决于平台,通常不需要GPU,只是如果使用GPU而不是CPU,训练速度会快得多。
部署模型时不需要GPU。大多数模型只是一个有组织的权重列表,模型用这些权重来处理输入。由于这通常不是特别耗费计算资源,除了非常大的模型外,部署时也不需要GPU,但对于较大的模型,使用GPU可能会带来一些性能提升。