如何计算最佳批量大小？

有时候我会遇到一个问题：

OOM when allocating tensor with shape

例如：

OOM when allocating tensor with shape (1024, 100, 160)

其中1024是我的批量大小，而我不知道其余部分是什么。如果我减少批量大小或模型中的神经元数量，程序就能正常运行。

有没有一种通用的方法可以根据模型和GPU内存计算最佳批量大小，从而防止程序崩溃？

简而言之：我希望在我的模型中使用尽可能大的批量大小，同时能够适应我的GPU内存，并且不会导致程序崩溃。

回答：

你可以使用以下公式来估算最大的批量大小：

最大批量大小 = 可用GPU内存字节数 / 4 / (张量大小 + 可训练参数)

学技术