我在尝试不同的Theano模型，并使用一个不断增加序列长度的课程。我如何提前预测，对于给定的序列长度和模型，应该设置多大的批次大小来填满GPU的内存？
更糟糕的是，如果我无意中使用了过多的内存，我会得到一个MemoryError，并且GPU上的内存不会被释放，这需要我重新启动进程来释放内存，并且在尝试新的批次大小之前失去我的网络。因为这个错误是无法恢复的，所以很难只是增加批次大小直到出现异常然后再减小。
回答：
假设你知道要存储在GPU上的元素数量，你可以轻松计算出存储这些元素所需的内存量。
一个简单的例子：
import numpy as npimport theano.tensor as TT.config.floatX = 'float32'dataPoints = np.random.random((5000, 256 * 256)).astype(T.config.floatX)#float32数据类型需要4个字节sizeinGBs = 5000 * 256 * 256 * 4 / 1024. / 1024 / 1024 + (一些小的额外开销常数)print "数据将需要 %2f GB的可用内存" % sizeInGB假设额外开销常数为0，将会打印：
>>> 数据将需要 1.22 GB的可用内存如果你使用的是NVIDIA显卡，并且在你的机器上安装了CUDA，那么你可以使用以下代码行轻松获取GPU上的总可用内存量：
import theano.sandbox.cuda.basic_ops as sbcudaimport numpy as npimport theano.tensor as TT.config.floatX = 'float32'GPUFreeMemoryInBytes = sbcuda.cuda_ndarray.cuda_ndarray.mem_info()[0]freeGPUMemInGBs = GPUFreeMemoryInBytes/1024./1024/1024print "你的GPU有 %s GB的可用内存" % str(freeGPUMemInGBs)#下面要执行一个操作testData = shared(np.random.random((5000, 256 * 256)).astype(T.config.floatX), borrow = True)print "上面的任务使用了 %s GB的GPU内存。可用内存为 %s GB" % (str(freeGPUMemInGBs - GPUFreeMemoryInBytes/1024./1024/1024), str(GPUFreeMemoryInBytes/1024./1024/1024))然后输出格式如下（以我的机器为例）：
>>> 你的GPU有 11.2557678223 GB的可用内存>>> 上面的任务使用了 1.22077941895 GB的GPU内存。可用内存为 10.0349884033 GB通过监控可用内存量和计算你的模型/数据的大小，你可以更好地使用GPU内存。然而，请注意内存碎片化问题，因为它可能会意外地导致MemoryError。
