我在尝试微调一个GNN，我的导师建议我探索不同的学习率。我偶然发现了一个教程视频，其中提到在实践中通常会对超参数进行随机对数空间搜索。由于这是入门教程的一部分，所以没有涉及到这个内容。

关于如何在PyTorch中实现这一点的任何帮助或建议将不胜感激。谢谢你！

回答：

以对数形式设定尺度可以让你考虑到更理想的学习率值，通常是低于0.1的值

假设你想在0.1（1e-1）和0.001（1e-4）之间选择学习率值。然后你可以在对数尺度上设定这个下限和上限，通过对其应用以10为底的对数，log10(0.1) = -1 和 log10(0.001) = -4。Andrew Ng 在这个视频中提供了更清晰的解释。

在Python中，你可以使用np.random.uniform()来实现这一点

searchable_learning_rates = [10**(-4 * np.random.uniform(0.5, 1)) for _ in range(10)]searchable_learning_rates>>>[0.004890650359810075, 0.007894672127828331, 0.008698831627963768, 0.00022779163472045743, 0.0012046829055603172, 0.00071395500159473, 0.005690032483124896, 0.000343368839731761, 0.0002819402550629178, 0.0006399571804618883]

如你所见，你可以尝试从0.0002819402550629178到0.008698831627963768的学习率值，这接近上限。数组越长，你尝试的值就越多。

根据你提供的视频中的示例代码，你可以通过将learning_rates替换为searchable_learning_rates来实现学习率的随机对数搜索

for batch_size in batch_sizes:    for learning_rate in searchable_learning_rates:    ...    ...