我在尝试调整神经网络（回归问题）的超参数时，有几个问题想问：
- 在自动优化方法中（网格、随机、贝叶斯、遗传算法等），我应该按照什么顺序使用它们？
- 我从网格搜索开始，以了解学习情况，我知道网格搜索能给出最优结果，但它耗时较长，时间对我来说不是问题，所以我想尝试最佳的搜索空间，但我只知道如何为超参数选择离散值，我不知道如何为某个超参数设置连续值来测试。例如：我想测试epoch值在500到10000之间，步长为200，以及学习率在0.001到0.9之间，那么如何在网格搜索或其他任何优化方法中实现这一点呢？
回答：
你应该看看Tune，它基于Ray。Tune提供了多种强大的算法，可以使用网格搜索或更高级的策略（如基于种群的进化策略）来调整连续和离散参数。而且，它使用起来相当简单。
