我在使用hyperopt调整我的机器学习模型时遇到了使用qloguniform作为搜索空间的问题。我提供了官方wiki中的示例，并更改了搜索空间。
import pickleimport time#utf8import pandas as pdimport numpy as npfrom hyperopt import fmin, tpe, hp, STATUS_OK, Trialsdef objective(x): return { 'loss': x ** 2, 'status': STATUS_OK, # -- store other results like this 'eval_time': time.time(), 'other_stuff': {'type': None, 'value': [0, 1, 2]}, # -- attachments are handled differently 'attachments': {'time_module': pickle.dumps(time.time)} }trials = Trials()best = fmin(objective, space=hp.qloguniform('x', np.log(0.001), np.log(0.1), np.log(0.001)), algo=tpe.suggest, max_evals=100, trials=trials)pd.DataFrame(trials.trials)但得到了以下错误。
ValueError: (‘negative arg to lognormal_cdf’, array([-3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764]))
我尝试了不进行对数变换的情况，如下所示，但输出的值变成了对数变换（例如1.017,1.0008,1.02456），这是错误的。这与文档是一致的。
hp.qloguniform('x', 0.001,0.1, 0.001)谢谢
回答：
问题似乎出在hp.qloguniform的最后一个参数q以及tpe.suggest如何使用它上。
-
首先让我们讨论一下
q。根据文档：hp.qloguniform(label, low, high, q)
round(exp(uniform(low, high)) / q) * q适用于目标函数相对于该变量是“平滑”的，并且随着值的增加变得更加平滑的离散变量，但该变量应在上限和下限之间受到限制。
这里的
q是一个“量化器”，它将定义空间的输出限制为q的倍数。例如，以下是qloguniform内部发生的情况：from hyperopt import pyll, hpn_samples = 10space = hp.loguniform('x', np.log(0.001), np.log(0.1))evaluated = [pyll.stochastic.sample(space) for _ in range(n_samples)]# Output: [0.04645754, 0.0083128 , 0.04931957, 0.09468335, 0.00660693,# 0.00282584, 0.01877195, 0.02958924, 0.00568617, 0.00102252]q = 0.005qevaluated = np.round(np.array(evaluated)/q) * q# Output: [0.045, 0.01 , 0.05 , 0.095, 0.005, 0.005, 0.02 , 0.03 , 0.005, 0.])在这里比较
evaluated和qevaluated。qevaluated是q的倍数，或者我们说它在q的“区间”（或步骤）内被量化。你可以尝试更改q的值以了解更多信息。你在问题中定义的
q与生成的样本范围（0.001到0.1）相比非常大：np.log(0.001)# Output: -6.907755278982137因此，这里所有值的输出都将为0。
q = np.log(0.001)qevaluated = np.round(np.array(evaluated)/q) * q# Output: [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.] -
现在让我们谈谈
tpe.suggest（参见这篇论文的第4节）：TPE使用不同估计器的树来优化搜索过程，在此过程中，它根据空间的生成器（在本例中为qloguniform）来划分搜索空间。详细信息请参见此处的代码。为了将空间划分为多个部分，它将使用q。但是，由于你空间中的所有点都将为0.0（如上所述），这个负的
q为lognormal_cdf生成了无效的边界，这是不可接受的，因此出现了错误。
简而言之，你对q的使用不正确。正如你在评论中已经说的：
此外，根据
round(exp(uniform(low, high)) / q) * q，q值不应在对数均匀/对数正态随机抽样中使用
所以你应该只提供对你所需空间有效的q值。因此，在这里，由于你希望生成0.001到0.1之间的值，q值应该与它们相当。
我同意你提供np.log(0.001)和np.log(0.1)到qloguniform中，但这是为了使输出值在0.001到0.1之间。因此，不要在q中使用np.log。q应根据生成的值来使用。
