这是什么原因呢?
回答:
贝叶斯优化并不能保证提供最佳的超参数值;引用Goodfellow、Bengio和Courville撰写的权威教材《深度学习》(Deep Learning,第430页)中的话:
目前,我们无法明确推荐贝叶斯超参数优化作为一种已确立的工具来获得更好的深度学习结果或以更少的努力获得这些结果。贝叶斯超参数优化有时表现得与人类专家相当,有时更好,但在其他问题上却会彻底失败。在特定的问题上尝试一下可能值得,但它尚未足够成熟或可靠。
换句话说,它实际上只是一个启发式方法(如网格搜索),你报告的情况并不一定意味着你做错了什么,或者程序中有需要纠正的问题……