我想创建一个包含2个类别和3个特征的合成数据集，用于测试具有RBF核的SVM分类器的超参数优化技术。超参数是gamma和C（成本）。
我目前的3D合成数据集是按以下方式创建的：
-
我通过从均值分别为(1,0,0)和(0,1,0)且单位方差的多元正态分布中采样，为每个类别创建了10个基础点。
-
我通过随机选择一个基础点，然后从均值等于所选基础点且方差为I/5的正态分布中采样新点，为每个类别添加了更多点。
如果我能从数据集中确定最佳的C和gamma（在运行SVM之前），那将是一件非常酷的事情，这样我就可以看看我的优化技术是否最终提供了最佳参数。
是否有可能从上述描述的合成数据集中计算出最佳的gamma和C参数？
或者，有没有办法创建一个合成数据集，其中最佳的gamma和C参数是已知的？
回答：
非常有趣的问题，但答案是否定的。这完全取决于数据，即使精确知道分布，除非你有无限的样本，否则在数学上不可能证明最佳的C/gamma，因为SVM最终完全是基于点的（与基于密度估计的方法相反）。典型的比较是在不同的情景下进行的——你使用真实数据，并使用其他技术（如高斯过程（贝叶斯优化）等）来拟合超参数，这些技术会生成基准（并且可能会得到最佳的C和gamma，或者至少非常接近它们）。最终，寻找最佳的C和gamma并不是复杂的问题，因此简单地运行好的技术（如贝叶斯优化）更长时间，你就会得到你的最优值来进行比较。此外，请记住，超参数优化的任务不是找到特定的C和gamma，而是找到产生最佳结果的超参数，实际上，即使对于SVM，也可能有许多“最优”的C和gamma集合，尽管它们彼此相距甚远，但都产生相同的结果（就你的有限数据集而言）。
