我有一组变量X, Y, ..., Z。我的任务是设计一个函数，该函数接受这组变量并产生一个整数。我有一个适应度函数来对此进行测试。

我解决该问题的第一个方法是假设我可以将f建模为一个线性函数：

f(X, Y, ..., Z) -> aX + bY ... cZ

我的第一个想法是使用 PSO（粒子群优化）或遗传算法来求解f的a, b, .., c，我确信它们会产生良好的结果。

另一方面，我觉得也许并不真的需要这种进化算法。首先，我可以想到几个a,b, .., c的良好“起点”。由于f是一个线性函数，是否应该更容易尝试几个点，然后对它们进行线性回归？在线性回归之后，再次尝试更多点，这次更接近看起来不错的“位置”，再次对它们进行线性回归？

这样做的缺点是什么？ 有人有这方面的经验吗？ 我能想到的最大的问题是，也许我认为的a,b, .., c的良好起始值可能是“局部最优”，而使用某种进化算法会给我一个全局最优。

如果重要的话，f应该是类象棋游戏 Minimax 算法的近似函数。

谢谢

回答：

你描述的是一个回归问题，这是一个经典的机器学习问题。 有成千上万篇科学论文和整本书籍只写了这个主题。 我建议在线学习一些机器学习课程，或者查看标准的机器学习教材。

一般方法与你提到的类似，求解变量上的线性系数以最小化一些损失，通常是误差平方和（L2 损失）。 这是可取的，因为它是一个凸函数，因此包含一个最小值，并且可以在多项式时间内求解权重。 但是，正如你所提到的，真正的函数可能不属于这个函数类，你会得到一个很差的估计。 在这种情况下，方法不是尝试使用一些模糊的粒子群方法或遗传算法或其他任何全局优化技术进行某种非凸优化。 你说的“……可能是“局部最优”，并且使用某种进化算法会给我一个全局最优。” 是一种幼稚的说法。 全局优化是 NP 难题，这些技术只是近似值，并且对运行时间或最优性没有任何保证，而且它们几乎不起作用。

一种更普遍接受的方法是使用“特征扩展”，它采用你的变量X, Y, ..., Z，并将非线性变换应用于一些新集合phi(X), phi(Y), ..., phi(Z)。 此时，你可以使用最小二乘法（如果使用 L2）或其他方法找到每个特征的最佳线性权重。 如何找到好的特征是机器学习中的一个开放问题，但有很多想法和免费可用的算法可以做到这一点。