我有一个函数 f(x): R^n –> R（对不起，这里有办法使用 LaTeX 吗？），我想构建一个机器学习算法，根据训练数据集中一组样本 x 来估计任意输入点 x 的 f(x)。如果我知道训练数据中每个 x 的 f(x) 值，这应该很简单——只需进行回归，或者计算附近点的加权平均值，或者其他方法即可。

然而，我的训练数据并非如此。相反，我有一组点对 (x, y)，我知道每对点的 f(x) – f(y) 的值，但我不知道任何特定 x 的 f(x) 的绝对值。似乎应该有办法利用这些数据来找到 f(x) 的近似值，但我经过一些搜索后没有找到任何相关内容；有一些像 这个 的论文，但它们似乎假设训练数据是以每个实体的一组离散标签的形式出现的，而不是对实体对进行标记。

这只是我随意想出来的，但能否尝试对 f'(x) 进行核密度估计，然后通过积分得到 f(x)？还是这个想法太疯狂了，或者有已知的更好技术？

回答：

你可以假设 f 是线性的，这会简化问题——如果 f 是线性的，我们知道：

f(x-y) = f(x) - f(y)

例如，假设 f(x) = <w, x>，使 w 成为你想要学习的参数。对于每个样本 (x,y) 和已知差异 d，样本的平方损失会是什么样子？

loss((x,y), d) = (f(x)-f(y) - d)^2               = (<w,x> - <w,y> - d)^2               = (<w, x-y> - d)^2               = (<w, z> - d)^2 // 其中 z:=x-y

这只是 z=x-y 的平方损失

实际上，你需要为每一对构造 z=x-y，然后使用输入 z 和输出 d 的线性回归来学习 f。

这个模型可能对你的需求来说太弱了，但这可能是你应该首先尝试的。否则，一旦你偏离线性假设，你可能会遇到一个困难的非凸优化问题。