我正在阅读基于能量的学习教程，并试图理解在SVM上下文中上述术语之间的区别。这个链接总结了损失函数、成本函数和目标函数之间的区别。根据我的理解，

目标函数：我们想要最小化的内容。例如SVM中的||w||^2。

损失函数：预测与标签之间的惩罚，这也相当于正则化项。例如SVM中的铰链损失函数。

成本函数：结合了目标函数和损失函数的通用公式。

现在，第一个链接指出铰链函数是max(0, m + E(W,Yi,Xi) - E(W,Y,X))，即它是能量项的函数。这是否意味着SVM的能量函数是1 - y(wx + b)？能量函数是否是损失函数的一部分？损失函数和目标函数是否是成本函数的一部分？

对这四个术语的简洁总结将极大地帮助我的理解。如果我的理解有误，请纠正我。这些术语听起来很 confusing。谢谢！

回答：

目标函数：我们想要最小化的内容。例如SVM中的||w||^2。

目标函数 – 顾名思义 – 是优化的目标。它可以是我们想要最小化的（如成本函数）或最大化的（如似然函数）。一般来说 – 它是衡量当前解决方案有多好的函数（通常通过返回一个实数来实现）。

损失函数：预测与标签之间的惩罚，这也相当于正则化项。例如SVM中的铰链损失函数。

首先，损失并不等同于正则化，在任何意义上都不是。损失函数是模型与真实值之间的惩罚。这可以是类条件分布的预测与真实标签的比较，也可以是数据分布与经验样本的比较，等等。

正则化

正则化是一个术语、惩罚、度量，旨在惩罚过于复杂的模型。在机器学习中，或者一般来说在统计学中处理估计器时，你总是试图平衡两种误差来源 – 方差（来自过于复杂的模型，过拟合）和偏差（来自过于简单的模型，学习方法不佳，欠拟合）。正则化是在优化过程中惩罚高方差模型的技术，以便获得较少过拟合的模型。换句话说 – 对于能够完美拟合训练集的技术，重要的是要有一个措施来禁止这种情况，以便保持泛化能力。

成本函数：结合了目标函数和损失函数的通用公式。

成本函数只是一个需要最小化的目标函数。它可以由一些损失函数和正则化器的集合组成。

现在，第一个链接指出铰链函数是max(0, m + E(W,Yi,Xi) – E(W,Y,X))，即它是能量项的函数。这是否意味着SVM的能量函数是1 – y(wx + b)？能量函数是否是损失函数的一部分？损失函数和目标函数是否是成本函数的一部分？

铰链损失是max(0, 1 - y(<w,x> - b))。这里定义的不是SVM的，而是通用因子图的，我强烈建议从基础开始学习机器学习，而不是从高级技术开始。没有对机器学习基础的良好理解，这篇论文将无法理解。

以下是SVM和命名惯例的示例

C SUM_i=1^N max(0, 1 - y_i(<w, x_i> - b)) + ||w||^2            \__________________________/    \_____/                         损失            正则化\_________________________________________________/            成本 / 目标函数