我使用Keras后端函数编写了Huber损失函数,并且运行良好:
def huber_loss(y_true, y_pred, clip_delta=1.0): error = y_true - y_pred cond = K.abs(error) < clip_delta squared_loss = 0.5 * K.square(error) linear_loss = clip_delta * (K.abs(error) - 0.5 * clip_delta) return tf_where(cond, squared_loss, linear_loss)
但我需要一个更复杂的损失函数:
- 如果
error <= A
,使用squared_loss - 如果
A <= error < B
,使用linear_loss - 如果
error >= B
,使用sqrt_loss
我写了类似这样的代码:
def best_loss(y_true, y_pred, A, B): error = K.abs(y_true - y_pred) cond = error <= A cond2 = tf_logical_and(A < error, error <= B) squared_loss = 0.5 * K.square(error) linear_loss = A * (error - 0.5 * A) sqrt_loss = A * np.sqrt(B) * K.sqrt(error) - 0.5 * A**2 return tf_where(cond, squared_loss, tf_where(cond2, linear_loss, sqrt_loss))
但它不起作用,使用这个损失函数的模型无法收敛,问题出在哪里?
回答:
我喜欢通过使用类似Desmos的程序来绘制图形来调试自定义函数。我使用您的实现绘制了Huber损失函数,看起来符合预期。
当我尝试绘制您的第二个函数时,看起来也是一个有效的损失函数。唯一的问题是当B小于A时。如果您的B值大于A,那么您的损失函数应该没有问题。如果不是这个问题,那么您可以尝试交换目标和输出之间的减法,因为我不熟悉TensorFlow如何处理微分,但顺序会影响梯度的方向。