我在尝试在损失函数中使用分位数来进行训练(为了增加一些鲁棒性,类似于最小修剪平方),但这会改变数组,Zygote 会抛出一个错误 Mutating arrays is not supported
,源自 sort!
。下面是一个简单的例子(当然内容没有意义):
using Flux, StatsBasexdata = randn(2, 100) ydata = randn(100)model = Chain(Dense(2,10), Dense(10, 1))function trimmedLoss(x,y; trimFrac=0.f05) yhat = model(x) absRes = abs.(yhat .- y) |> vec trimVal = quantile(absRes, 1.f0-trimFrac) s = sum(ifelse.(absRes .> trimVal, 0.f0 , absRes ))/(length(absRes)*(1.f0-trimFrac)) #s = sum(absRes)/length(absRes) # 使用这个并注释掉上面的两行可以工作(不出所料) endprintln(trimmedLoss(xdata, ydata)) # 正常工作Flux.train!(trimmedLoss, params(model), zip([xdata], [ydata]), ADAM())println(trimmedLoss(xdata, ydata)) # 损失值改变了?
这是在 Flux 0.10 和 Julia 1.2 上运行的
非常感谢您提供任何提示或解决方案!
回答:
理想情况下,我们会为 quantile
定义一个自定义伴随函数,这样就可以开箱即用。(欢迎在这里创建一个问题来提醒我们这样做。)
在此期间,有一个快速的解决方案。实际上是排序导致了问题,所以如果你使用 quantile(xs, p, sorted=true)
就可以工作。显然,这需要 xs
已经排序才能得到正确的结果,所以你可能需要使用 quantile(sort(xs), ...)
。
根据您的 Zygote 版本,您可能还需要为 sort
定义一个伴随函数。这很简单:
julia> using Zygote: @adjointjulia> @adjoint function sort(x) p = sortperm(x) x[p], x̄ -> (x̄[invperm(p)],) endjulia> gradient(x -> quantile(sort(x), 0.5, sorted=true), [1, 2, 3, 3])([0.0, 0.5, 0.5, 0.0],)
我们将在下一个 Zygote 版本中内置这个功能,但现在如果您将这段代码添加到您的脚本中,它将使您的代码正常工作。