在 Flux (Julia) 中使用分位数作为损失函数

我在尝试在损失函数中使用分位数来进行训练(为了增加一些鲁棒性,类似于最小修剪平方),但这会改变数组,Zygote 会抛出一个错误 Mutating arrays is not supported,源自 sort!。下面是一个简单的例子(当然内容没有意义):

using Flux, StatsBasexdata = randn(2, 100)   ydata = randn(100)model = Chain(Dense(2,10), Dense(10, 1))function trimmedLoss(x,y; trimFrac=0.f05)        yhat = model(x)        absRes = abs.(yhat .- y) |> vec        trimVal = quantile(absRes, 1.f0-trimFrac)         s = sum(ifelse.(absRes .> trimVal,  0.f0 , absRes ))/(length(absRes)*(1.f0-trimFrac))        #s = sum(absRes)/length(absRes)   # 使用这个并注释掉上面的两行可以工作(不出所料)    endprintln(trimmedLoss(xdata, ydata)) # 正常工作Flux.train!(trimmedLoss, params(model), zip([xdata], [ydata]), ADAM())println(trimmedLoss(xdata, ydata)) # 损失值改变了?

这是在 Flux 0.10 和 Julia 1.2 上运行的

非常感谢您提供任何提示或解决方案!


回答:

理想情况下,我们会为 quantile 定义一个自定义伴随函数,这样就可以开箱即用。(欢迎在这里创建一个问题来提醒我们这样做。)

在此期间,有一个快速的解决方案。实际上是排序导致了问题,所以如果你使用 quantile(xs, p, sorted=true) 就可以工作。显然,这需要 xs 已经排序才能得到正确的结果,所以你可能需要使用 quantile(sort(xs), ...)

根据您的 Zygote 版本,您可能还需要为 sort 定义一个伴随函数。这很简单:

julia> using Zygote: @adjointjulia> @adjoint function sort(x)         p = sortperm(x)         x[p], x̄ -> (x̄[invperm(p)],)       endjulia> gradient(x -> quantile(sort(x), 0.5, sorted=true), [1, 2, 3, 3])([0.0, 0.5, 0.5, 0.0],)

我们将在下一个 Zygote 版本中内置这个功能,但现在如果您将这段代码添加到您的脚本中,它将使您的代码正常工作。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注