停止在Flux(Julia)中跟踪数组

我目前正在尝试在Julia的Flux中实现批量更新。

在我的计算过程中,我通过重复执行以下操作获得一批标量:

δ = Gt - model(St)[1]push!(deltas,δ)

其中model是一个神经网络

global model= Chain(    Dense(statesize,10, leakyrelu),    Dense(10,10,leakyrelu),    Dense(10,1))

我最终得到了一个名为deltas的数组,我希望在第二个神经网络上执行批量梯度更新(批量大小=19),其中每个梯度由相应的delta加权。我编写的更新函数是

function vupdate2!(S_batch,model,α,deltas)   function v_loss_total(x)       return sum(reshape(deltas,(1,19)) .* model(x))   end   local ps = Flux.params(model)   local gs = Flux.Tracker.gradient(() -> v_loss_total(S_batch), ps)   for p in ps       Flux.Tracker.update!( p,  α.* gs[p])   endend

问题是,计算梯度的行抛出了一个错误:MethodError: no method matching Float32(::Tracker.TrackedReal{Float64})

我认为问题在于我的delta数组被跟踪了。查看v_loss_total函数在随机输入下的输出,我得到:

julia> v_loss_total(S_batch)-6752.433690476287 (tracked) (tracked)

有趣的是,这个数字被跟踪了两次(?),我猜这是因为将两个被跟踪的数字相乘(即deltas和model(S_batch)的条目)。有没有办法先取消delta数组的跟踪?我非常感谢任何帮助。


回答:

好的,事实证明,有一个函数

Flux.Tracker.data()

它正好满足我的需求。它接受一个被跟踪的数字并返回Float本身。另见:https://github.com/FluxML/Flux.jl/issues/640

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注