停止在Flux(Julia)中跟踪数组

我目前正在尝试在Julia的Flux中实现批量更新。

在我的计算过程中,我通过重复执行以下操作获得一批标量:

δ = Gt - model(St)[1]push!(deltas,δ)

其中model是一个神经网络

global model= Chain(    Dense(statesize,10, leakyrelu),    Dense(10,10,leakyrelu),    Dense(10,1))

我最终得到了一个名为deltas的数组,我希望在第二个神经网络上执行批量梯度更新(批量大小=19),其中每个梯度由相应的delta加权。我编写的更新函数是

function vupdate2!(S_batch,model,α,deltas)   function v_loss_total(x)       return sum(reshape(deltas,(1,19)) .* model(x))   end   local ps = Flux.params(model)   local gs = Flux.Tracker.gradient(() -> v_loss_total(S_batch), ps)   for p in ps       Flux.Tracker.update!( p,  α.* gs[p])   endend

问题是,计算梯度的行抛出了一个错误:MethodError: no method matching Float32(::Tracker.TrackedReal{Float64})

我认为问题在于我的delta数组被跟踪了。查看v_loss_total函数在随机输入下的输出,我得到:

julia> v_loss_total(S_batch)-6752.433690476287 (tracked) (tracked)

有趣的是,这个数字被跟踪了两次(?),我猜这是因为将两个被跟踪的数字相乘(即deltas和model(S_batch)的条目)。有没有办法先取消delta数组的跟踪?我非常感谢任何帮助。


回答:

好的,事实证明,有一个函数

Flux.Tracker.data()

它正好满足我的需求。它接受一个被跟踪的数字并返回Float本身。另见:https://github.com/FluxML/Flux.jl/issues/640

Related Posts

在使用k近邻算法时,有没有办法获取被使用的“邻居”?

我想找到一种方法来确定在我的knn算法中实际使用了哪些…

Theano在Google Colab上无法启用GPU支持

我在尝试使用Theano库训练一个模型。由于我的电脑内…

准确性评分似乎有误

这里是代码: from sklearn.metrics…

Keras Functional API: “错误检查输入时:期望input_1具有4个维度,但得到形状为(X, Y)的数组”

我在尝试使用Keras的fit_generator来训…

如何使用sklearn.datasets.make_classification在指定范围内生成合成数据?

我想为分类问题创建合成数据。我使用了sklearn.d…

如何处理预测时不在训练集中的标签

已关闭。 此问题与编程或软件开发无关。目前不接受回答。…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注