停止在Flux(Julia)中跟踪数组

我目前正在尝试在Julia的Flux中实现批量更新。

在我的计算过程中,我通过重复执行以下操作获得一批标量:

δ = Gt - model(St)[1]push!(deltas,δ)

其中model是一个神经网络

global model= Chain(    Dense(statesize,10, leakyrelu),    Dense(10,10,leakyrelu),    Dense(10,1))

我最终得到了一个名为deltas的数组,我希望在第二个神经网络上执行批量梯度更新(批量大小=19),其中每个梯度由相应的delta加权。我编写的更新函数是

function vupdate2!(S_batch,model,α,deltas)   function v_loss_total(x)       return sum(reshape(deltas,(1,19)) .* model(x))   end   local ps = Flux.params(model)   local gs = Flux.Tracker.gradient(() -> v_loss_total(S_batch), ps)   for p in ps       Flux.Tracker.update!( p,  α.* gs[p])   endend

问题是,计算梯度的行抛出了一个错误:MethodError: no method matching Float32(::Tracker.TrackedReal{Float64})

我认为问题在于我的delta数组被跟踪了。查看v_loss_total函数在随机输入下的输出,我得到:

julia> v_loss_total(S_batch)-6752.433690476287 (tracked) (tracked)

有趣的是,这个数字被跟踪了两次(?),我猜这是因为将两个被跟踪的数字相乘(即deltas和model(S_batch)的条目)。有没有办法先取消delta数组的跟踪?我非常感谢任何帮助。


回答:

好的,事实证明,有一个函数

Flux.Tracker.data()

它正好满足我的需求。它接受一个被跟踪的数字并返回Float本身。另见:https://github.com/FluxML/Flux.jl/issues/640

Related Posts

关于k折交叉验证的直观问题

我在使用交叉验证检查预测能力时遇到了一些直观问题,我认…

调整numpy数组大小以使用sklearn的train_test_split函数?

我正在尝试使用sklearn中的test_train_…

如何转换二维张量和索引张量以便用于torch.nn.utils.rnn.pack_sequence

我有一组序列,格式如下: sequences = to…

模型预测值的含义是什么?

我在网上找到一个数字识别器的CNN模型并进行了训练,当…

锯齿张量作为LSTM的输入

了解锯齿张量以及如何在TensorFlow中使用它们。…

如何告诉SciKit的LinearRegression模型预测值不能小于零?

我有以下代码,尝试根据非价格基础特征来估值股票。 pr…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注