pybrain LSTM层缓冲变量

在pybrain的LSTM层中,有一些缓冲区用于存储值。

 'bufferlist': [   ('ingate', 20),                      ('outgate', 20),                      ('forgetgate', 20),                      ('ingatex', 20),                      ('outgatex', 20),                      ('forgetgatex', 20),                      ('state', 20),                      ('ingateError', 20),                      ('outgateError', 20),                      ('forgetgateError', 20),                      ('stateError', 20),                      ('inputbuffer', 80),                      ('inputerror', 80),                      ('outputbuffer', 20),                      ('outputerror', 20)],

能有人解释一下这些变量的用途吗?我正在尝试获取LSTM层的激活值。应该使用哪个变量?


回答:

激活值在’outputbuffer’中。

关于这些变量的用途(你的问题有点不清楚),你可以阅读原始论文来更容易理解。如果你指的是实现中的具体用法而不是模型中的用途,你应该查看LSTMLayer的实现,这些变量就是在这里使用的。

大多数变量的命名与论文中完全一致。如果你理解了这些概念,事情就相当简单了。需要补充的是,以’x’结尾的门(outgatex, forgetgatex, ingatex)是从窥孔连接计算得到的值,而(outgate, forgetgate, ingate)则是总的门值。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注