我正在查看下面的代码:
class LstmParam: def __init__(self, mem_cell_ct, x_dim): self.mem_cell_ct = mem_cell_ct self.x_dim = x_dim concat_len = x_dim + mem_cell_ct # 权重矩阵 self.wg = rand_arr(-0.1, 0.1, mem_cell_ct, concat_len) self.wi = rand_arr(-0.1, 0.1, mem_cell_ct, concat_len) self.wf = rand_arr(-0.1, 0.1, mem_cell_ct, concat_len) self.wo = rand_arr(-0.1, 0.1, mem_cell_ct, concat_len) # 偏置项 self.bg = rand_arr(-0.1, 0.1, mem_cell_ct) self.bi = rand_arr(-0.1, 0.1, mem_cell_ct) self.bf = rand_arr(-0.1, 0.1, mem_cell_ct) self.bo = rand_arr(-0.1, 0.1, mem_cell_ct) # 差异（损失函数相对于所有参数的导数） self.wg_diff = np.zeros((mem_cell_ct, concat_len)) self.wi_diff = np.zeros((mem_cell_ct, concat_len)) self.wf_diff = np.zeros((mem_cell_ct, concat_len)) self.wo_diff = np.zeros((mem_cell_ct, concat_len)) self.bg_diff = np.zeros(mem_cell_ct) self.bi_diff = np.zeros(mem_cell_ct) self.bf_diff = np.zeros(mem_cell_ct) self.bo_diff = np.zeros(mem_cell_ct) def apply_diff(self, lr = 1): self.wg -= lr * self.wg_diff self.wi -= lr * self.wi_diff self.wf -= lr * self.wf_diff self.wo -= lr * self.wo_diff self.bg -= lr * self.bg_diff self.bi -= lr * self.bi_diff self.bf -= lr * self.bf_diff self.bo -= lr * self.bo_diff # 将差异重置为零 self.wg_diff = np.zeros_like(self.wg) self.wi_diff = np.zeros_like(self.wi) self.wf_diff = np.zeros_like(self.wf) self.wo_diff = np.zeros_like(self.wo) self.bg_diff = np.zeros_like(self.bg) self.bi_diff = np.zeros_like(self.bi) self.bf_diff = np.zeros_like(self.bf) self.bo_diff = np.zeros_like(self.bo) 我不明白为什么这么早就要对self.wg_diff = np.zeros((mem_cell_ct, concat_len))应用导数。我不确定这里发生了什么。我也困惑为什么它们被设置为零。如果有人能解释一下为什么这样做，那将不胜感激。
回答：
像这样的代码行
self.wg_diff = np.zeros((mem_cell_ct, concat_len)) 并不是在应用导数，它只是在初始化一个数组，这个数组稍后将保存损失函数相对于wg数组中值的导数。
在apply_diff中，梯度在这里被应用:
self.wg -= lr * self.wg_diff重要的是:在调用__init__函数创建LstmParam的一个实例和调用apply_diff来应用梯度之间，不同的代码（你没有展示的代码）必须修改self.wg_diff，这样它实际上包含导数。
为了计算梯度，
- 需要使用一些数据作为输入进行前向传递，并计算输出，其中计算涉及到
wg中的值。 - 然后将输出与期望的正确输出进行比较，使用损失函数。
- 计算损失后，反向传递计算梯度（损失函数相对于所有参与计算输出的权重的导数）。反向传递用实际值填充
self.wg_diff。
为了完整性，接下来的这行代码
self.wg_diff = np.zeros_like(self.wg)是在重置梯度数组，以便进行下一次反向传递。
