我正在尝试找出如何训练我的矩阵，以实现BandRNN的效果。
BandRnn是一种对角线RNN模型，每个神经元的连接数不同。例如：
C是每个神经元的连接数。
我发现了一种方法，可以在for循环中关闭一些梯度，防止它们被训练，方法如下：
for p in model.input.parameters(): p.requires_grad = False但是，我找不到合适的方法来实现，让我的矩阵变成BandRNN。
希望有人能帮我解决这个问题。
回答：
据我所知，你只能在张量上激活/停用requires_grad，而不能在该张量的不同组件上操作。相反，你可以将带外值置零。
首先为带创建一个掩码，你可以使用torch.ones和torch.diagflat：
>>> torch.diagflat(torch.ones(5), offset=1)通过设置torch.ones的正确维度以及正确的偏移量，你可以生成具有一致形状的偏移对角矩阵。
>>> N = 10; i = -1>>> torch.diagflat(torch.ones(N-abs(i)), offset=i)tensor([[0., 0., 0., 0., 0.], [1., 0., 0., 0., 0.], [0., 1., 0., 0., 0.], [0., 0., 1., 0., 0.], [0., 0., 0., 1., 0.]])>>> N = 10; i = 0>>> torch.diagflat(torch.ones(N-abs(i)), offset=i)tensor([[1., 0., 0., 0., 0.], [0., 1., 0., 0., 0.], [0., 0., 1., 0., 0.], [0., 0., 0., 1., 0.], [0., 0., 0., 0., 1.]])>>> N = 10; i = 1>>> torch.diagflat(torch.ones(N-abs(i)), offset=i)tensor([[0., 1., 0., 0., 0.], [0., 0., 1., 0., 0.], [0., 0., 0., 1., 0.], [0., 0., 0., 0., 1.], [0., 0., 0., 0., 0.]])你明白我的意思，通过按元素求和这些矩阵，我们可以得到一个掩码：
>>> N = 10; b = 3>>> mask = sum(torch.diagflat(torch.ones(N-abs(i)), i) for i in range(-b//2,b//2+1))>>> masktensor([[1., 1., 0., 0., 0.], [1., 1., 1., 0., 0.], [1., 1., 1., 1., 0.], [0., 1., 1., 1., 1.], [0., 0., 1., 1., 1.]])然后你可以在nn.Linear上将带外值置零：
>>> m = nn.Linear(N, N)>>> m.weight.data = m.weight * mask>>> m.weightParameter containing:tensor([[-0.3321, -0.3377, -0.0000, -0.0000, -0.0000], [-0.4197, 0.1729, 0.2101, 0.0000, 0.0000], [ 0.3467, 0.2857, -0.3919, -0.0659, 0.0000], [ 0.0000, -0.4060, 0.0908, 0.0729, -0.1318], [ 0.0000, -0.0000, -0.4449, -0.0029, -0.1498]], requires_grad=True)请注意，你可能需要在每次前向传递时执行此操作，因为训练过程中带外的参数可能会被更新为非零值。当然，你可以初始化mask一次并将其保存在内存中。
将所有内容包装成一个自定义的nn.Module会更方便。
