在MxNet中，如何保护某些权重不被训练器更改？

据我所知，如果我想在TensorFlow中保护某些权重，我应该阻止它们被传递给优化器。因此，我在MxNet中也采用了类似的方法，如下代码所示。

all_params = net.collect_params() while True:    firstKey = next(iter(all_params._params))    if 'resnet' not in firstKey:        break    all_params._params.popitem(last = False)trainer = mx.gluon.Trainer(all_params,'sgd')

变量 all_params._params 属于一种称为 OrderedDict 的罕见类型。我认为这意味着这个字典中的顺序非常重要。我不应该改变这个顺序。如上所示，我只能从网络的开头移除一些参数。这非常不方便。参数名前带有“下划线 _”，这意味着它不应该由普通用户更改。

我没有收到任何错误，但我怀疑这不是推荐的操作方式。

回答：

据我理解，你想冻结某些层（以便它们的参数在训练期间保持不变），并且你正在使用Gluon。

在这种情况下，你可以将 grad_req 属性设置为 'null'（这是一个字符串），以防止该参数的更改。以下是示例。我定义了一组我想冻结的参数名称，并在创建模型后但在初始化之前冻结它们。

num_hidden = 10net = gluon.nn.Sequential()with net.name_scope():    net.add(gluon.nn.Dense(num_hidden, activation="relu"))    net.add(gluon.nn.Dense(num_hidden, activation="relu"))    net.add(gluon.nn.Dense(num_outputs))layers_to_freeze = set(['sequential1_dense0_weight', 'sequential1_dense0_bias', 'sequential1_dense1_weight', 'sequential1_dense1_bias'])    for p in net.collect_params().items():    if p[0] in layers_to_freeze:        p[1].grad_req = 'null'net.collect_params().initialize(mx.init.Xavier(magnitude=2.24), ctx=ctx)

如果你运行训练，这些参数应该不会改变。你可以通过在循环中打印 p[0] 来查找参数名称。