def dropout(input, p=0.5, training=True, inplace=False)
inplace: 如果设置为
True
,将在原地进行此操作。
我想问一下dropout中的in-place是什么意思?它有什么作用?执行这些操作时性能会有什么变化吗?
谢谢
回答:
将 inplace=True
保持不变会直接在张量 input
上丢弃一些值,而如果保持 inplace=False
,你需要将 droput(input)
的结果保存到另一个变量中以便后续使用。
示例:
import torchimport torch.nn as nninp = torch.tensor([1.0, 2.0, 3, 4, 5])outplace_dropout = nn.Dropout(p=0.4)print(inp)output = outplace_dropout(inp)print(output)print(inp) # 请注意,输入在这里没有被改变inplace_droput = nn.Dropout(p=0.4, inplace=True)inplace_droput(inp)print(inp) # 请注意,输入现在被改变了
PS: 这与您的问题无关,但请尽量避免使用 input
作为变量名,因为 input
是Python的关键字。我知道Pytorch文档中也这样做,这有点搞笑。