我正在为图像分类开发一个RBM（用于DBN），使用了两层RBM。第一层有高斯可见单元和二进制隐藏单元，第二层有二进制可见单元和softmax隐藏单元。效果相当不错。现在我想尝试使用噪声整流线性单元（Noise Rectified Linear Unit）作为隐藏层，但我无法理解如何实现它。我尝试的所有方法都导致了糟糕的结果。

如果我理解正确的话：ReLU的激活概率只是p = max(0, x + N(0, 1))，但接下来我该如何采样值来激活可见单元呢？噪声应该只在采样中使用，而不在激活概率中使用吗？

还有一点：在一些论文中，我看到噪声应为N(0,1)，而其他一些论文使用N(0,sigmoid(x))。

那么，激活函数应该是什么，值应该如何采样呢？

回答：

显然：

使用max(0, x)作为激活概率函数，并使用max(0, x + N(0, Sigmoid(x))进行采样似乎对RBM有效。