function g = relu(z)a=z>0;g=z.*a;end

z 可以是标量、矩阵或向量。那么上面的实现是否正确，或者在Octave中实现线性整流单元（ReLU）是否有更好的方法？

另外，请说明导数是否正确

function g = relugradient(z)g= (z>=0);end

回答：

我会使用

function r = relu (z)  r = max (0, z);endfunction

但你的版本应该会返回相同的结果。尝试用大向量和矩阵对两者进行基准测试…

导数是正确的（g = z > 0; 就足够了）