编辑：添加了函数头

function backward(l::SoftMax, DLDY::Array{Float64}; kwargs...)    # credits: https://stats.stackexchange.com/questions/79454/softmax-layer-in-a-neural-network?newreg=d1e89b443dd346ae8bccaf038a944221    m,n =size(l.x)    ly = Array{Float64}(n)    for batch=1:m      ly = l.y[batch,:]      for i=1:n        li = ly[i]        l.jacobian[:,i] = -li * ly        l.jacobian[i,i] = li*(1-li)      end      # l.jacobian = ly'.*repmat(ly, 1, n)      # for i=1:n      #   li = l.y[batch,i]      #   l.jacobian[i,i] = li*(1.0-li)      # end      # # n x 1 = n x n * n x 1      l.dldx[batch,:] = l.jacobian * DLDY[batch,:]    end    return l.dldxend

以上是我Softmax层反向传播函数的代码。计算Softmax导数的方法在这个讨论中得到了很好的描述 https://stats.stackexchange.com/questions/79454/softmax-layer-in-a-neural-network?newreg=d1e89b443dd346ae8bccaf038a944221。这里，我正在寻找一种更有效的方法来计算导数，因为上面的代码在评估1000×100的矩阵时需要0.05~6秒，而之前的Softmax+交叉熵组合层仅需0.002秒。

因此，我正在寻找一种方法来加速代码的运行。我不确定我计算雅可比矩阵的方式是否是最有效的，但我尝试了另一种方法，即使用repmat(ly,1,n)然后与ly进行点乘。这似乎更糟，因为显然Julia的repmat需要太多的内存分配。

本质上，我正在寻找一种高效的方法来将数组与数组中的每个元素相乘，并将结果连接成一个方阵。有什么Julia大师对此有想法吗？谢谢！

回答：

在抱怨可运行代码后（抱怨仍然有效），我将尝试一个更具建设性的评论。替换循环：

 for i=1:n    li = ly[i]    l.jacobian[:,i] = -li * ly    l.jacobian[i,i] = li*(1-li) end

用（无需循环）：

 l.jacobian .= -ly .* ly' l.jacobian[diagind(jacobian)] .= ly.*(1.0.-ly)

结果l.jacobian应该是相同的，而且更有效率。

至于解释，使用到的关键特性包括：broadcast的点符号和diagind。