假设我有以下神经网络

net = Chain(Dense(3,5,\sigma), Dense(5,2, ???))

我想知道应该用什么来替换???，这样我的第一个输出神经元通过ReLU激活函数，第二个通过sigmoid函数。这个网络的输出是一对要执行的动作，第一个是正实数，另一个是二元选择。

我不能定义一个自定义的”relu_sigma”函数来做出选择，因为它的工作方式是激活函数接受单个值，而不是数组。所以我无法创建一个函数来识别它是接收第一个还是第二个Wx+b作为参数。

更一般地说，我想知道如何创建这种类型的网络，任何数量的神经元上可以应用任何数量的函数（例如，5个ReLU，2个sigmoid，以及最后4个上的softmax）。

回答：

我定义了一个自定义层类型如下。它不是那么通用，它只对前半部分的神经元应用ReLU，对后半部分应用sigma。但这正是我应用所需的，推广应该不难弄清楚。

struct reluSigma    W    bendreluSigma(in::Integer, out::Integer) =  reluSigma(param(randn(out, in)), param(randn(out)))function (m::reluSigma)(x)    l = Int(length(m.b)/2)    r1 = 1:l    r2 = l+1:length(m.b)    vcat(relu(m.W[r1,:] * x .+ m.b[r1,:]), σ(m.W[r2,:] * x .+ m.b[r2,:]))end