我想训练一个神经网络，它不仅能进行预测，还能返回预测区间，这样我就可以对预测的可信度有所了解。实现这一目标似乎有四种主要方法，这些方法在论文“Comprehensive Review of Neural Network-Based Prediction Intervals and NewAdvances”中有总结：https://ieeexplore.ieee.org/document/5966350
我对均值-方差估计（MVE）方法很感兴趣，因为它似乎是最容易理解的。然而，我在理解如何在Keras中实现这一点时遇到了困难。
我猜测损失函数将定义为：
def mve_cost(y_true, y_pred, var_pred): loss = 0.5*tf.reduce_sum(tf.log(var_pred) + tf.divide((tf.square(y_true - y_pred)),(tf.square(var_pred))) ) return loss但Keras中的损失函数可以接受三个输入吗？我之前从未见过这种情况。此外，方差-NN的目标事先并不知道，并且考虑了均值-NN的预测。我认为这将需要使用Keras功能API的更多灵活功能，但我对如何组装感到困惑。
- 如何正确定义MVE方法的损失函数？
- 如何在Keras功能API中实现两个NN之间的复杂关系？
- 有人知道在线上已经实现了这种方法吗？
- 是否有其他生成NN预测区间的方法更容易在Keras中理解/实现？
回答：
像这样的方法实施起来并不容易，但有一个技巧。像这样定义损失函数：
然后定义一个具有两个输出的模型，一个用于均值，另一个用于方差：
from keras.models import Modelfrom keras.layers import Dense, Inputinp = Input(shape=(1,))x = Dense(32, activation="relu")(inp)x = Dense(32, activation="relu")(x)mean = Dense(1, activation="linear")(x)var = Dense(1, activation="softplus")(x)train_model = Model(inp, mean)pred_model = Model(inp, [mean, var])train_model.compile(loss=regression_nll_loss(var), optimizer="adam")train_model.fit(x, y, ...)mean, var = pred_model.predict(some_input)技巧在于明确将方差的张量传递给损失函数，这样它只需要两个输入，并且只对均值进行监督。然后，你需要定义两个共享权重的模型，一个用于训练，另一个用于测试/推理。后者模型返回均值和方差。
记得对方差使用softplus激活函数以保持其为正。我已经实现了这个损失函数，用于深度集成，你可以在这里找到一个例子：这里。
