从sklearn的MLPClassifier中检索最终隐藏激活层的输出

我想使用sklearn的MLPClassifier在数据fit之后,对神经网络的最终隐藏激活层输出进行一些测试。

例如,如果我创建一个分类器,假设数据为X_train,标签为y_train,并且有两个隐藏层,大小为(300,100)

clf = MLPClassifier(hidden_layer_sizes=(300,100))clf.fit(X_train,y_train)

我希望能够调用某个函数来检索长度为100的最终隐藏激活层向量,以便用于额外的测试。

假设有一个测试集X_test, y_test,正常的预测将会是:

preds = clf.predict(X_test)

但是,我希望能够做类似以下的事情:

activation_layers_for_all_X_test = clf.get_final_activation_output(X_test)

虽然存在如get_weights这样的函数,但那只能帮助我逐层操作。除了自己进行转换之外,还有没有其他方法可以检索最终隐藏层的激活输出?

以这个图表为例:

我想要的输出是Out Layer,即最终隐藏层的最终激活输出。


回答:

正如我在上面的评论中所说,看起来sklearn中没有一个函数可以完全满足你的需求,但是你可以很容易地修改_predict函数来实现你想要的功能。以下代码将返回所有激活,你可以编辑为return activations[-2]来获取你需要的那部分。

def get_activations(clf, X):        hidden_layer_sizes = clf.hidden_layer_sizes        if not hasattr(hidden_layer_sizes, "__iter__"):            hidden_layer_sizes = [hidden_layer_sizes]        hidden_layer_sizes = list(hidden_layer_sizes)        layer_units = [X.shape[1]] + hidden_layer_sizes + \            [clf.n_outputs_]        activations = [X]        for i in range(clf.n_layers_ - 1):            activations.append(np.empty((X.shape[0],                                         layer_units[i + 1])))        clf._forward_pass(activations)        return activations

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注