我正在使用自编码器作为一种降维技术，以利用学习到的表示作为低维特征，这些特征可以用于进一步的分析。

代码片段：

# Note: implementation --> based on keras encoding_dim = 32# Define input layerX_input = Input(shape=(X_train.shape[1],))# Define encoder:encoded = Dense(encoding_dim, activation='relu')(X_input)# Define decoder:decoded = Dense(X_train.shape[1], activation='sigmoid')(encoded)# Create the autoencoder modelAE_model = Model(X_input, decoded)#Compile the autoencoder modelAE_model.compile(optimizer='adam', loss='mse')#Extract learned representationlearned_feature = Model(X_input, encoded)history = AE_model.fit(X_train, X_train, epochs=10, batch_size=32)

我正在寻找一种方法来衡量学习表示的质量。我发现一种方法是测量重构误差。我使用以下代码来执行此操作：

import mathreconstr_error = AE_model.evaluate(X_train, X_train, verbose=0)print('The reconstruction error: %.2f MSE (%.2f RMSE)' % (reconstr_error , math.sqrt(reconstr_error )))

结果我得到了0.00 MSE（0.05 RMSE）。然而，我不确定上述代码是否正确用于测量重构误差？另外，如果有其他方法可以做到这一点，请告诉我。

回答：

你进行压缩的目的是什么？如果你的项目中有一个后续的分类器模型，你可以用正常（未输入到自编码器）的数据训练该模型，并查看准确率或你所测量的任何指标。然后用自编码器压缩后的数据训练相同的模型。如果你也得到了相当好的结果，这意味着你通过自编码器提取了有用的东西。特别是如果你没有使用所有数据来训练自编码器，并观察那些在自编码器训练中未见过的例子在压缩后对准确率的影响。

在其他技术中，如PCA，主成分是特征向量，这些特征向量的相应特征值实际上非常有意义，它们告诉你数据在每个方向上的信息变化情况，就像方差一样。但在自编码器中，特别是深度自编码器中，这样的分析并不直观，或者至少超出了我的知识范围。如果是单层自编码器，你可能仍然可以做一些类似的事情，实际上，单层自编码器以MSE为目标时与PCA非常接近。你可以提取隐藏层的那些权重，同时对你的数据协方差矩阵应用PCA或特征值分解。然后计算这些隐藏层权重与特征向量之间的余弦距离，看看是否保留了一些有意义的东西。

我不知道是否还有更多可以做的，但如果你觉得这很重要，也许你能找到一些论文来解决这些问题。