我正在处理一个Kaggle数据集：https://www.kaggle.com/c/santander-customer-satisfaction。我了解到在进行PCA之前需要进行某种形式的特征缩放。我从这篇文章和这篇文章中了解到标准化是最好的方法，然而实际上是标准化（Standardization）让我获得了最高的性能（AUC-ROC）。
我尝试了sklearn中所有的特征缩放方法，包括：RobustScaler()、Normalizer()、MinMaxScaler()、MaxAbsScaler()和StandardScaler()。然后使用缩放后的数据进行PCA。但结果显示，不同方法得到的最佳PCA数量差异很大。
这是我使用的代码：
# Standardize the datascaler = StandardScaler()X_train_scaled = scaler.fit_transform(X_train)# Find the optimal number of PCA pca = PCA(n_components=X_train_scaled.shape[1])pca.fit(X_train_scaled)ratios = pca.explained_variance_ratio_# Plot the explained variance ratiosx = np.arange(X_train_scaled.shape[1])plt.plot(x, np.cumsum(ratios), '-o')plt.xlabel("Number of PCA's")plt.ylabel("Cumulated Sum of Explained Variance")plt.title("Variance Explained by PCA's")# Find the optimal number of PCA'sfor i in range(np.cumsum(ratios).shape[0]): if np.cumsum(ratios)[i] >= 0.99: num_pca = i + 1 print "The optimal number of PCA's is: {}".format(num_pca) break else: continue这是使用不同缩放器得到的不同PCA数量。
- RobustScaler: 9
- Normalizer: 26
- MinMaxScaler: 45
- MaxAbsScaler: 45
- StandardScaler: 142
那么，我的疑问是，在这种情况下，哪种特征缩放方法是正确的？谢谢！
回答：
用于计算PCA变换的数据应该进行标准化，这意味着在这种情况下：
- 零均值
- 单位方差
这基本上就是sklearn的StandardScaler，我更倾向于在你的候选中选择它。原因在维基百科和这里都有解释。
- sklearn的Normalizer缺少零均值
- 两个Min-Max缩放器缺少单位方差
- Robust缩放器在某些数据（异常值！）上可能有效，但我更倾向于StandardScaler。
