我在Kaggle上通过查看其他人的内核来学习机器学习，特别是这个蘑菇分类内核。作者首先对转换后的指示矩阵应用了PCA。他只使用了2个主成分用于后续的可视化。然后我检查了它保留了多少方差，发现只保留了16%的方差。
in [18]: pca.explained_variance_ratio_.cumsum()out[18]: array([0.09412961, 0.16600686])但是测试结果显示90%的准确率表明它表现良好。我的问题是，如果方差代表信息，那么当丢失了如此多的信息时，机器学习模型如何能表现良好？
回答：
你应该注意，原始向量空间中的许多变量是稀疏编码的分类变量。PCA并不适合处理这样的变量，并且你所参考的代码中的处理方式是不推荐的。
现在你可能会问：为什么它最初能工作？为什么仅用两个变量就行？问问自己：如果我告诉你蘑菇的颜色是红色并且有菌褶（lamella），你能判断出蘑菇是否有毒吗？如果你对蘑菇有一定的了解，那么是的，在绝大多数情况下你都能判断出来。这就是这里的算法所做的。虽然解释的方差并不多，因为有很多变量，其中一些最有意义的变量，比如颜色，是稀疏编码的，因此对PCA来说有效地分布在许多变量中。
另外，我不会说它表现得很好，而可视化图正好显示了这一点。考虑这张显示逻辑回归测试集结果的图片：
根据测试结果，它有90%的准确率。当你看它时，你认为它表现得好吗？在左下角，有一团可食用和有毒的蘑菇混在一起。显然，在这个地方，我们计算的两个特征是不够的；红菇是红色且可食用的。
