我有这个文档的SVD分解

我读了这个页面，但我不明白如何计算最佳的文档分离特征。

我知道：

S x Vt 给我文档和特征之间的关系

U x S 给我术语和特征之间的关系

但是，最佳特征选择的关键是什么？

回答：

SVD只关注输入，而不关注它们的标签。换句话说，它可以被视为一种无监督技术。因此，如果不做进一步的假设，它无法告诉你哪些特征适合分离。

它能告诉你的，是哪些“基向量”在重建原始数据时比其他向量更重要，只使用基向量的一个子集即可。

尽管如此，你可以这样思考LSA（这只是一种解释，数学才是最重要的）：文档是由多个主题的混合生成的。每个主题由长度为n的向量表示，该向量告诉你每个词在这个主题中的可能性。例如，如果主题是sports，那么像football或game这样的词比bestseller或movie更可能出现。这些主题向量是U的列。为了生成一个文档（A的列），你需要取主题的线性组合。线性组合的系数是Vt的列——每一列告诉你为了生成一个文档需要取哪些比例的主题。此外，每个主题都有一个总体的“增益”因子，告诉你这个主题在你的文档集中有多重要（也许你只有1000个文档中有一个是关于体育的）。这些是奇异值 == S的对角线。如果你丢掉较小的值，你可以用更少的主题来表示你的原始矩阵A，并且信息损失很小。当然，“小”是应用的问题。

LSA的一个缺点是如何解释这些数字并不完全清楚——例如，它们不是概率。文档中拥有“0.5”单位的sports是有意义的，但拥有“-1”单位又意味着什么呢？