在普通最小二乘估计中，假设样本矩阵X（形状为N_samples x N_features）具有“满列秩”。

显然，这是为了使线性回归能够通过Moore-Penrose逆简化为简单的代数方程。参见维基百科关于OLS的这一部分：https://en.wikipedia.org/wiki/Ordinary_least_squares#Estimation

理论上，这意味着如果X的所有列（即特征）都是线性无关的，我们可以做出一个假设，使OLS的计算变得简单，对吗？

这在实践中意味着什么？这是否意味着对于这样的输入数据X，OLS无法计算并会导致错误？还是结果只是不好？是否有经典数据集因为这个假设不成立而导致线性回归失败？

回答：

只有当你使用逆（或Cholesky分解，或QR，或任何其他数学上等同于计算逆的方法）时，才需要满秩假设。如果你使用Moore-Penrose逆，你仍然会计算出一个答案。当满秩假设被违反时，不再有一个唯一的答案，即有许多x可以最小化

||A*x-b||

你用Moore-Penrose计算出的将是最小范数的x。例如，参见这里：See here, for exampleA