假设我们有一个用于监督机器学习的数据集（.csv格式）。这个数据集有60个数据点（数据行），每个数据点有100个变量。
我用这60个数据点的全部100个变量来训练机器学习模型是否合理？在我看来，这在数学上似乎是错误的。这就像我在解决一个有100个变量但只有60个方程的方程组？
在一个数据集中，如果我们有n个变量，我们需要的最小数据点数是多少才能训练一个机器学习模型？
这方面有统计理论支持吗？
非常感谢。
回答：
回答你的第一个问题，你是对的，试图用只有60个样本但有100个特征来泛化模型是不合理的。
统计学上的原因在弗拉基米尔·瓦普尼克的《统计学习理论》中有广泛的解释。我不建议你去读完那本书，因为它内容庞大且充满了数学公式，例子也不多。但你需要知道的一个重点是所谓的Vapnik Chervonenkis维度，或者通常被称为VC维度。
简而言之，当维度大于训练样本数时，你得到的不是泛化，而是过拟合。
