我对机器学习还比较新手，正在尝试将决策树归纳放入整个框架中。决策树（例如使用C4.5或ID3构建的那些）被认为是参数化的还是非参数化的？我猜它们可能是参数化的，因为对于实数值的决策分割点可能是从某些特征值分布中确定的，例如均值。然而，它们并不具备必须保留所有原始训练数据的非参数特征（就像使用kNN时所做的那样）。
回答：
术语“参数化”指的是定义数据分布的参数。由于像C4.5这样的决策树不对数据的分布做出假设，因此它们是非参数化的。高斯最大似然分类（GMLC）是参数化的，因为它假设数据遵循多元高斯分布（类别由均值和协方差表征）。关于你最后一句，保留训练数据（例如基于实例的学习）并不是所有非参数分类器的共同特征。例如，人工神经网络（ANN）被认为是非参数的，但它们并不保留训练数据。
