我目前正在为人工智能考试准备一个机器学习项目。目标是正确选择两个分类算法,使用WEKA进行比较,需注意这两个算法必须足够不同,以便比较有意义。此外,算法必须能够处理标称和数值数据(我认为这是进行比较的必要条件)。我的教授建议选择一个统计分类器和一个决策树分类器,或者深入比较一个自下而上的分类器和一个自上而下的分类器。
由于我在机器学习领域经验很少,我正在研究WEKA提供的各种算法,我遇到了kNN,即k-最近邻算法。它是统计性的吗?它可以与决策树桩算法进行比较吗?
或者,您能否建议几种符合我上面提到的要求的算法?
附注:处理的数据必须是数值和标称的。在WEKA中,有数值/标称特征和数值/标称类。我需要选择同时具有数值/标称特征和类的算法,还是只需要其中一种?
我非常感谢你们的帮助,谢谢你们的耐心!
回答:
根据你教授的描述,我不认为k-最近邻(kNN)是一种统计分类器。在大多数情况下,统计分类器是通过训练数据的统计信息进行泛化的(无论是直接使用统计信息还是对其进行转换)。一个例子是朴素贝叶斯分类器。
相比之下,kNN是基于实例的学习的一个例子。它不使用训练数据的统计信息;相反,它直接将新观察与训练实例进行比较来进行分类。
关于比较,是的,你可以比较kNN与决策树桩(或任何其他分类器)的性能。由于任何两个监督分类器都会在你的训练/测试数据上产生分类准确率,你可以比较它们的性能。