神经网络是一种惰性学习方法还是积极学习方法? 不同的网页说法不一,所以我希望得到一个有充分文献支持的可靠答案。 最明显的应该查阅米切尔著名的《机器学习》一书,但快速浏览了一下,我找不到答案。 谢谢:)。
回答:
查看术语惰性学习和积极学习的定义,并且了解神经网络的工作原理,我认为很明显它是积极的。一个训练好的网络就是一个泛化函数,用于进行分类的所有权重和路径完全由训练数据决定,但是训练数据本身不会被保留以用于决策。
一个重要的区别是,惰性系统存储其训练数据并直接使用它来确定解决方案。 积极系统从训练数据中确定一个函数,此后不再需要训练数据。 也就是说,你无法从一个积极系统的函数中确定训练数据是什么。 神经网络当然符合这个描述。 因此,积极系统可以非常节省存储空间,但反过来说,它是不确定的,因为无法确定它如何或为什么会得出特定的解决方案,因此不良或不适当的训练数据问题可能难以解决。
上面链接的积极学习的文章甚至将人工神经网络作为一个例子。 当然,你可能更喜欢引用文本而不是维基百科,但是该页面自 2007 年以来就存在该断言,没有相互矛盾的编辑,所以我认为这非常可靠。