努门塔论文中定义的HTM皮层学习算法是否受欧几里得几何的限制?

具体来说,是他们最新的实现。

http://www.numenta.com/htm-overview/htm-algorithms.php

本质上,我在问的是,当前的算法是否能有效推断出非欧几里得关系,或者是超过输入维度的模式关系?

HTM在分析模式时使用欧几里得几何来确定“邻居关系”。持续的输入框架使算法表现出预测行为,序列长度实际上是无限的。这个算法学习得非常好——但我想知道它是否有能力从输入数据中推断出非线性属性。

例如,如果你输入了古腾堡计划的全部文本,它将捕捉到构成英语拼写、语法和主题内容中显而易见的特征(如词语的性别关联等)的一套概率规则。这些是一级“线性”关系,可以用逻辑网络中的概率轻松定义。

非线性关系将是假设和含义的关联,例如“时间飞逝如箭,果蝇喜欢香蕉。”如果正确框架,句子的歧义会导致对句子的预测性解释,生成多种可能的含义。

如果算法能够“理解”非线性关系,那么它应该能够处理第一句话并正确识别“时间飞逝”是指时间在做某事,而“果蝇”是一种昆虫。

这个问题的答案可能很容易找到,但我无法决定。将输入映射到统一的、二维的欧几里得平面是否排除了数据的非线性属性的关联?

如果它不阻止非线性关联,我的假设则是你可以简单地改变分辨率、重复和其他输入属性来自动发现非线性关系——实际上,给算法添加一个“更努力思考”的过程。


回答:

据我对HTM的理解,其层和列的结构模仿了新皮层的结构。参见此处附录B:http://www.numenta.com/htm-overview/education/HTM_CorticalLearningAlgorithms.pdf

所以简短的回答是,既然大脑可以用这种结构理解非线性现象,那么HTM也可以。

初始的、即时的感官输入确实被映射到HTM内的二维区域。这并不限制HTM只能处理二维表示,就像一维的比特串不只限于表示一维事物一样。这只是一种编码方式,以便形成稀疏分布的表示并利用其效率。

关于古腾堡计划的问题,我的看法是HTM在没有首先理解语言所基于的物理世界并为其创建符号之前,不太可能真正理解语言。尽管如此,这对于HTM来说是一个非常有趣的序列,因为预测只在一个方向上进行,而对果蝇发生什么的理解是逆向的。即,我看到“flies like a”的模式,并假设这个短语对果蝇的应用方式与对时间的应用方式相同。HTM确实会在更高层次上将后续输入(在这种情况下是词语)组合在一起,所以如果你使用了Davide Maltoni证明有效的模糊分组(或许),句子的两部分可以被组合成相同的高等级表示,并向下发送反馈,链接这两个特定的句子。据我所知,努门塔在反馈消息方面还没有做太多,但这绝对是理论的一部分。

Related Posts

Keras Dense层输入未被展平

这是我的测试代码: from keras import…

无法将分类变量输入随机森林

我有10个分类变量和3个数值变量。我在分割后直接将它们…

如何在Keras中对每个输出应用Sigmoid函数?

这是我代码的一部分。 model = Sequenti…

如何选择类概率的最佳阈值?

我的神经网络输出是一个用于多标签分类的预测类概率表: …

在Keras中使用深度学习得到不同的结果

我按照一个教程使用Keras中的深度神经网络进行文本分…

‘MatMul’操作的输入’b’类型为float32,与参数’a’的类型float64不匹配

我写了一个简单的TensorFlow代码,但不断遇到T…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注