Andrew NG在Coursera上的机器学习课程中,每个神经网络使用二进制输入和标量输出,例如:[101011] -> [2]
为什么训练数据使用二进制数字而不是标量?这是否与每一层Theta值初始随机化在0到1之间有关?
回答:
我不记得当时的具体情境了,但我曾经被告知这个问题的答案。
基本上,使用这种方式训练网络会更容易,而不是使用标量。每个位都有其自身的语义意义,因此每个位都应该有自己专用的神经元。数据表示在神经网络中总是很混乱,我知道!
关于Theta,答案是否定的。正如你所说,Theta最初是从[0;1]中抽样的,但在算法运行几轮后,Theta可能会变大(或变成负数)。这是常见的行为。