我使用Python和Theano创建了一个简单的神经网络，用于根据人们在不同商店的消费历史来估计他们的年龄。不幸的是，准确率并不高。

准确率可能受到网络对序数性缺乏认识的影响。对于网络来说，年龄分类之间没有关系。目前它是从softmax输出层中选择概率最高的年龄。

我考虑过将输出分类改为每个年龄的加权概率的平均值。

例如，给定年龄概率：（10岁：20%，20岁：20%，30岁：60%）

而不是输出：30岁（最高概率）加权平均：24岁（10*0.2+20*0.2+30*0.6的加权平均）

这种解决方案感觉不够理想。是否有更好的方法在神经网络中实现序数分类，或者是否有更好的机器学习方法可以实施？（例如逻辑回归）

回答：

这个问题在之前的Kaggle竞赛中出现过（这个讨论引用了我评论中提到的论文）。

这个想法是，如果你有5个年龄组，0 < 1 < 2 < 3 < 4，而不是使用one-hot编码和softmax目标函数，你可以将它们编码为K-1类，并使用sigmoid目标函数。例如，你的编码将是

[0] -> [0, 0, 0, 0][1] -> [1, 0, 0, 0][2] -> [1, 1, 0, 0][3] -> [1, 1, 1, 0][4] -> [1, 1, 1, 1]

这样，网络将学会这些顺序关系。