我需要创建一个分类模型来预测某事件的类别 – 1、2或3。我已经尝试了两种模型:多类决策树和多类神经网络。以下是每个模型的准确率得分和混淆矩阵。
多类决策树:
总体准确率 0.634平均准确率 0.756微平均精确度 0.634宏平均精确度 0.585184微平均召回率 0.634宏平均召回率 0.548334
混淆矩阵:
- 40.3% 53.6% 6.1%
- 6.6% 76.6% 16.8%
- 0.6% 51.8% 47.6%
多类神经网络:总体准确率 0.5865平均准确率 0.724333微平均精确度 0.5865宏平均精确度 0.583795微平均召回率 0.5865宏平均召回率 0.460215
混淆矩阵:
-
34.8% 63.5% 1.7%
-
2.9% 89.3% 7.7%
-
0.1% 85.9% 13.9%
我认为这意味着在Class2上,这两个模型表现良好,尤其是神经网络模型。在其他类别上,决策树模型表现得更好,但仍然低于50%。
根据这些指标,我应该如何改进结果?谢谢。
回答:
删除id特征,同时检查并删除你认为对预测无价值的任何特征(如id等其他特征)或具有唯一值的特征。还要检查是否存在类别不平衡(数据中每个类别的样本数量是否有适当的平衡?)。然后尝试应用模型并调整参数以获得更好的结果。你可以使用交叉验证来获得更好的结果。