我正在研究是否可以根据编码风格自动评分学生的代码。这包括避免重复代码、注释掉的代码、变量命名不当等问题。

我们试图根据过去学期的作文评分（范围从1到3）进行学习，这自然引导我们使用监督学习。基本思路是从学生的提交中提取特征，构建特征向量，然后使用scikit-learn进行逻辑回归。我们还尝试了各种方法，包括对特征向量进行主成分分析（PCA）以减少维度。

我们的分类器只是简单地猜测最常见的类别，即评分为2。我认为这是因为我们的特征根本没有预测能力。监督学习算法只猜测主导类别的其他可能原因是什么？有什么方法可以避免这种情况吗？

由于我认为这是因为特征不具备预测能力，有什么方法可以确定什么是“好的”特征？（这里的“好”是指可区分或具有预测能力）。

注意：作为一个副实验，我们通过让读者对已经评分的作业进行评分来测试过去的成绩的一致性。只有55%的人给出了相同的作文评分（1-3）。这可能意味着这个数据集根本无法分类，因为人类甚至无法一致地评分。有其他想法或建议吗？或者这是否确实是事实？

特征包括：重复代码的行数，平均函数长度，单字符变量的数量，包含注释掉代码的行数，最大行长度，未使用导入的计数，未使用变量，未使用参数。还有几个其他特征…我们可视化了所有特征，发现虽然平均值与评分相关，但变异性非常大（前景不乐观）。

编辑：我们项目的范围：我们只尝试从一个特定项目（提供骨架代码）的一个班级中学习。我们目前不需要泛化。

回答：

只是一个想法 – Andrew Ng 在 Coursera 上教授一门机器学习课程（https://www.coursera.org/course/ml）。在整个课程中，学生会提交几个编程作业。我记得读过一篇文章（虽然现在找不到这篇文章了），提到有一些正在进行的研究，试图对课程中学生提交的编程作业进行聚类，基于学生在作业中常犯的错误的直觉进行聚类。

不确定这是否对你有帮助，但或许将这个问题视为无监督学习问题可能更有意义（例如，仅寻找不同代码样本的相似性，基于相似代码样本应该获得相似分数的直觉）。