我正在使用sklearn分类器，主要集中在决策树上。我认为我遇到了偏见问题。以下是我正在处理的情况，
25k条训练记录（总数据大约有500k可用），实际提供的数据中有95%是假的，因为客户通常将这些数据标记为假
25k条训练记录中包括95%假和5%真
在训练和测试时，根据我使用的特征，我的准确率在85%到94%之间。有时即使只有两个特征也能提供90%的准确率，而我知道重要的20个特征则可以提高到94%。我认为这并不正确，我感觉是因为我提供的数据导致了对假的偏见。我应该在我的训练集中加入更多的“真”记录吗？或许使用30k条记录，增加另外5k条来自我们实际数据的“真”值？
回答：
如果你的所有测试数据都是假的，那么通过总是选择假的，你可以获得95%的效果。
你有一个类别不平衡问题。这在许多现实世界的场景中很常见。例如，HIV阳性病例比HIV阴性病例、癌细胞或欺诈交易要少得多。你需要了解假阴性和真阳性的成本，以便调整你的算法，以优先考虑精确度而不是效果等。
我会做几件事：
- 做一个混淆矩阵（http://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html），这将帮助你检查有多少假阳性和真阳性
- 使用交叉验证来获得更好的训练/测试人群混合
