我恰好有一个包含4000行的数据集,其中目标变量有3999个1和仅一个0。
这是季度数据,我需要计算下一季度成功的概率。在这种情况下使用逻辑回归可行吗?
或者有人能提供更好的替代方案吗?
回答:
我同意这个数据集过于不平衡。单个负样本在统计上没有显著性。此外,你无法进行交叉验证,因此甚至无法验证你的模型。
你可以尝试将数据可视化为较低维度,以检查负样本是否明显为异常值。你可以研究“异常检测”这一主题以了解更多信息。
然而,你无法通过这种数据找到下一季度是否会出现1的答案,因为数据本身不适合用于这种预测。如果你能有更多的负样本,你或许可以预测下一个新样本的标签,但那并不是预测下一季度类似数据集出现概率的答案。