我有一个形状为2701x128的数据框，里面有很多缺失值。有些行可能有95%的数据是完整的，而有些行可能只有5%。让我尝试可视化一下:

X轴是行号（排序后），Y轴是非零值的数量（排序后，类似直方图）

X轴是列号（排序后），Y轴展示了每一列在所有行中非零值的数量（排序后，类似直方图）

需求: 我需要尽可能准确地填补数据，因为这是我需要解决的问题。问题: 我不能用均值、中位数和其他统计量来插值，因为这样做太粗糙了。我也不能创建一个常规的学习模型，因为缺失数据没有结构。

请问您能否建议一些像学习模型一样准确的方法，能够模拟分布，但能够处理完全随机的缺失？显然，主要问题是如何从这些无结构的缺失中创建数据集。目前我还没有找到解决方案。

回答：

我认为第一个问题是将你的数据视为行结构的，尝试将其视为列结构的

有一个日本游戏叫做数独，我建议你可以参考它的策略

首先，你需要找出最接近但不完全填满的列，我们称之为B列。缺失数据的百分比是多少？如果缺失部分较小 – 构建一个直方图并查看其概率密度函数 – 或许简单的均值和中位数就能解决问题？

是否有完全填满的列？我们称之为G列。尝试找出是否有与完全填满的列强相关的非完全填满的列。如果有 – 基于这种相关性填补缺失值 – 你可以尝试使用多个完全填满的列进行基本回归

你甚至可以尝试从一组其他非完全填满的列中恢复B列的一部分数据，而另一部分则由另一组非完全填满的列恢复，你可以多次这样做

当然，你会得到一个类似弗兰肯斯坦怪物的结果 – 但值得一试，你总能通过交叉验证来评估效果如何

然而，这只是一个简短的草图