我想在我的分析中实现一个提升决策树。但我的数组中的条目长度不一，因此该数组无法直接转换为numpy或pandas格式。

有没有什么方法可以将现有的机器学习库与awkward数组一起使用？

回答：

您的机器学习库可能假设数组是NumPy数组，而不识别ak.Array。这个问题本身很容易解决：调用np.to_numpy（或等同地，使用np.asarray进行转换），将其转换为机器学习库所期望的格式。顺便提一下，还有ak.to_pandas可以创建一个DataFrame，其中变长嵌套列表通过MultiIndex表示（有限制：只能有一个嵌套列表，因为DataFrame只有一个索引）。

以上是我称之为“品牌”问题：机器学习库只是不识别ak.Array这种“品牌”的数组，所以我们重新标记它。但还有一个更根本的问题：所讨论的机器学习算法是否本质上需要矩形数据？例如，前馈神经网络将N维输入映射到M维输出；每个输入的N和M不能不同。即使不使用Awkward Array，这也是一个问题。在高能物理中，旧的解决方案是将变长数据通过循环神经网络运行（从而忽略列表之间的边界，并对它们施加不相关的顺序），而新的解决方案似乎是图神经网络（这在理论上是更正确的方法）。

我注意到一些机器学习库正在引入它们自己的“锯齿数组”，这是Awkward Array提供的最小结构：TensorFlow有RaggedTensors和PyTorch正在获取NestedTensors。然而，我不知道这些数据类型在多大程度上已经整合到机器学习算法中。如果它们已经整合了，那么Awkward Array应该得到ak.to_tensorflow和ak.to_pytorch来补充ak.to_numpy和ak.to_pandas，作为将数据发送到这些库时保留锯齿性的方式。希望它们能够在他们的机器学习算法中使用这种锯齿性！（否则，有什么意义呢？但我没有密切关注这些发展。）

您对提升决策树（BDTs）感兴趣。我想不出如何将决策树模型，无论是否提升，适应不同长度的输入…或者也许我可以：决策树的节点根据N维输入中的一个索引值选择将数据传递到哪个子树。这并不意味着有一个最大索引值N，虽然特定的树会有一组它分割的索引，并且这组会有一个最大值（因为树是有限的！）。在输入只有n < k个元素的情况下，应用想要在索引k上分割的树，必须有如何分割的应急方案，但已经有方法可以将决策树应用于包含缺失值的数据集。具有n个元素的输入数据可以被视为一个输入，其中大于n的索引被视为缺失值。要训练这样的BDT，您必须给它提供输入，其中在每个列表的最大元素之外有缺失值。

在Awkward Array中，执行此操作的函数是ak.pad_none。如果您知道样本中列表的最大长度（ak.num和ak.max），您可以填充整个数组，使所有列表具有相同的长度，并在末尾添加缺失值。如果您设置clip=True，那么生成的数组类型是“规则的”，它不再考虑列表可能具有与所选长度不同的长度的可能性。如果您将这样的数组传递给np.to_numpy（而不是np.asarray），那么它会变成一个NumPy掩码数组，一个期望缺失值的BDT算法应该能够识别它。

这个计划的唯一问题是，将每个列表填充到与最大长度列表相同的长度会使用更多内存。如果BDT算法意识到锯齿性（就像TensorFlow和即将推出的PyTorch对锯齿性的认识一样），那么它应该能够制作这些树并将它们应用于数据，而无需内存填充步骤。我不知道是否有这样的BDT实现，但如果有人想编写一个“接受锯齿数组的带有缺失值的BDT”，我很乐意帮助他们使用Awkward Arrays来设置它！