我正在寻找一个基本的伪代码大纲。
我的目标是从头开始编写一个分类树（我正在学习机器学习，想获得直觉）。但我的训练数据非常大：40000个样本和1000个特征。考虑到所需分裂数量的上限是240000，我不知道如何跟踪所有这些分区数据集。
假设我从完整的数据集开始并进行一次分裂。然后我可以将落在分裂一侧的大约20000个样本保存到一个数据集中，并重新运行分裂算法以找到该数据集的贪婪分裂。然后假设我继续这样做，沿着树的最左侧分支分裂数十次。
当我对所有最左侧的分裂感到满意时，然后呢？我如何存储多达240000个单独的子集？当我对测试样本进行分类时，我如何跟踪我所做的所有分裂？对我来说，代码的组织方式似乎不合理。
回答：
感谢@隐藏人名提供的详细回答。
然而，如果我理解正确的话，你主要关心的问题是如何高效地跟踪每个训练样本在决策树中的传播过程。
这可以很容易地完成。
你只需要一个大小为N=40000的向量，每个训练样本一个条目。这个向量将告诉你每个样本在树中的位置。我们称这个向量为assoc。
如何使用这个向量？
在我看来，最优雅的方式是将assoc设为uint32类型，并使用位来编码每个训练样本在树中的传播路径。
assoc(k)中的每个位代表树的某个深度，如果该位被置位（1），则表示样本k向右走，否则表示样本k向左走。
如果你决定采用这种策略，你会发现以下Matlab命令很有用 bitget, bitset, bitshift 以及其他一些位操作函数。
让我们考虑以下树
root / \ a b / \ c d
因此，对于所有进入节点a的样本，它们的assoc值是00b – 因为它们在根节点向左走（对应于最低有效位（LSB）为零）。
所有进入叶节点c的样本，它们的assoc值是01b – 它们在根节点向右走（LSB=1），然后向左转（第二位=0）。
最后，所有进入叶节点d的样本，它们的assoc值是11b – 它们走了两个右分支。
现在，如何找到所有通过节点b的样本？
很简单！
>> selNodeB = bitand( assoc, 1 );所有最低有效位为1的节点在根节点向右转并通过节点b。
