我正在实现一个决策树。假设“种族”特征有以下可能的值：[‘Asian-Pac-Islander’, ‘Amer-Indian-Eskimo’, ‘White’, ‘Other’, ‘Black’]

假设节点中的样本具有以下“种族”特征值，并且当前选择“种族”作为最佳分割特征。

[‘Asian-Pac-Islander’, ‘Asian-Pac-Islander’, ‘Amer-Indian-Eskimo’, ‘White’, ‘White’, ‘White’, ‘Other’, ‘Black’]

请注意，这些值是按类别分组在一起的——“排序”的。

假设熵差告诉我以下是最佳分割位置：（垂直线“|”）

[‘Asian-Pac-Islander’, ‘Asian-Pac-Islander’, ‘Amer-Indian-Eskimo’, | ‘White’, ‘White’, ‘White’, ‘Other’, ‘Black’]

那么，分割规则到底是什么？让“亚洲太平洋岛民”和“美洲印第安人和因纽特人”向左走，而“白人”、“其他”和“黑人”向右走，这并不完全合理，因为它们不是数字。

谢谢。

回答：

请记住，决策树节点的“左”和“右”子节点是人类用于可视化的任意标签，并不是树的固有数学属性。翻转任何节点的左右子节点会得到一个相同的（数学家可能会说“同构的”）树。

当根据分类属性进行分割时，通常会尝试每种值的分组，并比较它们的基尼指数或信息增益来确定最佳分割。一旦确定了最佳分割，哪组是“左”组，哪组是“右”组是随机选择的，因为这并不重要。

看起来你似乎是在按字面意义理解分割，即在一个特定顺序的列表中画一条分界线。对于分类属性，不是这样创建分割的。相反，你定义分割条件，例如，“白人、其他和黑人向左走；所有其他种族标签向右走”。进入分割节点的数据顺序不应影响分割结果。