使用自动学习重构决策树

问题如下:

我开发了一个表达式评估引擎,它为用户提供了一种类似XPath的语言,以便用户构建表达式。这些表达式随后被解析并存储为表达式树。表达式种类繁多,包括逻辑运算(与/或/非)、关系运算(等于、不等于、大于、小于、大于等于、小于等于)、算术运算(加、减、乘、除)以及if/then/else表达式。

除了这些操作外,表达式还可以包含常量(数字、字符串、日期等),并通过类似XPath的语法访问外部信息,以在Java对象树中导航。

基于上述内容,我们可以构建如下表达式:

/some/value and /some/other/value/some/value or /some/other/valueif (<evaluate some expression>) then     <evaluate some other expression> else     <do something else>

由于if-then-else表达式的then部分和else部分本身也是表达式,且一切都被视为表达式,因此任何内容都可以出现在那里,包括其他if-then-else表达式,允许用户通过嵌套if-then-else表达式构建大型决策树。

由于这些表达式是手动构建的,容易出错,我决定构建一个自动学习过程,能够基于对常见外部数据的分析来优化这些表达式树。例如:在上面的第一个表达式中(/some/value and /some/other/value),如果/some/other/value的结果大多数时候为false,我们可以重新排列树,使这个分支成为左分支,以利用短路评估(AND的右侧不会被评估,因为左侧已经决定了结果)。

另一种可能的优化是重新排列嵌套的if-then-else表达式(决策树),使基于最常用的外部数据的最常用路径在未来更早执行,避免大多数情况下对某些分支进行不必要的评估。

您对执行这些表达式树的自动重构有何建议或推荐的方法/算法?


回答:

我认为您描述的是编译器优化,这是一个庞大的主题,涵盖了从

  • 内联扩展
  • 死代码消除
  • 常量传播
  • 循环转换

基本上,您有很多重写规则,这些规则保证了代码/XPath的功能不变。

关于重新排列嵌套的if-else的问题,我认为您不需要使用机器学习。一个(我认为最优的)方法是使用Huffman编码您的链接 huffman_coding 将每条路径视为一个字母,然后我们用Huffman编码对它们进行编码,得到所谓的Huffman树。这棵树将在(足够大)的样本上运行时具有最少的评估次数,这些样本与您构建Huffman树时使用的分布相同。

如果您对“evaluate some expression”表达式有限制,或者它们有不同的计算成本等,您可能需要另一种方法。

请记住,优化时要小心,仅做那些真正重要的事情。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注