剪枝

✍ dations ◷ 2025-06-30 09:59:44 #机器学习小作品,机器学习

剪枝(英语:pruning)是机器学习与搜索算法当中通过移除决策树中分辨能力较弱的部分而减小决策树大小的方法。剪枝降低了模型的复杂度,因此能够降低过拟合风险,从而降低泛化误差。

在决策树算法中,决策树过大会有过拟合的风险,从而在新样本上的泛化性能很差;决策树过小则无法从样本空间中获取重要的结构化信息。然而,由于很难判断新增一个额外的分裂结点能否显著降低误差,人们很难判断何时停止决策树的生长是恰当的。该问题被称为视界限制效应(英语:Horizon_effect)。一个通用的策略是让决策树一直生长,直到每个叶子结点都包含足够少量的样本,而后通过剪枝的方法,移除分辨能力较弱的结点。

剪枝应当在减小决策树大小的同时,保证交叉验证下的精度不降低。

相关

  • 奇性定理彭罗斯-霍金奇点定理(英语:Penrose-Hawking singularity theorems)是关于广义相对论中何时产生引力奇点的问题的一些研究结果。爱因斯坦场方程解的奇点是指下面两个问题类空奇点
  • 王文采王文采(1926年6月5日-),山东掖县人,中国植物分类学家,中国科学院植物研究所研究员。1949年毕业于北京师范大学生物系。1993年当选为中国科学院院士。
  • 帕格沃什科学和世界事务会议帕格沃什科学和世界事务会议(Pugwash Conferences on Science and World Affairs)是一个学者和公共人物的国际组织,目的是减少武装冲突带来的危险,寻求解决全球安全威胁的途径。
  • 月溪月溪或沟纹 (德文为 'groove') 通常用来描述月球表面上任何狭长、类似河床的凹槽。典型的月溪可能有数公里宽,数百公里长。但是,这一术语的使用并不严谨,也可以用在太阳系的其
  • 缅彝语群缅彝语群(Lolo-Burmese),又称彝缅语群,是汉藏语系的一个支系,分布在云南、四川、贵州、广西、缅甸、泰国、老挝、越南等地,使用人口达4400万人,是藏缅语族使用人数最多的支系。可以
  • 天主堂教堂是进行宗教仪式的场所,一般特指基督宗教,包括天主教、东正教、新教等;天主教的教堂又可称为“天主堂”;伊斯兰教进行宗教仪式的场所一般称为清真寺,犹太教从事宗教仪式和其它
  • 格罗顿坐标:41°20′50″N 72°04′43″W / 41.34722°N 72.07861°W / 41.34722; -72.07861 格罗顿市(英语:City of Groton)是美国康乃狄克州新伦敦县格罗顿镇下的一个城市。位于泰晤
  • 逻辑非逻辑非是布尔代数中一种一元运算。它的运算结果是将运算元的真值取反。命题的非可以有几种写法:以上可以读做"不成立"或者"非"。的真值表定义如下:~即在的条件下,结论不成立。
  • 7.62×25mm托卡列夫手枪弹7.62×25mm托卡列夫手枪弹是苏联枪械工程师托卡列夫把德国7.63×25mm毛瑟弹改成7.62毫米口径,两者略有差异,而且托卡列夫手枪弹膛压要高于毛瑟弹。虽然使用毛瑟弹的枪械基本上
  • 李明 (1971年)李明(1971年1月26日-),辽宁大连人,中国前足球运动员,1990年代中国最著名的中场球员之一。前大连实德和中国国家队主力。现时担任北京中赫国安总经理。由于同一时期足坛还有一位青