决策树剪枝

✍ dations ◷ 2025-02-28 19:36:52 #决策树剪枝

剪枝(英语:pruning)是机器学习与搜索算法当中通过移除决策树中分辨能力较弱的节点而减小决策树大小的方法。剪枝降低了模型的复杂度,因此能够降低过拟合风险,从而降低泛化误差。

在决策树算法中,决策树过大会有过拟合的风险,从而在新样本上的泛化性能很差;决策树过小则无法从样本空间中获取重要的结构化信息。然而,由于很难判断新增一个额外的分裂结点能否显著降低误差,人们很难判断何时停止决策树的生长是恰当的。该问题被称为视界限制效应(英语:Horizon_effect)。一个通用的策略是让决策树一直生长,直到每个叶子结点都包含足够少量的样本,而后通过剪枝的方法,移除分辨能力较弱的结点。

剪枝过程应当在减小决策树大小的同时,保证交叉验证下的精度不降低。

相关

  • 冬眠冬眠指的是变温动物、某些哺乳类动物和少部分的鸟类在寒冷的季节,会通过降低体温的方式而进入的类似昏睡的生理状态。灵长类动物如粗尾侏儒狐猴(Cheirogaleus medius)等亦可行
  • 姜颖新姜颖新,(?-?),字文庸,号玉山,江西如皋人,为清朝政治人物。姜颖新为雍正元年(1723年)癸卯恩科第三甲进士。官景山教习,雍正三年(1725年)授职检讨,官至直隶按察使。
  • 盟军最高统帅盟军最高司令或盟军最高统帅可能指:
  • 城市形态学城市形态学(英语:urban morphology)是研究人类聚居地的形式及其形成和转化过程的学科。该学科旨在通过研究都市圈、城市、镇或乡村的组成部分的模式以及所有权或管辖权和占有权
  • 陈国伟 (马来西亚)陈国伟(马来语:Tan Kok Wai;1957年10月7日-),男,汉族,祖籍福建省泉州市永春县。马来西亚政治人物,为民主行动党全国主席。曾任马来西亚总理对华特使 (属内阁部长级官职)。他也是吉隆坡
  • 行尊行尊(日语:行尊/ぎょうそん ,天喜3年(1055年)- 长承4年旧历2月5日(1135年3月21日))是日本平安时代后期的天台宗僧侣及歌人。一般称呼其为平等院大僧正。父亲为参议源基平。在园城寺(
  • 包文发包文发(1939年10月-),男,辽宁阜新人,中华人民共和国政治人物,曾任内蒙古自治区人民政府副主席,内蒙古自治区人大常委会副主任,第八届全国人大代表。
  • 勘测者3号勘测者3号是勘测者计划的第三艘登月航天器,于1967年4月17日发射,在1967年4月20日登陆于月球风暴洋内的知海,并总共传送6,315照片回地球。当它登陆时,高反射的岩石迷惑了勘测者3号的下降雷达,引擎未能按飞行计划设定的在14尺 (4.3米) 的高度上关闭,导致航天器在表面弹跳了两次。第一次弹跳的高度达到35尺 (10米),第二次达到11尺 (3米)。随后,航天器以初速度0从11尺的高度落下,和月面进行第三次接触;这比当初计划的14尺的引擎关闭高度更低,同时下降速度相当缓慢。因此,航天器最终实现了计
  • 朱叔裕朱府千岁,讳名叔裕,浙江嘉兴人,俗称朱千岁、朱府千岁、朱王爷、朱府王爷、朱府四王,生于隋唐之际。唐高祖建国时,曾奉命镇守土门,攻退前来侵犯的胡人。武德五年(622年),领兵平定广州,授封绵州刺史、大理寺卿,又官拜“吏部天官”,何时昇化已无史料可查。昇化后,玉皇上帝敕封祂为“代天巡狩”,朱府千岁的圣诞是在八月十五日。
  • 佩列莫加 (卡扎京区)坐标:.mw-parser-output .geo-default,.mw-parser-output .geo-dms,.mw-parser-output .geo-dec{display:inline}.mw-parser-output .geo-nondefault,.mw-parser-output .geo-multi-punct{display:none}.mw-parser-output .longitude,.mw-parser-output .latitude{white-space:n