C4.5算法

✍ dations ◷ 2025-04-03 11:30:58 #分类算法,决策树

C4.5算法是由Ross Quinlan(英语:Ross Quinlan)开发的用于产生决策树的算法。该算法是对Ross Quinlan之前开发的ID3算法的一个扩展。C4.5算法产生的决策树可以被用作分类目的,因此该算法也可以用于统计分类。

C4.5算法与ID3算法一样使用了信息熵的概念,并和ID3一样通过学习数据来建立决策树。

在Springer LNCS于2008年发表的优秀论文中,该算法在前10大数据挖掘算法中排名第一,之后使得它变得非常受欢迎。

C4.5跟ID3一样,使用信息熵从训练数据集中构建决策树。训练数据是已经分类的样本集合 S = s 1 , s 2 , . . . {\displaystyle S={s_{1},s_{2},...}} 。每个样本 s i {\displaystyle s_{i}} 由p维向量 ( x 1 , i , x 2 , i , . . . , x p , i ) {\displaystyle (x_{1,i},x_{2,i},...,x_{p,i})} 组成,其中 x j {\displaystyle x_{j}} 表示样本的属性值或者叫特征,当然也包括样本 s i {\displaystyle s_{i}} 的类别。

在树的每个节点上,C4.5选择数据的属性,该属性最有效地将其样本集划分为集中在一个类或另一个类中的子集。划分准则是归一化的信息增益,即熵的差。选择信息增益最大的属性进行决策,然后对划分后的子集进行递归处理。

该算法有几个基本情况:

构建决策树的一般算法是:

相关

  • 兵变政变(法语:coup d'État, audio 帮助·信息,亦音译为“苦跌打”、“苦迭打”),是指一个国家之中有一部分人通过密谋策划,采取军事叛乱或政治行动,夺取国家政权的行为。如果能成功完
  • 0 (消歧义)0通常有以下含义:0也可以指:
  • Astro Maya HDAstro Maya HD是马来西亚Astro拥有的第二个马来语高清频道,也是NJOI首个免费马来语高清频道,全天候24小时播出。该频道主要的节目是与Astro Prima,Astro Oasis,Astro Ceria和Ast
  • 严时泰严时泰,明朝地方官员,字应阶,余姚人,曾任永昌知府。浙江余姚人,明正德六年(1511年)登进士,与杨慎同届,故与杨交好,当杨氏不遇后曾提携杨氏。杨慎有《伏枕行赠严应阶》送严时泰。曾任广
  • 遗传标记遗传标记(英语:genetic marker)是已知在染色体上位置的一种基因或DNA序列,可被用于鉴定生物个体或物种。其可被描述为可观测变异(可因位于基因组基因座中的突变或改变而产生)。遗
  • 罗兰·杜斯罗兰·杜斯(法语:Roland Douce,1939年5月18日-2018年11月3日),法国植物学家。1990年,杜斯当选为法国科学院通讯院士,1996年成为院士。 1997年,杜斯当选为美国国家科学院院士。
  • 于俊崇于俊崇(1940年12月5日-),江苏滨海人,核动力专家,中国工程院院士,现任国防重点工程两型号副总设计师。。
  • 大口伞管螺大口伞管螺(学名:),是柄眼目烟管蜗牛科伞管螺属的一种。本物种见于中国大陆的广西。常栖息在阴暗潮湿,多腐殖质环境的灌木丛、草丛中、石块、落叶下、树洞、土石缝隙中、多潮湿的
  • 牛黄解毒片牛黄解毒片是一种中成药,主要作用为清热解毒。由八种成分制成,包括:牛黄(可用人工牛黄代替)、雄黄、石膏、大黄、黄芩、桔梗、冰片及甘草,以片装或丸装出售,可内服或加入生理盐水制
  • 金莲木科参见正文金莲木科包括53属约600余种,主要分布在热带和亚热带地区,南美洲品种最多,中国有3属3种,都只分布在广东和广西境内。本科植物绝大多数品种为常绿乔木或灌木,稀为草本;单叶