决策树

✍ dations ◷ 2025-04-02 12:33:16 #决策树
统计学,数据挖掘和机器学习中的决策树训练,使用决策树作为预测模型来预测样本的类标。这种决策树也称作分类树或回归树。在这些树的结构里, 叶子节点给出类标而内部节点代表某个属性。在决策分析中,一棵决策树可以明确地表达决策的过程。在数据挖掘中,一棵决策树表达的是数据而不是决策。本页的决策树是数据挖掘中的决策树。在数据挖掘中决策树训练是一个常用的方法。目标是创建一个模型来预测样本的目标值。例如右图。每个 内部节点 对应于一个输入属性,子节点代表父节点的属性的可能取值。每个叶子节点代表输入属性得到的可能输出值。一棵树的训练过程为:根据一个指标,分裂训练集为几个子集。这个过程不断的在产生的子集里重复递归进行,即递归分割。当一个训练子集的类标都相同时 递归停止。这种决策树的自顶向下归纳 (TDITD) 是 贪心算法的一种, 也是目前为止最为常用的一种训练方法,但不是唯一的方法。数据以如下方式表示:其中Y是目标值,向量x由这些属性构成, x1, x2, x3 等等,用来得到目标值。在数据挖掘中,决策树主要有两种类型:术语分类和回归树 (CART) 包含了上述两种决策树, 最先由Breiman 等提出. 分类树和回归树有些共同点和不同点—例如处理在何处分裂的问题。有些集成的方法产生多棵树:还有其他很多决策树算法,常见的有:构建决策树时通常采用自上而下的方法,在每一步选择一个最好的属性来分裂。 "最好" 的定义是使得子节点中的训练集尽量的纯。不同的算法使用不同的指标来定义"最好"。本部分介绍一些最常见的指标。在CART算法中, 基尼不纯度表示一个随机选中的样本在子集中被分错的可能性。基尼不纯度为这个样本被选中的概率乘以它被分错的概率。当一个节点中所有样本都是一个类时,基尼不纯度为零。假设y的可能取值为 J {displaystyle J} 个类别,另 i ∈ { 1 , 2 , . . . , J } {displaystyle iin {1,2,...,J}} , p i {displaystyle p_{i}} 表示被标定为第 i {displaystyle i} 类的概率,则基尼不纯度的计算为:ID3, C4.5 和 C5.0 决策树的生成使用信息增益。信息增益 是基于信息论中信息熵与自信息理论.信息熵定义为:其中 p 1 , p 2 , . . . {displaystyle p_{1},p_{2},...} 加和为1,表示当前节点中各个类别的百分比。例如,数据集有4个属性:outlook (sunny, overcast, rainy), temperature (hot, mild, cool), humidity (high, normal), and windy (true, false), 目标值play(yes, no), 总共14个数据点。为建造决策树,需要比较4棵决策树的信息增益,每棵决策树用一种属性做划分。信息增益最高的划分作为第一次划分,并在每个子节点继续此过程,直至其信息增益为0。使用属性windy做划分时,产生2个子节点:windy值为真与为假。当前数据集,6个数据点的windy值为真,其中3个点的play值为真,3个点的play值为假;其余8个数据点的windy为假,其中6个点的play值为真,2个点的play值为假。 windy=true的子节点的信息熵计算为:windy=false的子节点的信息熵计算为:这个划分(使用属性windy)的信息熵是两个子节点信息熵的加权和:为计算使用属性windy的信息增益,必须先计算出最初(未划分)的数据集的信息熵,数据集的play有9个yes与5个no:使用属性windy的信息增益是:与其他的数据挖掘算法相比,决策树有许多优点:在决策树中, 从根节点到叶节点的路径采用汇合或与。 而在决策图中, 可以采用 最小消息长度 (MML)来汇合两条或多条路径。演化算法可以用来避免局部最优的问题

相关

  • 自体免疫性疾病自身免疫性疾病(Autoimmune disease,缩写为AID),亦作自身免疫问题,指人体内异常的免疫反应攻击了正常细胞。目前至少有80种自身免疫性疾病。身体任何部位都可能发生。常见症状包
  • 肺炎分枝杆菌肺炎支原体(Mycoplasma pneumoniae、霉浆菌性肺炎)是一种可导致肺炎的支原体细菌,也有机会导致冷凝集素症(英语:cold agglutinin disease)。这种由肺炎支原体引起的肺炎,又称作霉浆
  • 失调共济失调(英语:Ataxia)是指缺乏规律,或者为笨拙,为一种神经疾病上的特征。失调可以广泛指在中枢神经系统、周围神经系统任何其中一环出状况所表现的病征,例如掌管运动和平衡的小脑
  • 国家安全生产监督管理总局1999年规定:印章直径5厘米,中央刊国徽,由国务院制发。国家安全生产监督管理总局徽标国家安全生产监督管理总局(官方英文译名:State Administration of Work Safety,简称国家安监总
  • 张天霖张天霖(1978年10月31日-)台湾男演员,毕业于漳和国中、台北市立建国中学补校、真理大学运动管理学系。主要演艺工作以电视剧为主,另有广告代言与 MV 演出,也有跨行书籍著作及电影导
  • 接种疫苗疫苗接种,是将疫苗制剂接种到人或动物体内的技术,使接受方获得抵抗某一特定或与疫苗相似病原的免疫力,借由免疫系统对外来物的辨认,进行抗体的筛选和制造,以产生对抗该病原或相似
  • pH值pH,亦称pH值、氢离子浓度指数、酸碱值、(音ㄌㄧㄥˊ)标值,是溶液中氢离子活度的一种标度,也就是通常意义上溶液酸碱程度的衡量标准。这个概念是1909年由丹麦生物化学家瑟伦·索伦
  • α逆转录病毒属α反转录病毒属(学名:Alpharetrovirus)是反转录病毒目反转录病毒科下的一个属,此属的病毒具有C型的外观。α反转录病毒会在野鸟、家禽和鼠身上造成肉瘤和肿瘤。鸟白血病病毒就是
  • 非对映体过量非对映体过量(diastereomeric excess, 缩写为de%),通常用来表征两个以上手性中心时的光学纯度。例如,某个拥有两个手性中心的分子,有四个非对映体:(R,R)、(R,S)、(S,S)、(S,R),两两
  • 造成不良影响畸形学(英语:Teratology)是研究生理上发展缺陷的学科。人们常常认为它就是研究人类先天性障碍的,但是其实畸形学的覆盖面比这个广得多。除了先天发育之外,它也研究其他的生命阶段