首页 >
决策树
✍ dations ◷ 2025-09-02 17:57:20 #决策树
统计学,数据挖掘和机器学习中的决策树训练,使用决策树作为预测模型来预测样本的类标。这种决策树也称作分类树或回归树。在这些树的结构里, 叶子节点给出类标而内部节点代表某个属性。在决策分析中,一棵决策树可以明确地表达决策的过程。在数据挖掘中,一棵决策树表达的是数据而不是决策。本页的决策树是数据挖掘中的决策树。在数据挖掘中决策树训练是一个常用的方法。目标是创建一个模型来预测样本的目标值。例如右图。每个 内部节点 对应于一个输入属性,子节点代表父节点的属性的可能取值。每个叶子节点代表输入属性得到的可能输出值。一棵树的训练过程为:根据一个指标,分裂训练集为几个子集。这个过程不断的在产生的子集里重复递归进行,即递归分割。当一个训练子集的类标都相同时 递归停止。这种决策树的自顶向下归纳 (TDITD) 是 贪心算法的一种, 也是目前为止最为常用的一种训练方法,但不是唯一的方法。数据以如下方式表示:其中Y是目标值,向量x由这些属性构成, x1, x2, x3 等等,用来得到目标值。在数据挖掘中,决策树主要有两种类型:术语分类和回归树 (CART) 包含了上述两种决策树, 最先由Breiman 等提出. 分类树和回归树有些共同点和不同点—例如处理在何处分裂的问题。有些集成的方法产生多棵树:还有其他很多决策树算法,常见的有:构建决策树时通常采用自上而下的方法,在每一步选择一个最好的属性来分裂。 "最好" 的定义是使得子节点中的训练集尽量的纯。不同的算法使用不同的指标来定义"最好"。本部分介绍一些最常见的指标。在CART算法中, 基尼不纯度表示一个随机选中的样本在子集中被分错的可能性。基尼不纯度为这个样本被选中的概率乘以它被分错的概率。当一个节点中所有样本都是一个类时,基尼不纯度为零。假设y的可能取值为
J
{displaystyle J}
个类别,另
i
∈
{
1
,
2
,
.
.
.
,
J
}
{displaystyle iin {1,2,...,J}}
,
p
i
{displaystyle p_{i}}
表示被标定为第
i
{displaystyle i}
类的概率,则基尼不纯度的计算为:ID3, C4.5 和 C5.0 决策树的生成使用信息增益。信息增益 是基于信息论中信息熵与自信息理论.信息熵定义为:其中
p
1
,
p
2
,
.
.
.
{displaystyle p_{1},p_{2},...}
加和为1,表示当前节点中各个类别的百分比。例如,数据集有4个属性:outlook (sunny, overcast, rainy), temperature (hot, mild, cool), humidity (high, normal), and windy (true, false), 目标值play(yes, no), 总共14个数据点。为建造决策树,需要比较4棵决策树的信息增益,每棵决策树用一种属性做划分。信息增益最高的划分作为第一次划分,并在每个子节点继续此过程,直至其信息增益为0。使用属性windy做划分时,产生2个子节点:windy值为真与为假。当前数据集,6个数据点的windy值为真,其中3个点的play值为真,3个点的play值为假;其余8个数据点的windy为假,其中6个点的play值为真,2个点的play值为假。 windy=true的子节点的信息熵计算为:windy=false的子节点的信息熵计算为:这个划分(使用属性windy)的信息熵是两个子节点信息熵的加权和:为计算使用属性windy的信息增益,必须先计算出最初(未划分)的数据集的信息熵,数据集的play有9个yes与5个no:使用属性windy的信息增益是:与其他的数据挖掘算法相比,决策树有许多优点:在决策树中, 从根节点到叶节点的路径采用汇合或与。
而在决策图中, 可以采用 最小消息长度 (MML)来汇合两条或多条路径。演化算法可以用来避免局部最优的问题
相关
- 酱油蟹酱油蟹(韩语:게장),韩国五大名菜之一,将未经烹调的生蟹放在酱油中腌制而成,当地民众喜爱直接将白饭加进蟹盖内与蟹黄一起伴吃,故这道菜色又名“偷饭贼”。朝鲜传统医学认为螃蟹性寒
- 保护主义贸易保护主义,通常简称保护主义(英语:Protectionism),是一种为了保护本国产业免受国外竞争压力而对进口产品设定极高关税、限定进口配额或其它减少进口额的经济政策。它与自由贸
- 文拉法辛文拉法辛(英语:Venlafaxine,商品名: 怡诺斯 或 博乐欣)是一种5-羟色胺和去甲肾上腺素再摄取抑制剂(SNRI)类的抗抑郁药。该药首先由惠氏于1993年研发,现在由辉瑞负责市场销售。该药
- 鲛齿鲸鲛齿鲸(学名Squalodon),又名原鲛鲸或鲨齿鲸,是一属已灭绝的鲸鱼,属于鲛齿鲸科。鲛齿鲸最初由Grateloup于1840年所命名,并被认为是属于禽龙类的恐龙,但后来被重新分类。鲛齿鲸的学名
- 笛笛是一种管乐器,是属于无簧片的木管乐器,由通过乐器开口的空气来发声。依照霍恩博斯特尔-萨克斯分类法,笛属于边棱音气鸣乐器(edge-blown aerophones)常见的笛为直身长管,除了吹奏
- 赫德县赫德县(Heard County, Georgia)是美国乔治亚州西部的一个县,西邻阿拉巴马州。面积780平方公里。根据美国2000年人口普查,共有人口11,012人。县治富兰克林(Franklin)。成立于1830年
- 蛹蛹是指一些昆虫从幼虫变化到成虫的一种过渡形态。这个阶段只会在完全变态的昆虫出现,如蝴蝶及蛾(鳞翅目)、甲虫(鞘翅目)、苍蝇(双翅目)与蜂、黄蜂及蚂蚁(膜翅目)。这个阶段是在幼虫后
- 贝利萨里奥·贝坦库尔·夸尔塔斯贝利萨里奥·贝坦库尔·夸尔塔斯(西班牙语:Belisario Betancur Cuartas,1923年2月4日-2018年12月7日), 哥伦比亚政治家,哥伦比亚总统(1982年至1986年)。贝坦库尔1947年在麦德林玻利瓦
- 类转录活化因子核酸酶类转录活化因子核酸酶(英语:Transcription activator-like effector nucleases, TALENs)是融合TAL因子DNA-结合区域和DNA剪切区域产生的人工制造的限制酶。限制酶是在特定顺序
- 家用电脑家用电脑是个人电脑的一种,于1977年投入市场,并在1980年代日益普及。其市场定位为更加贴近消费者,同时比游戏机功能更强的个人电脑。这些电脑的售价一般要较当时的为商业、科学