当前位置: 首页> 健康> 美食 > 《机器学习by周志华》学习笔记-决策树-02

《机器学习by周志华》学习笔记-决策树-02

时间:2025/7/9 3:51:18来源:https://blog.csdn.net/vanilla698/article/details/138664516 浏览次数:0次

1、剪枝处理(Pruning)

1.1、背景概念

上文「决策树01」的学习中,我们了解了著名的3种决策树算法ID3、C4.5、CART。这3种决策树算法最根本的核心就是根据特征选择离散属性作为节点来搭建树结构,运用搭好的结构进行推理。

剪枝(pruning)则就是将搭好的决策树去掉一些「非叶节点」的过程。

1.2、作用

解决推理时出现「过拟合」的问题。

过拟合介绍:

为了尽可能的正确分类训练样本,节点划分过程不断重复,有时会造成决策树分支过多,这时候就是训练的「太好」了,以至于把训练集自身的一些特点,当作所有数据都具有的一般性质,导致出现了「过拟合」

所以我们可以通过「剪枝(pruning)」来降低过拟合风险。

「过拟合」一般会出现在CART算法中。

1.3、实施方法策略

1.3.1、预剪枝策略(prepruning)

1.3.1.1、概念

是指在决策树生成过程中,对每个节点在划分前进行估计:

若当前结点的划分不能带来决策树泛化性能的提升,则停止划分并将当前结点标记为叶节点。

如何判断决策树泛化性能是否提升?

我们在上文「模型评估与选择」中可以求得泛化性能的指标。本节我们使用「留出法」,即预留一部分数据用作「验证集」以进行性能评估。

例如:

西瓜数据集D
编号色泽(A1)根蒂(A2)敲声(A3)纹理(A4)脐部(A5)触感(A6)是否好瓜(Y)
x1青绿A_{1}^{1}蜷缩A_{2}^{1}浑浊A_{3}^{1}清晰A_{4}^{1}凹陷A_{5}^{1}硬滑A_{6}^{1}是Y1
x2乌黑A_{1}^{2}蜷缩A_{2}^{1}沉闷A_{3}^{2}清晰A_{4}^{1}凹陷A_{5}^{1}硬滑A_{6}^{1}是Y1
x3乌黑A_{1}^{2}蜷缩A_{2}^{1}浑浊A_{3}^{1}清晰A_{4}^{1}凹陷A_{5}^{1}硬滑A_{6}^{1}是Y1
x4青绿A_{1}^{1}蜷缩A_{2}^{1}沉闷A_{3}^{2}清晰A_{4}^{1}凹陷A_{5}^{1}硬滑A_{6}^{1}是Y1
x5浅白A_{1}^{3}蜷缩A_{2}^{1}浑浊A_{3}^{1}清晰A_{4}^{1}凹陷A_{5}^{1}硬滑A_{6}^{1}是Y1
x6青绿A_{1}^{1}稍蜷A_{2}^{2}浑浊A_{3}^{1}清晰
关键字:《机器学习by周志华》学习笔记-决策树-02

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: