投稿
  1. 极客之音首页
  2. 后端笔记

机器学习06：决策树学习

飞熊 • • 后端笔记 • 阅读 167

追求适度，才能走向成功；人在顶峰，迈步就是下坡；身在低谷，抬足既是登高；弦，绷得太紧会断；人，思虑过度会疯；水至清无鱼，人至真无友，山至高无树；适度，不是中庸，而是一种明智的生活态度。

导读：本篇文章讲解 机器学习06：决策树学习，希望对大家有帮助，欢迎收藏，转发！站点地址：www.bmabk.com，来源：原文

作者：非妃是公主
专栏：《机器学习》
个性签：顺境不惰，逆境不馁，以心制境，万事可成。——曾国藩
在这里插入图片描述

专栏地址

《机器学习》专栏地址

专栏系列文章

机器学习01：绪论

机器学习02：模型评估

机器学习03：线性回归与多分类学习

机器学习04：支持向量机

机器学习05：神经网络学习

机器学习06：决策树学习

机器学习07：贝叶斯学习

机器学习08：最近邻学习

机器学习09：无监督学习

机器学习10：集成学习

机器学习11：代价敏感学习

机器学习12：演化学习

文章目录

决策树学习基本知识

在这里插入图片描述
在这里插入图片描述

决策树学习基本算法

在这里插入图片描述
上面是一个递归调用的过程

决策树学习常见问题

最佳划分的度量问题

在这里插入图片描述
在这里插入图片描述
选择能使熵最大减小的属性
在这里插入图片描述

结合图像理解三个指数

熵x

∈

\in

∈[0, 1]：

在这里插入图片描述

基尼指数x

∈

\in

∈[0, 1]：

在这里插入图片描述
做一条辅助线就会发现：越靠近中间，红色的线越长，说明我们熵是越大的
在这里插入图片描述

误分类率x

∈

\in

∈[0, 1]：

在这里插入图片描述

在这里插入图片描述

C4.5决策树算法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
从图像可以理解：属性分布越均匀，SplitInfo越大
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
加上下面六种统计信息增益度量的方法，一共存在9种
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
堂兄弟姐妹类型可以不同
在这里插入图片描述
在这里插入图片描述

处理确实属性值问题

在这里插入图片描述
在这里插入图片描述

处理连续属性值问题

离散化
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

叶子结点判定问题

在这里插入图片描述

怎样解决过拟合问题

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

待测样本分类问题

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

决策树学习理解解释

在这里插入图片描述
决策树表达为析取表达式（可解释性）：
在这里插入图片描述

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/130535.html

赞 (0)
飞熊的头像飞熊bm
0 0

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站，欢迎收藏到浏览器，订阅我们！