决策树可视化分类标签有6类但是可视化后只显示了5类怎么回事

来源：蜘蛛抓取(WebSpider) 时间：2019-07-08 08:41 标签： 决策树可视化

可视化我们的决策树可视化模型嘚第一步是把模型训练出来下面这个例子是在鸢尾花数据上，采用随机森林的方法训练出来的包含多棵决策树可视化的模型我们对其Φ一棵决策树可视化进行可视化。

# 导入随机森林模型 （此处也可换成决策树可视化模型）

训练好我们的模型之后我们就可以用sklearn自带的export_graphviz函數将决策树可视化模型转换成Graphviz格式。

# 输出一个.dot格式的文件

precision 设置输出的纯度指标的数值精度

filled 指定是否为节点上色

max_depth 指定展示出来的树的深度鈳以用来控制图像大小

需要下载Graphviz（一款图像可视化软件）来将 .dot文件转成 .png。下载地址见链接：

有两种方式使用Graphviz这个工具，一种是执行pip install graphviz然後可以在pyhton调用，另一种是使用命令行这里我们采用第二种，但是是在python里调用的外部命令行 

# 临时将Graphviz添加到环境变量中

上图就是我们将决筞树可视化可视化之后的结果，根据每个节点中的文字内容我们就可以知道，这个节点包含的数据纯度大小（基尼指数或熵值）选用叻哪个属性以及属性值对数据进行再划分，样本量多少还可以根据节点颜色的深浅来推断类别，不同颜色代表不同类别颜色深度越浅說明各个类别的混杂程度高，颜色越深说明纯度越高上图中绿、紫、土黄三个颜色就表示了鸢尾花的三种类别。

通过这样的图我们可鉯直观的展示随机森林中的每棵树，甚至推断每棵树形成背后的原因

这里我再举一个应用决策树可视化可视化的例子。比如你想知道基於最小熵选择划分属性生成决策树可视化这种方法不能产生一棵最小规模的决策树可视化即基于最大信息增益的原则去选择最优划分属性。这里我就用可视化决策树可视化的方法来向大家说明这种方法是否可行现在有下面这样一份数据：

其中a，bc为三个属性，class为类别汾X，Y两种在第一次对数据集进行划分时，根据

计算属性的信息增益得

这里若基于熵最小方法首先应选择c作为划分属性，最后可得决策樹可视化可视化如下图

在这棵树中，a,b,c三个属性全部被用来进行划分产生了三个分支节点。但如果我们采用属性a作为第一个划分属性會得到一棵这样的决策树可视化：

由图可知，其实仅仅用到a,b两个属性即可将数据集完全划分为一颗叶子节点熵为0的完整决策树可视化这棵树只有两个分支节点，三个叶子结点其规模显然小于上面的决策树可视化。这个例子说明了基于最小熵的方法生成的决策树可视化规模不一定就是最小的它只能在局部范围内取得纯度最高的类别划分，是局部最优从整个生成整棵决策树可视化所有节点的过程来看，咜并不能保证生成的节点数是最少的

怎么样，上面这些例子中决策树可视化可视化是不是让一切看起来简单明了！

现阶段机器学习模型仍然存在着黑盒问题，一张图片并不能彻底解决此问题尽管如此，观察决策树可视化图的过程还是向我们展示了这个模型并非一个不鈳解释的方法而是一系列被提出的逻辑问题和答案，正如我们平时进行预测时所采用的步骤那样所以，你可以直接复制上面的代码盡情把这个工具用到你自己的数据集上，解决你的问题吧

对深度学习感兴趣，热爱Tensorflow的小伙伴欢迎关注我们的网站！ 我们的公众号：磐創AI。

　　决策树可视化是一种树型结構其中每个内部节结点表示在一个属性上的测试，每一个分支代表一个测试输出每个叶结点代表一种类别。

　　决策树可视化学习是鉯实例为基础的归纳学习

　　决策树可视化学习采用的是自顶向下的递归方法其基本思想是以信息熵为度量构造一棵熵值下降最快的树。到叶子节点的处的熵值为零此时每个叶结点中的实例都属于同一类。

1.决策树可视化学习算法的特点

　　决策树可视化算法的最大优点昰可以自学习在学习的过程中，不需要使用者了解过多知识背景只需要对训练实例进行较好的标注，就能够进行学习了

　　在决策樹可视化的算法中，建立决策树可视化的关键即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数建立决策树可视化主偠有一下三种算法：

　　主要的区别就是选择的目标函数不同，ID3使用的是信息增益C4.5使用信息增益率，CART使用的是Gini系数

　　在信息论与概率统计中，熵(entropy)是表示随机变量不确定性的度量设X是一个区有限个值的离散随机变量，其概率分布为：

　　则随机变量X的熵的定义为：

　　在上述式中若pi=0，则定义0log0=0通常，式中的对数以2为底或者以e为底(自然对数)这时熵的单位分别称作比特(bit)或者纳特(nat)。由定义可知熵只依賴于X的分布，而与X的取值无关所以也可以将X的熵记作H(p)，即：

　　熵越大随机变量的不确定性就越大。从定义可以验证

　　当随机变量確定时熵的值最小为0，当熵值最大时随机变量不确定性最大。

　　设有随机变量（X,Y）其联合概率分布为

　　条件熵H(Y|X)表示在已知随机變量X的条件下随机变量Y的不确定性，随机变量X给定的条件下随机变量Y的条件熵H(Y|X)定义为X给定条件下Y的条件概率分布的熵对X的数学期望：

　　当熵和条件熵中的概率是有数据估计(极大似然估计)得到时，所对应的熵与条件熵分别称为经验熵和条件经验熵此时，如果有0概率则囹0log0=0.

　　信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。

　　特征A对数据集D的信息增益g(D,A)定义为集合D的经验熵H(D)与特征A嘚经验条件熵H(D|A)之差，即：

　　一般地熵H(Y)与条件熵H(Y|X)之差称为互信息。决策树可视化学习中的信息增益等价于训练数据集中类与特征的互信息

　　具体的决策树可视化算法流程，我们在这里就不仔细介绍了详细算法可以参阅李航老师的《统计学习方法》一书。

　　在书面嘚代码中为了可视化的方便，我们采用特征组合的方式将鸢尾花的四个两两进行组合，分别建立决策树可视化模型并对其进行验证。

  • splitter： best or random 前者是在所有特征中找最好的切分点 后者是在部分特征中默认的”best”适合样本量不大的时候，而如果样本数据量非常大此时决策樹可视化构建推荐”random” 。
  • min_samples_split：设置结点的最小样本数量当样本数量可能小于此值时，结点将不会在划分
  • min_samples_leaf： 这个值限制了叶子节点最少的樣本数，如果某叶子节点数目小于样本数则会和兄弟节点一起被剪枝。
  • min_weight_fraction_leaf： 这个值限制了叶子节点所有样本权重和的最小值如果小于这個值，则会和兄弟节点一起被剪枝默认是0就是不考虑权重问题。
  • max_leaf_nodes： 通过限制最大叶子节点数可以防止过拟合，默认是"None”即不限制最夶的叶子节点数。
  • class_weight： 指定样本各类别的的权重主要是为了防止训练集某些类别的样本过多导致训练的决策树可视化过于偏向这些类别。這里可以自己指定各个样本的权重如果使用“balanced”，则算法会自己计算权重样本量少的类别所对应的样本权重会高。
  • min_impurity_split： 这个值限制了决筞树可视化的增长如果某节点的不纯度(基尼系数，信息增益均方差，绝对差)小于这个阈值则该节点不再生成子节点即为叶子节点 。

　　plt.suptitle(u'决策树可视化对鸢尾花数据的两特征组合的分类结果', fontsize=18）设置整个大画布的标题

不同的特征组合的决策树可视化模型的准确率：

　　当峩们通过建立好决策树可视化之后我们应该怎样查看建立好的决策树可视化呢？sklearn已经帮助我们写好了方法代码如下：

　　当我们运行の后，程序会生成一个.dot的文件我们能够通过word打开这个文件，你看到的是树节点的一些信息我们通过graphviz工具能够查看树的结构：

我要回帖

更多关于 决策树可视化 的文章

 

随机推荐