决策树模型
分类模型——决策树
决策树模型 相比贝叶斯算法，决策树的优势在于构造过程中不需要任何的参数设置，因此决策树更偏重于探测式的知识发现。 决策树的思想贯穿着我们的生活方方面面，人们在生活中的每一个选择都是输的一个分支节点，只不过生活是一根走不到尽头的决策树，而一般的问题的决策结论是正确或者错误。举个例子说明决策树，比如给寝室的哥们介绍对象时需要跟人家讲明女孩子的如下情况： A.家是哪里的。 B.人脾气如何 C.人长相如何 D.人个头如何 OK ，先举这几个，以上4个条件便是一个实例。然后男孩的决定策略便是决策树，比如说寝室的哥们的要求是：家北京的，脾气温柔的，长相一般，个头一般。那么这个决策树变构造成了。 以上便是一个决策树，实例的每一个特征在决策树中都会找到一个肯定或者否定的结论，至于每一个节点的权重还需要以后在学习中获得，可以根据不同的权重将节点排序，或者每个节点带一个权重。 构造决策树的关键步骤是分裂属性。所谓分裂属性就是在某个节点处按照某一特征属性的不同划分构造不同的分支，其目标是让各个分裂子集尽可能地“纯”。尽可能“纯”就是尽量让一个分裂子集中待分类项属于同一类别。分裂属性分为三种不同的情况： 1、属性是离散值且不要求生成二叉决策树。此时用属性的每一个划分作为一个分支。
2、属性是离散值且要求生成二叉决策树。此时使用属性划分的一个子集进行测试，按照“属于此子集”和“不属于此子集”分成两个分支。 3、属性是连续值。此时确定一个值作为分裂点split_point，按照>split_point和<=split_point 生成两个分支。 构造决策树的关键性内容是进行属性选择度量，属性选择度量是一种选择分裂准则，是将给定的类标记的训练集合的数据划分D“最好”地分成个体类的启发式方法，它决定了拓扑结构及分裂点split_point的选择。 常用的有ID3算法和C4.5算法 从信息论知识中我们直到，期望信息越小，信息增益越大，从而纯度越高。所以ID3算法的核心思想就是以信息增益度量属性选择，选择分裂后信息增益最大的属性进行分裂。下面先定义几个要用到的概念。 设D为用类别对训练元组进行的划分，则D的熵（entropy）表示为： 其中pi表示第i个类别在整个训练元组中出现的概率，可以用属于此类别元素的数量除以训练元组元素总数量作为估计。熵的实际意义表示是D中元组的类标号所需要的平均信息量。 现在我们假设将训练元组D按属性A进行划分，则A对D划分的期望信息为： 而信息增益即为两者的差值： 对于计算机病毒的检测分类可以利用ID3算法，首先计算整个训练集的信息熵，然后计算训练集按照不同的属性进行划分的期望信息，当期望信息最小的时候的信息增益最大，也就是说决策树的节点是以该属性进行分裂的，然后依次类推即可构造病毒分类的决策树。 具体的计算过程如下： A.将训练集S分为1 ......N个最终类别，对于病毒检测为2个类别，是病毒，不是病 毒 B.计算S的总信息熵INFO(S),改值等于最终类别的各自信息量和几率质量函数的乘积， 即每一个类别所占训练集的比例乘以该比例的对数值取负，然后加和。 C.确定用来进行分类的属性向量V1,V2....Vn D.计算每一个属性向量对应的该属性向量对训练集的信息熵INFO(S)Vi，比如对应的属 性Vi将训练集分为了M类，那么改值等于在该属性划分下的某一类值出现的概率 乘以对应的该值所在的集的信息熵。改值所在的集的信息熵再套公式发现等于最终 分类在Vi属性划分下的某一个类里的概率值乘以该概率值的对数值取负。表述的 有些复杂，最好看公式。 E.在众多属性对于训练集的信息熵之中取最小的，这样信息增益最大，信息增益最大 代表着信息的纯度越高，这样的分类越有效。
(收藏)决策树的作用与画法介绍
(收藏)决策树的作用与画法介绍？ 导语： 决策树是一种在结构化决策过程中出现复杂分支时所使用的特定决策情况的树形图模型。它的每个内部节点都表示一个属性上的测试，每个分支代表一个属性某个值域上的测试输出，每个叶节点都存放在一种类别。决策树是使用分支方法来说明各种可能性，评判项目风险及可行性。 免费获取决策树软件：https://www.wendangku.net/doc/a010783927.html,/project/decisiontree/ 决策树符号 决策树通常包括决策节点，事件节点，结束等符号，如下图所示。图中所有的符号都是可以编辑的，用户可以根据自己的不同需求来改变符号的颜色，大小以及尺寸。
决策树的优点与缺点 优点：1.可读性好，具有描述性，易于人工理解与分析。 2. 效率高，一次创建可以反复使用。 3. 通过信息增益轻松处理不相关的属性， 缺点：1. 信息不是特别准确。 2. 决策容易受到法律问题和人为观点的影响。 亿图助你快速绘制决策树 第一步：新建空白页面 运行亿图软件，找到项目管理，通过双击模板页面下的决策树来打开一个空白页面。如果时间有限制的话，用户可以直接在例子页面选择合适的例子进行编辑以节省时间。
第二步：拖放符号 从右边符号库中拖放合适的决策树符号在空白页面上，并根据自己的需要调节符号的大小或颜色。 第三步：添加文本
用户有2种添加文本的方式。第一种是直接双击符号然后输入文本；第二种是ctrl+2打开一个文本框然后输入文本。 第四步：选择主题 导航到页面布局，从内置的主题中选择一个合适的主题让决策树显得更加专业和吸引人。 第五步：保存或导出决策树 回到文件页面，用户可以点击保存将决策树保存为默认的.eddx格式或者为了方便分享点击导出&发送将决策树导出为常见的文件格式。
决策树基本概念
2. 1决策树算法简介 随着数据挖掘技术的越来越广泛的应用，决策树作为数据挖掘技术中一种分类问题的解决方法也受到重视，正在被广泛的研究。约20年前，决策树这种数据挖掘技术的形式就己经和现在非常相似了，算法的早期版本可以追溯到20世纪60年代[1]。以后决策树归纳算法被广泛应用到许多进行分类识别的应用领域。这类算法无需相关领域知识，归纳的学习与分类识别的操作处理速度都相当快。而对于具有细长条分布性质的数据集合来讲，决策树归纳算法相应的分类准确率是相当高的。决策树也是分析消耗、发现交叉销售机会、进行促销、信用风险或破产分析和发觉欺诈行为的得力工具。采用决策树，可以将数据规则可视化，也不需要长时间的构造过程，输出结果容易理解，精度较高，因此决策树在知识发现系统中应用较广。决策树的广泛应用使得对决策树生成算法也得到更多的研究，生成决策树算法应当注意的问题主要是数据过分近似和测试属性选择问题的处理。 决策树算法是一种很好的归纳分类算法。在过去的一段时间里，决策树算法在人工智能和数据挖掘领域一直受到很好的重视和应用[8]。决策树算法可设计成具有良好可伸缩性的算法，能很好地与特大型数据库结合，例如大型的银行系统，能处理多种数据类型。决策树算法的另外一个优点是其结果比较形象，容易被使用者和客户理解，其分类形成的模型容易转化成分类规则。 决策树算法的特点是从一组无规则、无次序的实例案例中推导出可以用决策树表示的模型，从而形成一组分类规则。它采用自上向下的递归形式，在决策树模型的内部节点进行属性值的比较，然后根据属性值的大小决定从该节点向下的分枝，最终在决策树的叶结点得到结论。因此，决策树模型从根到叶结点的一条路径就对应这一条合取规则，整棵决策树模型就对应着一组规则。建立决策树模型是一种逼近离散值函数的方法，对测试案例中的噪声数据有很好的健壮性，这种方法将从一组训练案例中学习到的函数表示为一棵决策树。 2. 2决策树算法的基本概念 决策树是对数据进行分类，以此达到预测的目的。该决策树方法先根据训练集数据形成决策树，如果该树不能对所有对象给出正确的分类，那么选择一些例外加入到训练集数据中，重复该过程一直到形成正确的决策集。决策树代表着决策集的树形结构。 决策树[16]由决策结点、分支和叶子组成。决策树中最上面的结点为根结点，每个分支是一个新的决策结点，或者是树的叶子。每个决策结点代表一个问题或决策，通常对应于待分类对象的属性。每一个叶子结点代表一种可能的分类结果。决策树模型从上到下遍历的过程中，在每个分支都会遇到一个比较，根据不同的结果会走不同的分支，最终会到达一个叶子结点，这个过程就是利用决策树模型进行分类的过程。 决策树模型包含决策节点、分支和叶子。决策节点引出分支，每根分支代表一个决策方案，每根分支连接到一个新的节点，新的节点可能是新的决策节点，也可能是叶子，表示一个具