我们可以通过信息增益来判断节点上应该用什么特征接下来我们将探讨如何构建一个多个节点的大型决策树1 从根节点开始包括所有的训练样本计算所有可能的信息增益然后选择信息增益最高的特征进行分裂选择了该特征后所选特征会将信息分成两个子集创建数的左右分支并根据样本的特征值将训练特征发送到左分支或者右分支这使得你可以在根节点进行一个分裂之后再左右分支重复分裂的过程知道满足停止标准停止标准一个节点纯度是100% 熵是0或者达到数的最大深度进一步分裂的信息上小于某一个阈值节点中的样本数量小于某个阈值完整详细流程首先在根节点一次计算每个特征的信息增益决定耳型是最佳的分裂特征基于此创建了树的左右分支并将具有尖耳或者软耳的子数据集发送到左右分支然后我们覆盖右分支只看左分支有五个样本假设我们的分裂标准是继续分裂知道节点中的所有内容都是单一类别即为全是猫或者狗我们会查看这个节点是否满足分裂标准但是他不满足因为这里是猫狗的混合然后下一步继续选择一个特征进行分裂因此我们依次查看每个特征并计算这些特征的信息增益就类似根节点那样当做一个新的根节点因此计算分裂胡须还有脸型的信息增益耳型的信息增益为0因为耳型都一样是分裂之后的所以我们在胡须和脸型中选然后我们基于信息增益选择了脸型然后看是否满足停止分裂的标准这里全是猫因此创建一个叶子节点预测为猫