决策树
决策树
  学习的目的：产生一颗泛化能力强、处理未见示例能力强的决策树
  3种递归返回的情况
    全属于一个类别
    属性集为空 所有样本所有属性取值相同
      类别设定为所含样本最多的类别
    当前节点包含的样本集合为空
      父节点所含样本最多的类别
        当作先验分布
  算法
    ID3
      信息熵
      信息增益gain
        所含的样本数不同，给予不同的权重
      对可取值数目较多的属性有所偏好
      为了防止数错，先列写数据分布情况
    C4.5增益率
      子主题 1
    CART
      子主题 1
        随机抽取两个样本，不一致的概率
        基尼值越小，纯度越高
      基尼指数
  注意点
    不连续
      划分点
        子主题 1
          C4.5
    缺失值处理
      先按照未缺失的子集进行计算
        乘以权重
      缺失值按照比例均分进所有分支里面
        开始的时候权重赋值为1
      CART和C4.5
    多变量
      每一段与坐标轴平行
        可解释性较好
      多变量就是使用斜的决策边界
      由于要进行大量的属性测试，预测时间开销会很大
    多分类
      在每个叶节点选择一个停止条件
  剪枝
    预剪枝
      划分前进行估计，如果不能带来泛化提升，则标记为叶节点
    后剪枝
      自底向上对非叶节点考察
        将子树替换成叶节点是否可以泛化提升
      开销更大
        保留了更多的分支，欠拟合风险更小
  纯度更高来划分