集成学习
集成学习
  序列化方法
    boosting
      Adaboost
        初始化训练样本的权值分布，每个样本具有相同权重；
        训练弱分类器
          根据误差率决定在最后的比重
            子主题 1
          分类正确，权重降低
            子主题 1
          分类错误，权重升高
            子主题 1
        选下一个分类器
        将所有弱分类组合成强分类器，各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，降低分类误差率大的弱分类器的权重。
      主要关注降低bias
  并行方法
    bagging
      使用bootstrap采样出来T个训练集，训练T个基分类器
      使用简单投票法进行
      1-1/e的样本可以用于包外估计
      主要关注降低方差
        在不剪枝决策树、神经网络等易受到样本扰动的学习器上效用更佳
    随机森林
      决策树选属性的时候
        从k个子属性中选择
      训练效率更优，选择的是属性的子集
  结合策略
    平均法
      简单平均
        性能相当的时候使用
      加权平均
        不一定更优
          基学习器性能差异大时候使用
    投票
      过半数
        没过半数不预测
      最高票
      加权投票
    学习法
      stacking
        通过训练集学习多个初级学习器，通过初级学习器对输入进行预测，
并将初级学习器的输出作为下一阶段的输入，用于训练次级学习器，以此类推直到最后一阶段
输出到最终任务目标
      对预测结果再进行一次学习，用来输出结果
  分支主题 4
    误差-分歧分解
    多样性度量
      k误差图
        越高分类准确度越低，越靠右多样性越小
      不合度量
        不一样的/总数
      相关系数
    增强多样性
      数据扰动
        采样法
          决策树、神经网络
      输入扰动
        线性、SVM、bayes、kmeans
        随机子空间
          选一些属性
      输出表示扰动
      算法参数扰动