总论
ML
  基础
    通过计算的手段，利用经验改善系统自身的性能
    instance+label = example
    归纳偏好
      奥卡姆剃刀原则
        选择更简单的
      NFL定理
        脱离具体问题谈学习算法更好毫无意义
    历史
      符号主义
        决策树
      连接主义
        BP
          深度学习
      统计学习
        SVM
      行为主义
  linear
    子主题 3
    对数线性回归
      子主题 1
    logistic
    多分类学习
      1v1
        组合问题，每次选两个做二分类
          N(N-1)/2
      1vrest
        每次训练一个类别，剩下所有当作另一个类别
          N/2
      MvM
        ECOC码
        取M个正例，M个反例
    类别不平衡
      阈值点
        正负样例比例假设相同，就是0.5
      去除反例、增加正例、让比例一样
      正常训练，预测的时候，调整阈值点
  性能度量
    留出法
      保持数据分布的一致性
      给定划分比例有不同划分方法
        返回平均
    交叉验证法
      一次选一个作为验证集
      留一法
        比较准确，因为训练用的集合和D很相似；但是开销太大了
    自助法
      返回取样m次
        1/e的样本没有被采到
      产生不同训练集，对集成学习有好处
        改变初始数据集合的分布，引入估计偏差
    正确率
    查准率Precision
      子主题 1
    查全率Recall
    子主题 7
      比较PR曲线下的面积
    F1
      调和平均
      子主题 2
    ROC曲线
      TPR
      RPR
    泛化误差
      子主题 1
        bias
          你和能力
        var
          数据扰动造成的影响
        噪声
          任何学习算法能达到期望误差的下界
            问题的难度
  概念学习
    定义
    算法
      Find-S
      候补消除
        正例训练S
        反例训练G