SVM
SVM
  原始算法
    SVM分类器在类之间拟合可能的最宽的“街道”。换言之，它的目的是使决策边界之间的间隔最大化，该决策边界分隔两个类别和训练实例。SVM执行软间隔分类时，实际上是在完美分隔两个类和拥有尽可能最宽的街道之间寻找折中方法（也就是允许少数实例最终还是落在街道上）。还有一个关键点是在训练非线性数据集时，记得使用核函数Q。
    支持向量
      位于“街道”之上的实例被称为支持向量，这也包括处于边界上的实例
    支持向量机拟合类别之间可能的、最宽的“街道”，所以如果训练集不经缩放，SVM将趋于忽略值较小的特征
    对于SVM问题来说，原始形式的计算复杂度与训练实例m的数量成正比，而其对偶形式的计算复杂度与某个介于m^2和m^3之间的数量成正比
  对偶求解算法
    子主题 1
  软间隔
    正则化
      0/1损失
        C很大的时候都需要满足，趋于硬间隔
C小的时候，允许有点不满足要求
        非连续、非凸
      hinge损失
        max(0,1-z)
          保持了稀疏性
      指数损失
        exp(-z)
      对率损失
        log(1+exp(-z))
          光滑的递减函数没有支持向量的概念
    l1
      稀疏
        非零分量尽可能少
    l2
      各个分量取值尽量均衡，非零分量个数尽量稠密
  SVR支持向量回归
    落在2epsilon之内不算损失
    为支持向量
    Small ϵ - More complex model. Low Bias, High variance.
    Large ϵ - Less complex model. High Bias, Low Variance.
  核方法
    高斯核
        gamma指的1/2sigma^2
          gamma越大带宽越窄，容易过拟合
          gamma小容易欠拟合，正则化上升
        Gamma提升或C提升 正则化降低——解决欠拟合问题
        Gamma降低或C降低 正则化提升——解决过拟合问题
    线性核
      计算效率高，可解释性强