特征选择系数学习
中心主题
  特征选择
    子集搜索
      前向
        增加子集
      后向
        减少子集
    子集评价
      信息增益
    过滤式选择
      Relief
        相关统计作为选择方法
    包裹式选择
      学习器的性能作为评价选择特征的指标
      训练开销很大，有可能给不出解
    嵌入式选择
      特征选择和学习器训练融为一体
      岭回归
        l2范数正则化项
        子主题 2
        岭回归采用L2正则化，其结果不稀疏，而LASSO采用L1L1正则化，其结果稀疏。
      LASSO
        l1范数
          容易获得稀疏解
          嵌入式的学习方法，特征选择和学习器训练同时完成
          使用PGD Proximal GD近端梯度下降求解
  稀疏学习
    稀疏表示
      字典很重要
        可以转换数据，享受稀疏性的好处
    字典学习
    字典学习关注稀疏表示，压缩感知关注稀疏重建。
      两者都涉及稀疏优化问题，通常用 L1正则化来实现稀疏性（或使用贪婪算法）。
  压缩感知
    子主题 1
      大多数数据其实很简单，只需要很少的“成分”就能描述清楚。
      找到对结果最重要的因素（稀疏特征）。
    如果数据是稀疏的，我们不需要“看完整数据”，也能“猜出全貌”。
    压缩感知的任务就是：通过“抽样”一小部分数据，重建出完整信息。
    稀疏信号： 假设信号可以用少量“特征”来表示（比如，大部分像素都是零）。
    感知测量
      随机采样： 用随机方式获取少量数据（而不是测量全部）。
    重构恢复