强化学习
强化学习
  k摇臂
    仅利用
      开目前知道的收益最高的
    仅探索
      均分概率开每一个
      估计每个摇臂的江山，但是失去选择最优摇臂的机会
    epsilon贪心
      以epsilon探索
      1-epsilon利用
    softmax
      温度越小约保守
  有模型学习
    模型已知的情况下，强化学习任务可以归结为基于动态规划的求优问题
    策略评估
      根据评估结果改进策略
    策略迭代方法
    值迭代方法
  免模型学习
    蒙特卡洛
      “笨鸟先飞
      通过多次试验积累经验，然后利用这些经验估算策略的好坏，最终改进策略。
      子主题 6
        完整轨迹
        它依赖反复试验来积累经验
      试验：在环境中随机尝试，记录每次游戏的完整过程（称为一个“轨迹”或“回合”）。
        猜一个1到100之间的数字
      统计：根据试验的结果，估算每个动作、状态的“好坏”（称为“价值”）。
        猜中间的数字，通常能更快接近答案
      改进策略：根据统计的价值，调整策略，让智能体逐步变得更聪明。
        每次猜中间的数字，把范围缩小一半。
    时序差分
      当前的经验（状态、奖励和下一状态）来不断估计未来的奖励
      同策略
        sarsa
        使用当前学习的策略来选择动作
      异策略
        q-learning
        智能体在学习过程中使用的策略和它正在优化的策略是不同的
        个探索性更强的策略来玩游戏（例如随机选择动作），而其实际优化的策略是选择最优动作的策略
  值函数近似
    状态空间可能连续或状态数量巨大而无法用表格值函数记录状态值的情况，直接对连续状态空间（或复杂有限状态空间）的值函数进行学习的方法
  模仿学习
    直接利用专家经验
    使用专家经验设计奖励函数
  分类
    训练
      同策略
        Sarsa，Policy Gradient，TRPO，PPO，A3C
      异策略
        DDPG，TD3，Q-learning，DQN
    优化方法
      基于价值
        Q-learning，DQN，Double DQN，等，适用于 Discrete action space。
      基于策略
        策略梯度方法（Policy Gradient Method，PGM）
          REINFORCE，PG，PPO，TRPO
      Actor-Critic algorithms （演员-评论家方法）
        DDPG, A3C，TD3，SAC
    有无模型
      有模型
      无模型
        Monte Carlo method（蒙特卡罗方法）
          Policy Gradient，TRPO，PPO
        Temporal Difference method（时间差分方法）
          DDPG，Q-learning，DQN
        Q-learning、SARSA、Deep Q-Network（DQN）