神经网络
神经网络
  sigmoid
    子主题 1
      子主题 1
  损失函数
    交叉熵
      子主题 1
  前馈神经网络
    如何实现异或
  BP算法
    使用GD
    反向传播的计算方法
    标准BP
    累计BP算法
    反向传播需要依赖最新的前向传播结果，因此需要在每次迭代中先进行前向传播
  过拟合
    early stopping
      训练集正确率上升 验证集正确率下降
    训练数据量小会导致过拟合
    regularization
      l1
        sparser model parameters.
      l2
        Weight Decay (L2 regularization) is a regularization method that penalizes large weights to prevent overfitting.
        smaller model parameters
      误差中引入一个描述网络复杂性的函数
    Momentum is an optimization technique that helps smooth and accelerate gradient descent by adding a fraction of the previous update to the current one
  全局极小值
    多次不同值初始化
      取误差最小为解
      （如随机分布、He 初始化、Xavier 初始化等）
    模拟退火
      每次迭代的过程都以一定概率接受比当前解更差 的结果
    使用随机梯度下降
  梯度爆炸
    与梯度消失问题类似，当权重初始化较大时，梯度可能呈指数级增长，导致梯度值变得极大。
    参数更新不稳定，可能导致训练过程发散。
  梯度消失
    在BP算法中，误差通过链式法则从输出层向前传播。由于每一层的梯度是前一层梯度和激活函数导数的乘积，深层网络中的梯度会随着层数的增加迅速减小，甚至接近于零。
    导致靠近输入层的参数更新非常缓慢，训练过程停滞不前。
    所有的深层网络都会遇到这个问题
      Sigmoid函数的输出范围在(0, 1)之间，Tanh的输出范围在(-1, 1)之间
  子主题 10
    批量归一化
      通过对激活/输入数据进行标准化、平移和缩放，能有效稳定训练并加速收敛
      缓解梯度消失/爆炸
  深度学习
    增加隐层的数目
      预训练+微调
        每次只训练一层，最后使用BP算法对整个网络进行调整
      权共享
    增加隐层神经元的数目