希望在训练器里加amsgrad 方法

### 需求描述 Feature Description

amsgrad 方法是 adagrad 的一个变体。而且 adagrad  已被证实没有收敛性质（哪怕是几乎处处收敛性也没有）。因此需要一个有效的替代算法。 amsgrad 已被证实可以收敛到原问题的最优解。

AMSGrad（从Adam算法中改进的算法，全称是Adam with a Modified Update Rule）是一种用于深度学习中的优化算法，旨在改进原始Adam算法在非凸优化问题中可能遇到的某些不足。

以下是AMSGrad算法的构造步骤：
1. **初始化参数**：
   - 初始化参数的矩估计 \( m_0 = 0 \)（一阶矩向量，即动量项）和 \( v_0 = 0 \)（二阶矩向量，即未中心化的方差项）。
   - 初始化参数的偏差校正的一阶矩和二阶矩，通常设置为0。
   - 设置学习率 \(\alpha\)，以及一阶和二阶矩的衰减率 \(\beta_1\) 和 \(\beta_2\)（通常 \(\beta_1 = 0.9\)，\(\beta_2 = 0.999\)）。
   - 定义一个很小的常数 \(\epsilon\) 以避免除以零（通常为 \(10^{-8}\)）。
2. **迭代过程**：
   对于每个时间步 \( t \)，执行以下步骤：
   a. 计算梯度：\( g_t = \nabla_{\theta} J(\theta_{t-1}) \)，其中 \( J \) 是我们想要最小化的目标函数，\( \theta \) 是模型参数。
   b. 更新有偏一阶矩估计：
   \[ m_t = \beta_1 \cdot m_{t-1} + (1 - \beta_1) \cdot g_t \]
   c. 更新有偏二阶矩估计：
   \[ v_t = \beta_2 \cdot v_{t-1} + (1 - \beta_2) \cdot g_t^2 \]
 
   e. **AMSGrad特有的步骤**：更新每个参数的最大二阶矩估计：
   \[ \hat{v}_t = \max(\hat{v}_{t-1}, v_t) \]
   f. 计算参数更新：
   \[ \theta_t = \theta_{t-1} - \frac{\alpha}{\sqrt{\hat{v}_t} + \epsilon} \cdot m_t \]
3. **重复迭代**：
   重复步骤2，直到满足停止准则（例如，达到一定的迭代次数或目标函数值低于某个阈值）。
参考文献：
ON THE CONVERGENCE OF ADAM AND BEYOND

### 替代实现 Alternatives

GVP PaddlePaddle/Paddle

内容风险标识

评论 (0)

GVPPaddlePaddle/Paddle

内容风险标识