Nigel
/
mindspore
forked from mindspore-Ecosystem/mindspore
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

adam docs

This commit is contained in:
nomindcarry 2023-03-03 17:17:47 +08:00
parent e50770745c
commit 848b4abc2e
2 changed files with 16 additions and 19 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

14
docs/api/api_python/ops/mindspore.ops.Adam.rst
View File

@ -27,13 +27,13 @@ mindspore.ops.Adam
输入：
- **var** (Parameter) - 需更新的权重。shape： :math:`(N, *)` ，其中 :math:`*` 表示任意数量的附加维度，其数据类型可以是float16或float32。
- **m** (Parameter) - 更新公式中的第一个动量矩阵，shape和数据类型应与 `var` 相同。
- **v** (Parameter) - 更新公式中的第二个动量矩阵，shape和数据类型应与 `var` 相同。均方梯度的数据类型也应与 `var` 相同。
- **beta1_power** (float) - 在更新公式中的 :math:`beta_1^t(\beta_1^{t})` ，数据类型值应与 `var` 相同。
- **beta2_power** (float) - 在更新公式中的 :math:`beta_2^t(\beta_2^{t})` ，数据类型值应与 `var` 相同。
- **lr** (float) - 在更新公式中的 :math:`l` 。其论文建议取值为 :math:`10^{-8}` ，数据类型应与 `var` 相同。
- **beta1** (float) - 第一个动量矩阵的指数衰减率，数据类型值应与 `var` 相同。论文建议取值为 :math:`0.9` 。
- **beta2** (float) - 第二个动量矩阵的指数衰减率，数据类型值应与 `var` 相同。论文建议取值为 :math:`0.999` 。
- **m** (Parameter) - 更新公式中的第一个动量矩阵，shape应与 `var` 相同。
- **v** (Parameter) - 更新公式中的第二个动量矩阵，shape应与 `var` 相同。
- **beta1_power** (float) - 在更新公式中的 :math:`beta_1^t(\beta_1^{t})` 。
- **beta2_power** (float) - 在更新公式中的 :math:`beta_2^t(\beta_2^{t})` 。
- **lr** (float) - 在更新公式中的 :math:`l` 。其论文建议取值为 :math:`10^{-8}`。
- **beta1** (float) - 第一个动量矩阵的指数衰减率。论文建议取值为 :math:`0.9` 。
- **beta2** (float) - 第二个动量矩阵的指数衰减率。论文建议取值为 :math:`0.999` 。
- **epsilon** (float) - 添加到分母中的值，以提高数值稳定性。
- **gradient** (Tensor) - :math:`g` 表示梯度，shape和数据类型与 `var` 相同。

21
mindspore/python/mindspore/ops/operations/nn_ops.py
View File

@ -4584,19 +4584,16 @@ class Adam(Primitive):
- **var** (Parameter) - Weights to be updated. The shape is :math:`(N, *)` where :math:`*` means,
any number of additional dimensions. The data type can be float16 or float32.
- **m** (Parameter) - The 1st moment vector in the updating formula,
the shape and data type value should be the same as `var`.
the shape should be the same as `var`.
- **v** (Parameter) - the 2nd moment vector in the updating formula,
the shape and data type value should be the same as `var`. Mean square gradients with the same type as `var`.
- **beta1_power** (float) - :math:`beta_1^t(\beta_1^{t})` in the updating formula,
the data type value should be the same as `var`.
- **beta2_power** (float) - :math:`beta_2^t(\beta_2^{t})` in the updating formula,
the data type value should be the same as `var`.
- **lr** (float) - :math:`l` in the updating formula. The paper suggested value is :math:`10^{-8}`,
the data type value should be the same as `var`.
- **beta1** (float) - The exponential decay rate for the 1st moment estimations,
the data type value should be the same as `var`. The paper suggested value is :math:`0.9`.
- **beta2** (float) - The exponential decay rate for the 2nd moment estimations,
the data type value should be the same as `var`. The paper suggested value is :math:`0.999`.
the shape should be the same as `var`.
- **beta1_power** (float) - :math:`beta_1^t(\beta_1^{t})` in the updating formula.
- **beta2_power** (float) - :math:`beta_2^t(\beta_2^{t})` in the updating formula.
- **lr** (float) - :math:`l` in the updating formula. The paper suggested value is :math:`10^{-8}`.
- **beta1** (float) - The exponential decay rate for the 1st moment estimations.
The paper suggested value is :math:`0.9`.
- **beta2** (float) - The exponential decay rate for the 2nd moment estimations.
The paper suggested value is :math:`0.999`.
- **epsilon** (float) - Term added to the denominator to improve numerical stability.
- **gradient** (Tensor) - Gradient, has the same shape and data type as `var`.