diff --git a/docs/api/api_python/ops/mindspore.ops.Adam.rst b/docs/api/api_python/ops/mindspore.ops.Adam.rst index 1b471d085e0..7ce9d9add04 100644 --- a/docs/api/api_python/ops/mindspore.ops.Adam.rst +++ b/docs/api/api_python/ops/mindspore.ops.Adam.rst @@ -27,13 +27,13 @@ mindspore.ops.Adam 输入: - **var** (Parameter) - 需更新的权重。shape: :math:`(N, *)` ,其中 :math:`*` 表示任意数量的附加维度,其数据类型可以是float16或float32。 - - **m** (Parameter) - 更新公式中的第一个动量矩阵,shape和数据类型应与 `var` 相同。 - - **v** (Parameter) - 更新公式中的第二个动量矩阵,shape和数据类型应与 `var` 相同。均方梯度的数据类型也应与 `var` 相同。 - - **beta1_power** (float) - 在更新公式中的 :math:`beta_1^t(\beta_1^{t})` ,数据类型值应与 `var` 相同。 - - **beta2_power** (float) - 在更新公式中的 :math:`beta_2^t(\beta_2^{t})` ,数据类型值应与 `var` 相同。 - - **lr** (float) - 在更新公式中的 :math:`l` 。其论文建议取值为 :math:`10^{-8}` ,数据类型应与 `var` 相同。 - - **beta1** (float) - 第一个动量矩阵的指数衰减率,数据类型值应与 `var` 相同。论文建议取值为 :math:`0.9` 。 - - **beta2** (float) - 第二个动量矩阵的指数衰减率,数据类型值应与 `var` 相同。论文建议取值为 :math:`0.999` 。 + - **m** (Parameter) - 更新公式中的第一个动量矩阵,shape应与 `var` 相同。 + - **v** (Parameter) - 更新公式中的第二个动量矩阵,shape应与 `var` 相同。 + - **beta1_power** (float) - 在更新公式中的 :math:`beta_1^t(\beta_1^{t})` 。 + - **beta2_power** (float) - 在更新公式中的 :math:`beta_2^t(\beta_2^{t})` 。 + - **lr** (float) - 在更新公式中的 :math:`l` 。其论文建议取值为 :math:`10^{-8}`。 + - **beta1** (float) - 第一个动量矩阵的指数衰减率。论文建议取值为 :math:`0.9` 。 + - **beta2** (float) - 第二个动量矩阵的指数衰减率。论文建议取值为 :math:`0.999` 。 - **epsilon** (float) - 添加到分母中的值,以提高数值稳定性。 - **gradient** (Tensor) - :math:`g` 表示梯度,shape和数据类型与 `var` 相同。 diff --git a/mindspore/python/mindspore/ops/operations/nn_ops.py b/mindspore/python/mindspore/ops/operations/nn_ops.py index c0d3b18beef..e6f1a0e943e 100644 --- a/mindspore/python/mindspore/ops/operations/nn_ops.py +++ b/mindspore/python/mindspore/ops/operations/nn_ops.py @@ -4584,19 +4584,16 @@ class Adam(Primitive): - **var** (Parameter) - Weights to be updated. The shape is :math:`(N, *)` where :math:`*` means, any number of additional dimensions. The data type can be float16 or float32. - **m** (Parameter) - The 1st moment vector in the updating formula, - the shape and data type value should be the same as `var`. + the shape should be the same as `var`. - **v** (Parameter) - the 2nd moment vector in the updating formula, - the shape and data type value should be the same as `var`. Mean square gradients with the same type as `var`. - - **beta1_power** (float) - :math:`beta_1^t(\beta_1^{t})` in the updating formula, - the data type value should be the same as `var`. - - **beta2_power** (float) - :math:`beta_2^t(\beta_2^{t})` in the updating formula, - the data type value should be the same as `var`. - - **lr** (float) - :math:`l` in the updating formula. The paper suggested value is :math:`10^{-8}`, - the data type value should be the same as `var`. - - **beta1** (float) - The exponential decay rate for the 1st moment estimations, - the data type value should be the same as `var`. The paper suggested value is :math:`0.9`. - - **beta2** (float) - The exponential decay rate for the 2nd moment estimations, - the data type value should be the same as `var`. The paper suggested value is :math:`0.999`. + the shape should be the same as `var`. + - **beta1_power** (float) - :math:`beta_1^t(\beta_1^{t})` in the updating formula. + - **beta2_power** (float) - :math:`beta_2^t(\beta_2^{t})` in the updating formula. + - **lr** (float) - :math:`l` in the updating formula. The paper suggested value is :math:`10^{-8}`. + - **beta1** (float) - The exponential decay rate for the 1st moment estimations. + The paper suggested value is :math:`0.9`. + - **beta2** (float) - The exponential decay rate for the 2nd moment estimations. + The paper suggested value is :math:`0.999`. - **epsilon** (float) - Term added to the denominator to improve numerical stability. - **gradient** (Tensor) - Gradient, has the same shape and data type as `var`.