mindspore/docs/api/api_python/nn/mindspore.nn.WarmUpLR.rst

mindspore.nn.WarmUpLR
======================

.. py:class:: mindspore.nn.WarmUpLR(learning_rate, warmup_steps)

    预热学习率。

    对于当前step，计算学习率的公式为：

    .. math::
        warmup\_learning\_rate = learning\_rate * tmp\_step / warmup\_steps

    其中，

    .. math::
        tmp\_step=min(current\_step, warmup\_steps)

    参数：
        - **learning_rate** (float) - 学习率的初始值。
        - **warmup_steps** (int) - 学习率warmup的step数。

    输入：
        - **global_step** (Tensor) - 当前step数，即current_step。

    输出：
        标量Tensor。当前step的学习率值。

    异常：
        - **TypeError** - `learning_rate` 不是float。
        - **TypeError** - `warmup_steps` 不是int。
        - **ValueError** - `warmup_steps` 小于1。
        - **ValueError** - `learning_rate` 小于或等于0。