forked from mindspore-Ecosystem/mindspore
63 lines
3.4 KiB
ReStructuredText
63 lines
3.4 KiB
ReStructuredText
mindspore.nn.Rprop
|
||
===================
|
||
|
||
.. py:class:: mindspore.nn.Rprop(params, learning_rate=0.1, etas=(0.5, 1.2), step_sizes=(1e-6, 50.), weight_decay=0.)
|
||
|
||
弹性反向传播（Rprop）算法的实现。
|
||
|
||
请参阅论文 `A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm. <https://ieeexplore.ieee.org/document/298623>`_ 。
|
||
|
||
更新公式如下：
|
||
|
||
.. math::
|
||
\begin{gather*}
|
||
&\hspace{-10mm} \textbf{if} \: g_{t-1} g_t > 0 \\
|
||
&\hspace{25mm} \Delta_t \leftarrow \mathrm{min}(\Delta_{t-1} \eta_{+}, \Delta_{max}) \\
|
||
&\hspace{0mm} \textbf{else if} \: g_{t-1} g_t < 0 \\
|
||
&\hspace{25mm} \Delta_t \leftarrow \mathrm{max}(\Delta_{t-1} \eta_{-}, \Delta_{min}) \\
|
||
&\hspace{-25mm} \textbf{else} \: \\
|
||
&\hspace{-5mm} \Delta_t \leftarrow \Delta_{t-1} \\
|
||
&\hspace{15mm} w_{t} \leftarrow w_{t-1}- \Delta_{t} \mathrm{sign}(g_t) \\
|
||
\end{gather*}
|
||
|
||
:math:`\Delta_{min/max}` 表示最小或者最大步长， :math:`\eta_{+/-}` 表示加速和减速因子， :math:`g` 表示 `gradients` ， :math:`w` 表示 `params` 。
|
||
|
||
.. note::
|
||
.. include:: mindspore.nn.optim_note_weight_decay.rst
|
||
|
||
参数：
|
||
- **params** (Union[list[Parameter], list[dict]]) - 必须是 `Parameter` 组成的列表或字典组成的列表。当列表元素是字典时，字典的键可以是"params"、"lr"、"weight_decay"、"grad_centralization"和"order_params"：
|
||
|
||
.. include:: mindspore.nn.optim_group_param.rst
|
||
.. include:: mindspore.nn.optim_group_lr.rst
|
||
.. include:: mindspore.nn.optim_group_dynamic_weight_decay.rst
|
||
.. include:: mindspore.nn.optim_group_gc.rst
|
||
.. include:: mindspore.nn.optim_group_order.rst
|
||
|
||
- **learning_rate** (Union[float, int, Tensor, Iterable, LearningRateSchedule]) - 学习率。默认值：0.1。
|
||
|
||
.. include:: mindspore.nn.optim_arg_dynamic_lr.rst
|
||
|
||
- **etas** (tuple[float, float]) - 乘法的增加或减少的因子（etaminus, etaplus）。默认值：(0.5, 1.2)。
|
||
- **step_sizes** (tuple[float, float]) - 允许的最小和最大步长（min_step_sizes, max_step_size）。默认值：(1e-6, 50.)。
|
||
- **weight_decay** (Union[float, int, Cell]) - 权重衰减（L2 penalty）。默认值：0.0。
|
||
|
||
.. include:: mindspore.nn.optim_arg_dynamic_wd.rst
|
||
|
||
输入：
|
||
- **gradients** (tuple[Tensor]) - `params` 的梯度，shape与 `params` 相同。
|
||
|
||
输出：
|
||
Tensor[bool]，值为True。
|
||
|
||
异常：
|
||
- **TypeError** - 如果 `learning_rate` 不是int、float、Tensor、Iterable或LearningRateSchedule。
|
||
- **TypeError** - 如果 `parameters` 的元素不是Parameter或字典。
|
||
- **TypeError** - 如果 `step_sizes` 或 `etas` 不是tuple。
|
||
- **ValueError** - 如果最大步长小于最小步长。
|
||
- **ValueError** - 如果 `step_sizes` 或 `etas` 的长度不等于2。
|
||
- **TypeError** - 如果 `etas` 或 `step_sizes` 中的元素不是float。
|
||
- **ValueError** - 如果 `etaminus` 不在（0,1）的范围内，或者 `etaplus` 不大于1。
|
||
- **TypeError** - 如果 `weight_decay` 既不是float也不是int。
|
||
- **ValueError** - 如果 `weight_decay` 小于0。
|