2022-05-26 20:11:11 +08:00
|
|
|
|
mindspore.ops.LARSUpdate
|
|
|
|
|
|
========================
|
|
|
|
|
|
|
|
|
|
|
|
.. py:class:: mindspore.ops.LARSUpdate(epsilon=1e-05, hyperpara=0.001, use_clip=False)
|
|
|
|
|
|
|
|
|
|
|
|
对梯度的平方和应用LARS(layer-wise adaptive rate scaling)算法。
|
|
|
|
|
|
|
|
|
|
|
|
更多细节请参考 :class:`mindspore.nn.LARS` 。
|
|
|
|
|
|
|
2022-07-26 10:27:56 +08:00
|
|
|
|
参数：
|
|
|
|
|
|
- **epsilon** (float) - 添加在分母中，提高数值稳定性。默认值：1e-05。
|
|
|
|
|
|
- **hyperpara** (float) - 计算局部学习率的信任系数。默认值：0.001。
|
|
|
|
|
|
- **use_clip** (bool) - 计算局部学习速率时是否裁剪。默认值：False。
|
|
|
|
|
|
|
|
|
|
|
|
输入：
|
|
|
|
|
|
- **weight** (Tensor) - 权重Tensor，shape: :math:`(N, *)` ，其中 :math:`*` 表示任意数量的附加维度。
|
2022-09-09 14:31:17 +08:00
|
|
|
|
- **gradient** (Tensor) - `weight` 的梯度，与 `weight` 的shape和数据类型相同。
|
2022-07-26 10:27:56 +08:00
|
|
|
|
- **norm_weight** (Tensor) - 标量Tensor，权重的平方和。
|
|
|
|
|
|
- **norm_gradient** (Tensor) - 标量Tensor，梯度的平方和。
|
|
|
|
|
|
- **weight_decay** (Union[Number, Tensor]) - 衰减率。必须为标量Tensor或Number。
|
|
|
|
|
|
- **learning_rate** (Union[Number, Tensor]) - 学习率。必须为标量Tensor或Number。
|
|
|
|
|
|
|
|
|
|
|
|
输出：
|
|
|
|
|
|
Tensor，计算后的梯度。
|
|
|
|
|
|
|
|
|
|
|
|
异常：
|
|
|
|
|
|
- **TypeError** - `epsilon` 或 `hyperpara` 不是float类型。
|
|
|
|
|
|
- **TypeError** - `use_clip` 不是bool类型。
|
|
|
|
|
|
- **TypeError** - `weight` 、 `gradient` 、 `norm_weight` 或 `norm_gradient` 不是Tensor。
|
|
|
|
|
|
- **TypeError** - `weight_decay` 或 `learning_rate` 非Number或Tensor。
|
|
|
|
|
|
- **TypeError** - `gradient` 与 `weight` 的shape不同。
|
