2021-12-04 13:55:42 +08:00
|
|
|
|
mindspore.ops.SeLU
|
|
|
|
|
|
==================
|
|
|
|
|
|
|
2021-12-22 11:46:09 +08:00
|
|
|
|
.. py:class:: mindspore.ops.SeLU()
|
2021-12-04 13:55:42 +08:00
|
|
|
|
|
2021-12-22 11:46:09 +08:00
|
|
|
|
激活函数SeLU(Scaled exponential Linear Unit)。
|
2021-12-04 13:55:42 +08:00
|
|
|
|
|
|
|
|
|
|
该激活函数定义为:
|
|
|
|
|
|
|
|
|
|
|
|
.. math::
|
|
|
|
|
|
E_{i} =
|
|
|
|
|
|
scale *
|
|
|
|
|
|
\begin{cases}
|
|
|
|
|
|
x_{i}, &\text{if } x_{i} \geq 0; \cr
|
|
|
|
|
|
\text{alpha} * (\exp(x_i) - 1), &\text{otherwise.}
|
|
|
|
|
|
\end{cases}
|
|
|
|
|
|
|
2021-12-13 18:05:59 +08:00
|
|
|
|
其中, :math:`alpha` 和 :math:`scale` 是预定义的常量( :math:`alpha=1.67326324` , :math:`scale=1.05070098` )。
|
2021-12-04 13:55:42 +08:00
|
|
|
|
|
|
|
|
|
|
更多详细信息,请参见 `Self-Normalizing Neural Networks <https://arxiv.org/abs/1706.02515>`_ 。
|
|
|
|
|
|
|
2022-07-22 11:20:32 +08:00
|
|
|
|
输入:
|
|
|
|
|
|
- **input_x** (Tensor) - 任意维度的Tensor,数据类型为int8、int32、float16、float32、float64(仅CPU、GPU)。
|
2021-12-04 13:55:42 +08:00
|
|
|
|
|
2022-07-22 11:20:32 +08:00
|
|
|
|
输出:
|
|
|
|
|
|
Tensor,数据类型和shape与 `input_x` 的相同。
|
2021-12-04 13:55:42 +08:00
|
|
|
|
|
2022-07-22 11:20:32 +08:00
|
|
|
|
异常:
|
|
|
|
|
|
- **TypeError** - `input_x` 的数据类型不是int8、int32、float16、float32、float64。
|